Kurzfassung: OpenAI legt zentrale Details seiner Speicherplattform Habitat offen: mehr als 70 Millionen Anfragen pro Sekunde, über 500 Petabyte Daten und fast 40 Regionen. Besonders aufschlussreich sind nicht die Rekordzahlen, sondern die Grenzen, die OpenAI bewusst setzt. Ein enger NoSQL-Zugriff und die Trennung komplexer Abfragen sollen Ausfälle verhindern.
Vom Python-Client zum zentralen Speicherdienst
Habitat begann 2023 als Python-Bibliothek vor Azure Cosmos DB. Mit mehr Produkten und Diensten wurde dieses Modell zu schwerfällig: Änderungen an Routing oder Ausfallschutz mussten über Dutzende Anwendungen verteilt werden. Mitte 2025 zog OpenAI die Logik deshalb in einen eigenen Dienst. Dort lassen sich Zugriffskontrollen, Verschlüsselung, Datenresidenz, Protokollierung und Lastbegrenzung zentral durchsetzen.
Der Python-Dienst schaffte in der Spitze laut OpenAI mehr als 20 Millionen Anfragen pro Sekunde. Doch asyncio löste nur die Parallelität der Ein- und Ausgabe, nicht die CPU-Parallelität. Bei Kompression, Verschlüsselung und Prüfsummen warteten fertige Antworten teils Hunderte Millisekunden, in Randfällen mehrere Sekunden, auf den nächsten freien Event-Loop-Zeitschlitz.
Ein kleiner Pool-Fehler verstärkte Überlastung
Besonders konkret beschreibt OpenAI einen Rückkopplungseffekt im Verbindungspool. aiohttp verwendete zuletzt zurückgegebene TCP-Verbindungen zuerst. Langsame Server gaben ihre Verbindungen später zurück und erhielten dadurch anschließend noch mehr Arbeit. Ein Wechsel von LIFO auf FIFO unterbrach diese Schleife. Heute bündeln Istio und Envoy Verbindungen, übersetzen HTTP/1 zu HTTP/2 und setzen zentrale Limits sowie Schutzschalter.
Das Muster ist nicht neu. Meta dokumentierte bereits 2014 einen ähnlichen metastabilen Zustand: Ein Verbindungspool lenkte nach einer Störung immer mehr Verkehr auf bereits überlastete Netzwerkpfade. Der Vergleich stützt den Mechanismus, nicht OpenAIs konkrete Leistungszahlen.
Rust spart Ressourcen – laut OpenAI
Im zweiten Quartal 2026 schrieben zwei Entwickler den Dienst mit Codex und GPT-5.5 in Rust neu. Die Rust-Version verarbeitet inzwischen 95 Prozent des Produktivverkehrs und soll sechsmal CPU- sowie 15-mal speichereffizienter sein. OpenAI nennt jedoch keine absoluten Latenzen, Hardwarekonfigurationen, Lastprofile oder unabhängigen Messungen. Die Faktoren sind daher Herstellerangaben, kein allgemeiner Python-Rust-Benchmark.
Für planbare Kosten erlaubt Habitat keine beliebigen SQL-Abfragen. Objekte und direkte Beziehungen sind möglich; große Joins oder Graphdurchläufe müssen Anwendungen selbst erledigen. Komplexe Analysen laufen getrennt über per Change Data Capture gespeiste Rockset-Instanzen. Das begrenzt Komfort, schützt aber den transaktionalen Pfad vor einer einzelnen teuren Abfrage.
Pandorex Einschätzung: Habitat zeigt, dass OpenAI Skalierung vor allem durch kontrollierte Schnittstellen, getrennte Arbeitslasten und das Entfernen positiver Rückkopplungen erreicht. Die Rust-Migration dürfte Betriebskosten deutlich senken; ohne Methodik und absolute Werte lässt sich ihre Größenordnung außerhalb von OpenAIs eigener Umgebung aber nicht übertragen.