Nvidia will KI-Servern mehr Vorlauf geben: Statt Ressourcen erst beim Eintreffen einzelner Anfragen einzuplanen, sollen Agenten ihre voraussichtlich nächsten Modellaufrufe mitmelden. Die am 17. September veröffentlichte Anmeldung US20260278406A1 beschreibt dafür eine Verbindung aus vorheriger Ablaufanalyse, Laufzeitprognosen und Ressourcensteuerung.
Der Server erfährt, was als Nächstes kommen könnte
Vorab aufgezeichnete Agentenabläufe liefern Trainingsdaten für Prognosemodelle. Während der Ausführung schätzen diese kommende Modellaufrufe, Tokenmengen und Laufzeiten. Die Anwendung hängt solche Informationen an ihre Inferenzanfragen; der Server verwendet sie zur Zuteilung seiner Ressourcen. Hinweise auf wiederkehrende Prompt-Anfänge können außerdem die Wiederverwendung bereits berechneter Daten erleichtern. Anspruch 1 beschreibt den Ablauf, Anspruch 12 die Übermittlung und Cache-Hinweise, Anspruch 13 die Planung anhand erwarteten GPU-Speicherbedarfs und erwarteter Laufzeit. Beleg ist die Originalschrift beim USPTO.
Einen praktischen Bezug liefert Nvidias Dokumentation zum NeMo Agent Toolkit 1.7: Sie beschreibt Vorhersagen aus aufgezeichneten Abläufen und Hinweise an das Dynamo-Backend zur Ressourcensteuerung. Das belegt verwandte Softwarefunktionen, nicht die vollständige Umsetzung oder Schutzfähigkeit aller Patentansprüche.
Einordnung: nützlich, wenn die Prognose stimmt
Der interessante Ansatz ist die zusätzliche Sicht auf den gesamten Arbeitsablauf. Sie könnte Wartezeiten und unpassende Ressourcenreservierungen verringern. Abzweigungen, neue Aufgaben oder lange Werkzeugaufrufe können Prognosen jedoch entwerten. Ob die bessere Planung ihren eigenen Aufwand überwiegt, muss im jeweiligen Betrieb gemessen werden. Die Anmeldung allein belegt weder einen bestimmten Leistungsgewinn noch Produktreife.
Dokument und Status
Anmelder ist NVIDIA Corporation. Die US-Anmeldung 19/358,820 wurde am 15. Oktober 2025 eingereicht und beansprucht die Priorität US 63/772,593 vom 16. März 2025. Der Titel lautet „Online Inference Optimization and Control of Agent Workflows“. A1 bezeichnet hier die veröffentlichte Anmeldung, keine Patenterteilung. Den aktuellen Verfahrensstand im Patent-Center-Register konnten wir am 19. September 2026 nicht unabhängig bestätigen.