Inferenz

Nvidia-Anmeldung: KI-Agenten sollen ihren Rechenbedarf vorab melden

Eine neue Patentschrift beschreibt Vorhersagen für kommende Modellaufrufe, Token und GPU-Speicher. Sie sollen Servern die Ressourcenplanung erleichtern.