OpenAI verbessert Echtzeit-KI-Modelle für schnellere Leistung
OpenAI hat zwei neue KI-Modelle, gpt-realtime-2.1 und gpt-realtime-2.1-mini, über seine API veröffentlicht. Das Unternehmen gibt an, dass die Modelle die Latenz (p95) um mindestens 25 % reduzieren.
Das KI-Unternehmen OpenAI hat zwei neue Modelle, gpt-realtime-2.1 und gpt-realtime-2.1-mini, über seine API angekündigt. Diese Modelle sind speziell für Echtzeitanwendungen konzipiert und sollen die Reaktionsgeschwindigkeit deutlich verbessern.
Die neuen Modelle zielen auf Anwendungen mit geringer Latenz ab, insbesondere für Sprachassistenten und multimodale Interaktionen. OpenAI gibt an, dass durch optimierte Cache-Mechanismen die p95-Latenz (die Antwortzeit für 95 % der Anfragen) um mindestens 25 % gesenkt werden konnte.
Das gpt-realtime-2.1-mini-Modell unterstützt Echtzeit-Audio- und Texteingaben sowie die Nutzung von Werkzeugen und Funktionsaufrufen. Es ist darauf ausgelegt, interne Schlussfolgerungen zu ziehen, bevor Aktionen ausgeführt werden, und die Konversationskontinuität durch verbale Hinweise aufrechtzuerhalten.
Zusätzlich bietet das gpt-realtime-2.1-Modell verbesserte Fähigkeiten bei der Erkennung alphanumerischer Zeichen, der Handhabung von Stille und Hintergrundgeräuschen sowie der Verarbeitung von Unterbrechungen und Befolgung von Anweisungen. Die Intensität der Schlussfolgerungen kann in fünf Stufen angepasst werden, wobei für Produktionsumgebungen niedrigere Einstellungen empfohlen werden.