OpenAI lanserar snabbare AI-modeller för realtidsapplikationer
OpenAI har släppt två nya AI-modeller, gpt-realtime-2.1 och gpt-realtime-2.1-mini, via sitt API. Företaget anger att modellerna erbjuder betydligt snabbare svarstider.
AI-företaget OpenAI har lanserat två nya modeller, gpt-realtime-2.1 och gpt-realtime-2.1-mini, avsedda för realtidsapplikationer. Lanseringen sker via deras API.
De nya modellerna utlovar en markant minskning av svarstiderna. OpenAI rapporterar att modellernas P95-latens (95:e percentilen av svarstiden) har minskat med minst 25 procent. Detta är en kritisk förbättring för applikationer som kräver omedelbara svar, såsom röstassistenter och multimediakommunikation.
Modellerna är optimerade för röstintelligenssystem med låg latens och för interaktioner med flera medier. OpenAI har genom förbättrad cachehantering lyckats minska fördröjningarna. gpt-realtime-2.1-mini har stöd för realtidsljud och text, samt för användning av verktyg och funktioner.
GPT-realtime-2.1 har även förbättrats gällande igenkänning av alfanumeriska tecken, hantering av tystnad och bakgrundsljud, samt förbättrad respons på avbrott och instruktioner. Modellens inferenshastighet kan anpassas i fem nivåer, med rekommendation att börja med en lägre inställning i produktionsmiljöer.