ByteDance startet SeedRealtime-Modell für Echtzeit-Audio-Video-Interaktion
ByteDance hat das SeedRealtime-Modell vorgestellt, das kontinuierlich Audio-, Video- und Textströme verarbeiten kann und dabei in Echtzeit zuhört und antwortet.
Das chinesische Technologieunternehmen ByteDance hat SeedRealtime auf den Markt gebracht, ein natives Full-Duplex-Audio-Video-Modell, das entwickelt wurde, um Audio-, Video- und Textströme kontinuierlich zu verarbeiten und gleichzeitig in Echtzeit zuzuhören und zu antworten.
Das Modell unterstützt Interaktionen, bei denen es gleichzeitig sehen, hören und sprechen kann. Diese Entwicklung verlagert die Technologie von einer Forschungsdemonstration hin zu einem konsumentenorientierten Produkt.
SeedRealtime wurde bereits in der Doubao-App von ByteDance eingeführt. Diese Implementierung überführt die Technologie aus der Forschungsphase in ein für Verbraucher zugängliches Produkt. Die Einführung erweitert das Angebot von ByteDance im Bereich der Echtzeit-multimodalen Interaktionssysteme und ergänzt seine bestehenden Text- und Bildgenerierungsfähigkeiten.
Die Einführung von SeedRealtime bietet ByteDance ein neues Werkzeug zur Entwicklung fortschrittlicher Anwendungen, die Benutzereingaben über mehrere Modalitäten hinweg verstehen und darauf reagieren können, wodurch potenziell die Benutzererfahrung in verschiedenen Diensten verbessert wird.