Tencent veröffentlicht neue VLM-Basis für Robotik
Tencent Robotics X Lab, Futian Lab und Tencent Hunyuan haben gestern das Basismodell Hy-Embodied-VLM-1.0 veröffentlicht, das die Fähigkeit von Robotern verbessert, die physische Umgebung zu verstehen und darin zu agieren.
Der chinesische Technologiekonzern Tencent hat sein neues, verkörpertes Vision-Language Model (VLM) Basismodell, Hy-Embodied-VLM-1.0, veröffentlicht. Das Modell wurde in Zusammenarbeit mit dem Tencent Robotics X Lab, dem Futian Lab und Tencent Hunyuan entwickelt.
Das Hy-Embodied-VLM-1.0 zielt darauf ab, die Fähigkeit von Robotern zu verbessern, die physische Welt zu verstehen und autonom Aufgaben auszuführen. Das Modell kann Objekte, ihre Eigenschaften, Tiefeninformationen und räumliche Beziehungen in der Umgebung erkennen. Es analysiert auch die Perspektive des Roboters, Funktionsteile und die Nutzbarkeit der Umgebung, um Aufgaben effektiver zu planen und auszuführen.
In 37 Bewertungsaufgaben erreichte das Modell eine durchschnittliche Punktzahl von 65,6. Diese Leistung ist bemerkenswert, da die A3B-Skala des Modells bereits die Gesamtleistung des Flaggschiffmodells der vorherigen Generation (A32B) erreicht. Stärken liegen insbesondere im Verständnis physischer Zustände, der Schlussfolgerung über Aktionen und deren Konsequenzen sowie im zeitlichen und adaptiven Schlussfolgern.
Darüber hinaus unterstützt das Modell die Planung von Langzeitaufgaben, die visuelle Navigation und die Nutzung von Speichern. Es kann Fehler diagnostizieren, kontrafaktische Analysen durchführen und Aktionen basierend auf Umgebungsfeedback dynamisch neu planen. Tencent hat das Modell als Open Source veröffentlicht; der Zugangscode ist über GitHub und Hugging Face verfügbar.