Amazon Bedrock: Modellbewertung jetzt allgemein verfügbar

Amazon Web Services (AWS) hat die Modellbewertungsfunktion für Amazon Bedrock, die erstmals auf der AWS re:Invent 2023 als Vorschau vorgestellt wurde, allgemein verfügbar gemacht. Diese neue Funktion soll Entwicklern helfen, die besten Basismodelle (Foundation Models) für ihre generativen KI-Anwendungen effizient auszuwählen.

Laut AWS ist die Modellbewertung ein entscheidender Schritt im Entwicklungsprozess von KI-Anwendungen. Das neue Werkzeug ermöglicht es Entwicklern, verschiedene Modelle in einer "Playground"-Umgebung zu testen, durch automatische Bewertungen Iterationen zu beschleunigen und die Qualität durch menschliche Überprüfungen vor der Markteinführung sicherzustellen.

Das Werkzeug zur Modellbewertung erlaubt es Benutzern, Bewertungsaufträge zu erstellen, indem sie eine Bewertungsmethode (automatisch oder menschlich), ein gewünschtes Basismodell, einen Aufgabentyp und Bewertungsmetriken auswählen. Automatische Bewertungen können Metriken wie Genauigkeit, Robustheit und Toxizität nutzen. Benutzer können auch benutzerdefinierte Metriken für Aspekte wie Freundlichkeit, Stil oder die Einhaltung von Anweisungen definieren.

Der Dienst hat während seiner Vorschauphase Feedback erhalten, das AWS zur Verbesserung der Funktionen vor der allgemeinen Veröffentlichung genutzt hat. Amazon Bedrock ist ein cloudbasierter Dienst, der Zugang zu verschiedenen KI-Modellen bietet und es Kunden ermöglicht, generative KI flexibel zu nutzen.