Amazon Bedrock lanserar verktyg för modellutvärdering

Amazon Web Services (AWS) har nu gjort modellutvärderingsfunktionen för Amazon Bedrock, som först presenterades som en förhandsversion vid AWS re:Invent 2023, allmänt tillgänglig. Denna nya funktion är utformad för att hjälpa utvecklare att effektivt välja de mest lämpliga grundmodellerna (foundation models) för sina generativa AI-applikationer.

Enligt AWS är modellutvärdering ett kritiskt steg i utvecklingsprocessen för AI-applikationer. Det nya verktyget ger utvecklare möjlighet att experimentera med olika modeller i en "playground"-miljö, snabba upp iterationer med automatiska utvärderingar och säkerställa kvalitet genom mänskliga granskningar före lansering.

Verktyget för modellutvärdering tillåter användare att skapa utvärderingsjobb genom att välja utvärderingsmetod (automatisk eller mänsklig), önskad grundmodell, uppgiftstyp och utvärderingsmetriker. Automatiska utvärderingar kan använda metriker som noggrannhet, robusthet och toxicitet. Användare kan också definiera egna metriker såsom vänlighet, stil eller efterlevnad av instruktioner.

Tjänsten har mottagit feedback under förhandsversionsfasen, vilken AWS har använt för att förbättra funktionerna inför den allmänna lanseringen. Amazon Bedrock är en molnbaserad tjänst som ger tillgång till flera olika AI-modeller, vilket möjliggör ett flexibelt sätt för kunder att utnyttja generativ AI.