Snowflake introducerar automatisk modellruttning för AI för att minska kostnaderna

Snowflake har uppdaterat sin AI-gateway, Cortex AI Gateway, med en ny funktion för dynamisk modellruttning. Denna funktion syftar till att automatiskt dirigera AI-uppgifter till den mest lämpliga modellen, med målet att sänka kostnaderna och förbättra prestandan.

Företag som använder AI-agenter i stor skala har stött på problem där en enda, dyr modell hanterar alla typer av uppgifter, oavsett om de är enkla eller komplexa. Snowflake hävdar att den nya automatiska ruttningen kan minska "token"-kostnaderna med upp till tre gånger för vissa arbetsbelastningar, genom att använda billigare modeller för enklare frågor.

Funktionen bygger på två mekanismer. Först försöker en mindre modell lösa uppgiften. Om den misslyckas anropas en större modell som ett verktyg. Dessutom analyserar en klassificerare tidigare frågor för att automatiskt dirigera raka uppgifter till enklare modeller. Användare kan fortfarande manuellt välja vilka modeller som ska användas.

Snowflake betonar att ruttningen inte bara handlar om kostnad, utan även om styrning och kontext. Företaget integrerar den nya funktionen i sitt befintliga säkerhets- och åtkomstkontrollsystem, vilket säkerställer att data förblir inom företagets säkra miljö. Detta tillvägagångssätt skiljer Snowflake från konkurrenter som också erbjuder liknande ruttningstekniker.