Snowflaken tekoälyportti ohjaa malleja automaattisesti kustannusten alentamiseksi

Snowflake on päivittänyt Cortex AI Gateway -tekoälyporttinsa uudella dynaamisella mallinreititystoiminnolla. Uusi ominaisuus mahdollistaa tehtävien automaattisen ohjaamisen sopivimmalle tekoälymallille, tavoitteena pienentää kustannuksia ja parantaa suorituskykyä.

Yritykset, jotka käyttävät tekoälyagentteja laajamittaisesti, ovat kohdanneet ongelmia, joissa yksi kallis malli hoitaa kaikkia tehtäviä, olivatpa ne yksinkertaisia tai monimutkaisia. Snowflake väittää, että uusi automaattinen reititys voi alentaa "token"-kustannuksia jopa kolminkertaisesti tietyissä työkuormissa, hyödyntämällä halvempia malleja yksinkertaisiin kyselyihin.

Toiminto perustuu kahteen mekanismiin. Ensin pienempi malli yrittää suorittaa tehtävän. Jos se ei onnistu, se kutsuu suurempaa mallia apuun. Lisäksi luokittelija analysoi aiempia kyselyitä ja ohjaa suoraviivaiset tehtävät automaattisesti yksinkertaisemmille malleille. Käyttäjät voivat edelleen halutessaan määrittää käytettävät mallit manuaalisesti.

Snowflake korostaa, että reititys ei ole vain kustannuskysymys, vaan siihen liittyy myös hallintaa ja kontekstia. Yritys integroi uuden ominaisuuden olemassa olevaan tietoturva- ja pääsynhallintajärjestelmäänsä, varmistaen, että tieto pysyy yrityksen turvallisessa ympäristössä. Tämä lähestymistapa erottaa Snowflaken kilpailijoista, jotka tarjoavat myös vastaavia reititysteknologioita.