Hystax julkaisee avoimen lähdekoodin työkalun tekoälyn token-kustannusten laskemiseksi

Hystax on julkaissut OptScale Kompressorin MIT-lisenssillä GitHubissa. Työkalu on suunniteltu optimoimaan tekoälymallien token-käyttöä ilman, että itse koodausagentin toiminnallisuutta tarvitsee muuttaa.

Terminal-Bench 2.1 -testeissä työkalu laski koodausagenttien kustannuksia 22,7 prosenttia. Vertailukohdaksi yhtiö nosti aiemmat markkinaratkaisut, joiden tehokkuus on yhtiön mukaan jäänyt noin puoleen tästä lukemasta.

Tämä julkaisu on osa Hystaxin laajempaa OptScale-alustaa, joka keskittyy pilvi-infrastruktuurin kustannusten hallintaan. Token-kustannusten optimointi on keskeinen haaste yrityksille, jotka hyödyntävät suuria kielimalleja laajamittaisessa ohjelmistokehityksessä.

Työkalun avoin lähdekoodi mahdollistaa kehittäjien integroida kompressorin suoraan olemassa oleviin agentteihinsa. Hystax pyrkii näin vähentämään suurten kielimallien käyttöön liittyviä korkeita laskutuskuluja.