L'économie de l'IA repose sur des "tokens" obscurs
Les "tokens" utilisés par les moteurs d'IA, petites unités linguistiques traitées par les modèles, créent de la confusion chez les utilisateurs qui peinent à en comprendre la valeur et le coût.
Trois ans après le boom de l'IA, les utilisateurs luttent encore pour comprendre la valeur réelle des tokens d'IA. Ces tokens sont des unités fondamentales que les systèmes d'IA utilisent pour traiter, raisonner et communiquer. Ils peuvent représenter des caractères individuels, des mots ou des parties de mots.
Pour les consommateurs ordinaires utilisant des services tels que ChatGPT ou Claude, il peut être difficile de comprendre ce qu'est un token et combien il coûte, malgré les estimations du nombre de tokens qu'une tâche consomme. Atteindre des limites de manière inattendue peut être frustrant.
Les utilisateurs signalent fréquemment des limitations de tokens, qui peuvent affecter la profondeur des conversations ou entraîner des interruptions pendant les périodes de forte demande. Bien que les tâches plus complexes nécessitent plus de tokens, il existe des variations importantes dans la tarification entre les entreprises, et les modèles personnalisés peuvent influencer davantage la consommation.
Il existe différents types de tokens, notamment les tokens d'entrée pour les données de l'utilisateur, les tokens de sortie pour les réponses du modèle et les tokens mis en cache pour la réutilisation de l'information. Des recherches de l'Université de Stanford ont montré que différents modèles peuvent consommer jusqu'à 30 fois plus de tokens pour la même tâche. De plus, les modèles ont tendance à sous-estimer leur propre utilisation de tokens, ce qui rend difficile la prédiction des coûts réels.
La nature opaque des unités de tokens reflète une préoccupation plus large selon laquelle les consommateurs sont invités à adopter la technologie de l'IA sans en comprendre pleinement les conditions. Bien que les tokens ne soient qu'une des nombreuses monnaies opaques de l'économie actuelle, la confusion qui les entoure souligne la nécessité de clarté dans la tarification et les limitations de l'utilisation de l'IA.