Amazon SageMaker met à jour les méthodes de fine-tuning des modèles d'IA

Amazon Web Services (AWS) a introduit des méthodes avancées de fine-tuning sur sa plateforme Amazon SageMaker pour améliorer le développement et l'adaptation des grands modèles de langage (LLM). Ces techniques visent à rendre le processus de personnalisation des modèles d'IA plus efficace et plus rentable pour les organisations.

Les nouvelles méthodes abordent les aspects clés du développement des LLM, y compris les étapes du cycle de vie, les méthodologies de fine-tuning et le déploiement d'IA responsable. Les techniques de Parameter-Efficient Fine-Tuning (PEFT), telles que LoRA et QLoRA, permettent l'adaptation de grands modèles en utilisant moins de données et de ressources de calcul. Cette démocratisation permet aux organisations de toutes tailles d'adapter les modèles à leurs besoins spécifiques.

Pour garantir que les modèles correspondent aux valeurs humaines et aux exigences organisationnelles, des approches telles que le Reinforcement Learning from Human Feedback (RLHF) et le Direct Preference Optimization (DPO) sont intégrées. De plus, la distillation de connaissances utilise une approche enseignant/élève où un modèle plus petit apprend d'un modèle plus grand. Des techniques comme le mixed precision training et l'accumulation de gradients optimisent l'utilisation de la mémoire et le traitement par lots, facilitant ainsi l'entraînement de grands modèles d'IA avec des ressources limitées.

Amazon SageMaker prend également en charge le pré-entraînement continu des modèles pour les adapter à des domaines ou des tâches spécifiques. L'objectif général est de fournir des outils qui minimisent les coûts et maximisent les performances et l'efficacité opérationnelle pour les applications d'IA critiques.