Amazon Nova améliore la recherche multimodale dans l'industrie manufacturière

Amazon Web Services (AWS) a introduit Amazon Nova Multimodal Embeddings, une nouvelle fonctionnalité visant à améliorer la récupération d'informations à partir de la documentation complexe de fabrication. La technologie cartographie le texte et les images dans un espace vectoriel commun, résolvant ainsi les défis où les données critiques résident dans des diagrammes, des fichiers CAD ou des photographies plutôt que dans du texte brut.

Les systèmes de recherche traditionnels basés uniquement sur le texte échouent souvent à localiser les informations intégrées dans les diagrammes d'ingénierie, les dessins CAO ou les photographies d'inspection. Nova Multimodal Embeddings comble cette lacune en permettant aux requêtes textuelles de récupérer du contenu visuel et aux requêtes d'images de trouver des spécifications écrites pertinentes. Cette évolution est particulièrement pertinente pour les industries telles que l'aérospatiale, l'automobile et la fabrication lourde, où la documentation est intrinsèquement multimodale.

Pour démontrer ses capacités, AWS a créé un système de récupération multimodale pour la documentation de fabrication aérospatiale en utilisant Amazon Nova Multimodal Embeddings, Amazon Bedrock et Amazon S3 Vectors. Le système a été évalué sur 26 requêtes liées à la fabrication, ses performances étant comparées à celles d'un pipeline de récupération textuel uniquement.

L'importance de la recherche multimodale dans la fabrication découle de la pratique courante consistant à combiner du texte avec des éléments visuels dans des documents cruciaux. Les ordres de travail, les rapports d'inspection et les certifications de matériaux incluent fréquemment des instructions d'assemblage aux côtés de photographies annotées, ou des images radiographiques de soudures associées à des mesures détaillées. Cette nouvelle technologie offre aux entreprises une manière plus complète d'accéder et d'utiliser leurs données techniques.