FastLabel accélère le traitement des données d'image

La mise en œuvre de Nvidia NeMo Curator a permis à FastLabel d'accélérer le processus de déduplication des images pour la conduite autonome réduisant ainsi les coûts et les opérations manuelles.

  www.nvidia.com

Pour accompagner le rythme soutenu du développement de l'IA, FastLabel souhaiter éliminer les goulots d'étranglement manuels généralement associés à la préparation de données d'image volumineuses et de haute qualité, en garantissant un processus à la fois rapide et rentable, tout en maintenant une faible redondance des données. La préparation de jeux de données d'image de haute qualité à grande échelle est complexe, car les méthodes conventionnelles négligent les redondances subtiles. Ce qui nécessite des révisions manuelles fastidieuses et une utilisation inefficace des ressources.

Avant d'implémenter les solutions Nvidia, FastLabel était confronté à des processus lents et gourmands en ressources pour le filtrage et la déduplication des images. Les outils traditionnels basés sur des règles peinaient à identifier la redondance en se basant sur la similarité sémantique. Ce qui entraînait des cycles inutiles de données répétitives et une baisse de la productivité.

« Nvidia NeMo Curator nous a permis d'automatiser et de faire évoluer la curation de nos jeux de données, réduisant ainsi considérablement les coûts et les tâches manuelles. Nous avons dédupliqué 10 000 images en quelques minutes seulement et identifié des centaines de doublons que les méthodes traditionnelles auraient manqués. Cela accélère non seulement nos projets d'IA, mais nous permet également de fournir immédiatement des données de haute qualité à nos clients opérant dans des secteurs où la sécurité est essentielle », explique Shuhei Uchida de FastLabel.

FastLabel souhaitait mettre en œuvre une technique pour identifier et supprimer les données redondantes, en s'appuyant notamment sur les avancées des modèles d'IA génératifs plutôt que sur les heuristiques conventionnelles. La mise en œuvre de Nvidia NeMo™ Curator, capable de supprimer automatiquement les doublons en quelques minutes, a permis d’obtenir des améliorations significatives par rapport aux approches manuelles et chronophages précédemment employées. FastLabel a implémenté les fonctionnalités de traitement d'images de NeMo Curator sur des GPU Nvidia A100 sur Google Cloud Platform (GCP), associées à des modèles ISV hébergés sur GCP pour l'intégration d'images et la génération de légendes.

L'entreprise japonaise a utilisé cette solution pour prendre en charge des jeux de données d'images d’applications de conduite autonome, permettant ainsi la création de jeux de données propres excluant les images sémantiquement similaires de manière évolutive. L'innovation réside dans l'intégration de modèles de langage de vision (VLM) qui génèrent des légendes détaillées pour chaque image en fonction de caractéristiques prédéfinies spécifiques au domaine. Ces légendes sont ensuite intégrées et traitées via la fonction de déduplication sémantique de NeMo Curator, permettant une curation ciblée et spécifique à un domaine qui serait difficile à réaliser en utilisant des méthodes générales de similarité sémantique d'image.

Principaux gains obtenus :

• Vitesse de traitement automatisée : Les tâches de sous-titrage, qui prenaient auparavant plus d’un mois, ont été automatisées, permettant ainsi le sous-titrage de 10 000 images en environ 14,6 heures, les étapes supplémentaires, telles que l’incorporation de texte et la déduplication sémantique, étant réduites respectivement à seulement 6 et 4 minutes.
• Suppression de la vérification manuelle : Les exigences en matière de vérification manuelle ont considérablement diminué, comme en témoigne la possibilité de signaler automatiquement 242 images de « voitures garées » sur 1 076 grâce à l’analyse sémantique, plutôt qu’aux méthodes traditionnelles.
• Économies et durabilité : L’ensemble du processus a coûté moins de 57 $ pour 10 000 images, l’étape principale de déduplication sémantique ne coûtant que 0,26 $ avec un GPU A100 sur Google Cloud. Ceci a permis de réduire le gaspillage de temps de calcul et de favoriser un apprentissage de l’IA.

FastLabel a ainsi pu lancé son service « FastLabel Data Curation », offrant à ses clients un accès rapide et fiable à des jeux de données de haute qualité, automatiquement étiquetés et dédupliqués. Cela a considérablement réduit le temps nécessaire aux révisions manuelles et accéléré les cycles de projet en aval. FastLabel Data Curation prévoit de lancer un service de curation rapide et évolutif pour les données textuelles, en plus des images, en s'appuyant sur NeMo Curator afin de fournir aux clients des données de haute qualité pour les LLM (Large Language Model) et les VLM (Visual Language Model).

www.nvidia.com