ST intègre des composants robotiques aux plateformes d’IA de Nvidia

Les robots humanoïdes, les systèmes d’automatisation industrielle et la robotique de service dépendent de plus en plus d’environnements étroitement intégrés de détection, de contrôle et de simulation afin d’accélérer le développement et le déploiement. Dans ce contexte, STMicroelectronics étend sa collaboration avec Nvidia afin d’intégrer ses capteurs, microcontrôleurs et solutions de contrôle moteur dans l’écosystème robotique de Nvidia, visant un développement plus rapide et plus évolutif des systèmes d’IA physique.

L’initiative se concentre sur la réduction de l’écart entre la simulation et le déploiement réel, permettant aux développeurs de concevoir, entraîner et implémenter des systèmes robotiques avec une efficacité et une fiabilité accrues.

Intégration avec Nvidia Holoscan Sensor Bridge
Un élément clé de cette collaboration est l’intégration des composants ST avec le Nvidia Holoscan Sensor Bridge (HSB), qui standardise la manière dont les données des capteurs et des actionneurs sont acquises, synchronisées et traitées.

Cette intégration permet aux développeurs de connecter plusieurs capteurs et actionneurs via une interface unifiée, de rationaliser les flux de travail d’acquisition et d’enregistrement des données, et de construire des ensembles de données cohérents pour l’entraînement des modèles d’IA. 
 

Cette approche est particulièrement pertinente pour les systèmes robotiques nécessitant des entrées synchronisées provenant de multiples modalités de détection, telles que les unités de mesure inertielle (IMU), les capteurs d’imagerie et les dispositifs à temps de vol (ToF).

Une première mise en œuvre inclut une caméra stéréo de profondeur développée par Leopard Imaging utilisant des technologies de détection ST, conçue pour des applications robotiques nécessitant une perception spatiale et une estimation de la profondeur.

Soutien aux flux de travail sim-to-real avec des modèles haute fidélité
Un autre composant central de cette collaboration est l’intégration de modèles numériques haute fidélité des composants ST dans Nvidia Isaac Sim, qui fait partie de l’environnement de simulation basé sur Omniverse.

Le premier modèle disponible est une unité de mesure inertielle, avec des modèles supplémentaires pour les capteurs de mesure par temps de vol (ToF), les actionneurs et d’autres circuits intégrés en cours de développement. Ces modèles sont dérivés de mesures matérielles réelles, permettant des simulations qui reproduisent fidèlement le comportement des dispositifs réels.

Cette approche répond à des défis du développement robotique visant à réduire les écarts entre les performances simulées et réelles, améliorer la convergence des modèles d’entraînement de l’IA, et minimiser la randomisation inefficace ou irréaliste des paramètres.
 

En améliorant la précision des simulations, les développeurs peuvent raccourcir les cycles de développement et réduire le coût du prototypage et des tests.

Simplification de la co-conception matériel-logiciel
La collaboration vise également à simplifier l’intégration entre le matériel et les plateformes d’IA. Des solutions pré-intégrées combinant des microcontrôleurs STM32, des capteurs et des systèmes de contrôle moteur sont alignées avec les plateformes Nvidia Jetson.

Cela permet un flux de travail de développement plus cohérent, au sein duquel les modèles d’IA peuvent être entraînés en simulation, le comportement des capteurs et des actionneurs est représenté avec précision, et le déploiement sur des systèmes physiques nécessite moins d’ajustements. 
 

Une telle intégration est particulièrement pertinente pour les robots humanoïdes et les systèmes autonomes complexes, où la coordination entre perception, mouvement et contrôle est essentielle.

Édité par la journaliste industrielle Natania Lyngdoh — Adapté par l'IA

www.st.com