Mistral se lance à l’IA physique (apprentissage déplacement robots): Robostral Navigate

Une vidéo publiée sur Youtube montre en outre un robot alimenté par le modèle en action.
À partir d'instructions, on le voit se déplacer dans un bureau,
éviter des obstacles et accomplir des tâches.

 Le modèle d'IA de Mistral est conçu pour permettre aux robots de se déplacer en totale autonomie dans des environnements complexes comme les bureaux ou les espaces extérieurs.

Le modèle comprend des informations captées via les images d'une caméra intégrée au robot et des instructions en "langage naturel", a-t-elle précisé. "Il suffit de donner une seule instruction à Robostral Navigate pour qu'il réalise l'intégralité de la tâche de manière autonome, se déplaçant dans un environnement dynamique peuplé de personnes et d'obstacles qu'il n'avait jamais rencontrés auparavant, tout en étant capable de s'adapter à n'importe quel environnement".

Robostral Navigate permet à une machine de réaliser ces mouvements et actions en prédisant la prochaine destination de celle-ci. Pour cela, il utilise la technique du "pointage". Autrement dit, il déduit les coordonnées de l'emplacement cible dans le champ de vision actuel de la caméra du robot et l'orientation souhaitée à l'arrivée.

Le problème avec cette méthode, c'est qu'elle ne permet pas de gérer les cas où l'emplacement cible est en dehors du champ de vision actuel. Le modèle de Mistral a alors recours à des déplacements définis dans le repère local de coordonnées du robot, comme "avancer de 2 mètres, se déplacer de 1,5 mètre vers la gauche et tourner de 25 degrés vers la gauche".

L'entreprise assure que Robostral Navigate peut fonctionner avec des robots munis de roues, de pattes ou volants, quelle que soit leur taille.

Référence

https://www.bfmtv.com/tech/intelligence-artificielle/mistral-se-lance-a-l-assaut-de-l-ia-physique-avec-un-premier-modele-capable-d-aider-des-robots-roulants-marchants-ou-volants-a-naviguer-dans-des-environnements-complexes_AD-202607080834.html