Conception d'une expérience 3D en réalité augmentée d'une machine à commande numérique :
un projet mêlant Unity, modélisation 3D et PC
La première idée venait du fait que des étudiants entrant en deuxième année de BUT, qui n'avaient pas fait de TP sur les machine de l'atelier de l'IUT, étaient en retard par rapport aux autres et se sentaient presque perdus. Nous devions donc réutiliser un nuage de point de la zone CN de l'atelier fait par l'IUT, pour faire un tutoriel machine.
Nous devions pouvoir visualiser et interagir avec une machine à commande numérique à l'aide d'un casque de réalité augmentée. Le but est de pouvoir lancer un usinage virtuel.
Nuage de point de la Somab
Après avoir récupéré le gros nuage de point (3Go de données au format .e57), nous avons dû le réduire pour ne garder que la machine qui nous intéresse.
Le logiciel utilisé pour cette étape est la version d'essais de Autodesk Recap Pro car il permet de visualiser les différentes prises de vue du scanner et de couper le nuage de point proprement comme on le souhaite.
Maillage de la Somab
Ensuite il fallait transformer ce nuage de point en maillage pour être utilisé dans notre projet. Le logiciel nous permettant de le faire était Rhino 8 (du moins la version d'essais). il était capable d'importer du .e57 et le transformer en un maillage après quelques manipulation des outils.
En revanche nous voulions un maillage sous un format compatible avec Unity, donc sous le format OBJ. Il a donc fallut le convertir avec le logiciel gratuit Blender.
Klingeknberg Oerlikon C50
SISP Gearboxes, fondée à Gallardon (28), conçoit et fabrique des boîtiers pour divers secteurs d’activités tels que l’agricole, l’industrie, l’agroalimentaire, le ferroviaire, etc.
Il nous ont demandé de leur montrer ce qu'il était possible de faire comme tutoriel avec nos lunette de réalité augmentée, puisqu'ils ont une machine longue à prendre en main, une Klingelnberg Oerligon C50 (machine 6 axes pour le taillage de pignons coniques).
Nous avons utilisé le scan de l'IUT pour scanner la machine lors d'une visite chez SISP. Le Matterport Pro3 utilise son capteur lidar pour scanner avec plusieurs point son environnement, et une caméra est rajoutée pour assigner des couleurs aux points.
Microsoft Hololens 2
L'IUT avait à disposition les lunettes de réalité augmentée Hololens 2. Ce n'est pas un casque car on voit à travers l'image affichée.
Il permet de voir autour de soi, ce qui ajoute de la sécurité dans notre projet. En effet si pendant la simulation on ne voit pas l'environnement, on pourrait percuter quelque chose et se faire mal.
De plus ce casque est parfaitement compatible avec le logiciel que nous voulions utiliser (expliqué juste après).
Il existe plusieurs logiciel nous permettant d'utiliser les lunettes de réalité augmentée tout en ayant la possibilité d'interagir avec le scène 3D. Il y a Unreal engine et Unity comme logiciel de base qu'on pouvait utiliser.
Nous avions choisi Unity car il est plus simple à prendre en main et est capable de faire ce qu'on veut. De plus il y a plus d'aide dans des forums sur internet.
Nous avions comme idée de reconnaitre les objets (la machine par exemple) pour superposer un modèle 3D avec des indications sur l'utilisations de la machine. pour cela Vuforia engine répondait à ce besoin étant donné que nous avions déjà un maillage d'une machine qu'on peut tester. Vuforia intrégré à unity nous permet de pouvoir afficher quelque chose si l'objet est reconnu. Nous avons d'abord testé sur des petits objets (dont vous trouverez juste après une courte vidéo).
Mais nous nous sommes rendus compte que ce n'était pas forcément la solution. En effet, niveau sécurité, il est compliqué de se fier à son casque devant une machine, et donc ce n'est pas la solution à notre problème.
Le module MRTK (Mixed Reality Toolkit) nous permet de connecter les lunettes de réalité augmentée à Unity et de pouvoir assigner des boutons et de prendre en main des objets de l'environnement. Cet outil est exactement ce qu'il nous faut
Modélisation 3D de la Klingelnberg Oerlikon C50
La manière de faire le tutoriel ne répondant plus à ce que nous voulions faire, Nous avons modélisé la machine (C50) à l'aide plans cotés disponibles sur internet. Nous avons repris seulement la forme globale et non les détails. C'est-à-dire : la structure de la machine, l'écran de contrôle, la tête d'outil et le porte pièce tournant.
Après avoir importé le modèle 3D de la C50 il fallait créer des mouvement contrôlés par l'appui d'un bouton avec son doigt. La bibliothèque MRTK intègre déjà des boutons "facile" à utiliser. Dans le menu du bouton, on assigne un script à l'appui de celui-ci.
Il a donc fallut créer un script à la porte en premier temps pour tester son ouverture. J'ai créé un menu où on pouvait renseigner directement la coordonnée d'arrivée de la porte. En testant plusieurs valeur, j'ai pu trouver la bonne valeur à marquer.
Il faut également définir des paramètre d'interaction au modèle 3D choisi (la porte dans notre cas). Les paramètres à ajouter sont les suivant : Box collider, near-interaction, object manipulator,... Ils permettent d'être plus réaliste et de pouvoir manipuler à la main les object (le brut d'une pièce à usiner par exemple).
Après avoir assigné chaque bouton à une action nous avons pu faire un vrai essai simplifié d'un usinage.
Avant l'usinage on vient déposer un brut et à la fin celui-ci est remplacé par une pièce avec des dentures. Le brut est, lui, de retour à une position devant le panneau de contrôle.
Nous avons donc présenté cette simulation au responsable des opération de l'entreprise SISP pour qu'il puisse voir ce qu'il est capable de faire en terme de réalité augmentée. Ils semblaient impressionnés.
Ce projet m'a permis d'en apprendre plus sur le monde de la réalité virtuelle et augmentée. Il m'a permis de développer mes compétences sur l'utilisation de Unity et de ces modules, ainsi qu'apprendre la façon dont les pignons coniques sont réalisés.
Usinage virtuelle simplifié d'un pignon conique
Mobirise