L’arrivée des réseaux de neurones convolutifs a été une révolution dans le domaine de la vision par ordinateur, qui a démultiplié les performances des algorithmes.
En partant d’un réseau de neurones sur étagère, pré-entraînée sur des centaines de milliers d’images, il est désormais possible d’apprendre en quelques coups à trier des images, identifier et localiser des éléments particuliers ou encore segmenter et mesurer un motif.
Certains réseaux particuliers peuvent aussi être entraînés reconnaître l‘aspect normal d’une pièce et alerter sur les déviations, même si elles n’ont jamais été vues auparavant.
Les caméras 3D sont désormais abordables et peuvent aussi être couplées avec de l’IA. Des caméras micrographiques, infrarouge, internes aux machines, peuvent voir ce que l’œil humain ne peut pas voir.
Une autre révolution, encore plus récente, l’IA de confiance. Il est possible de d’évaluer l’incertitude en sortie de réseau, de savoir quelles zone de l’image ont amené à la décision ou d’identifier l’arrivée de données totalement inédites.
Enfin, nous savons que l’industrie est un domaine hautement évolutif, où tout est en constante amélioration. Il existe plusieurs technologies d’apprentissage accéléré, qui permettent à ces réseaux de rester agiles et de s’adapter aux changements.
Tout cela laisse rêveur et il est parfois difficile pour un industriel de comprendre ce que cela implique, concrètement, en terme d’opportunités pour son développement.
Dans la section suivante, nous allons parler un peu moins d’I.A. et un peu plus d’industrie, pour tacher de trouver des exemples parlants des révolutions que cela apporte à nos usines.
Notre fil rouge
Ces pièces proviennent d’un jeu de données destiné au test et à la mise au point des IA. Elles vont nous accompagner tout au long de notre histoire. Imaginons qu’elles sont produites par une entreprise nommée GreatCastings SAS. Supposons qu’elle font à peu près leur taille à l’écran et qu’elles sont montrées ici en sortie d’usinage. Une étape qui a tendance à révéler des défaut de fonderie, comme les retassures, et crée elle même de vilaines bavures.
Il s’agit d’une nouvelle pièce destiné à être assemblées sur un produit maison. GreatCastings compte les fabriquer par série de 10 000.
Les pièces de GreatCastings sont usinées par un processus semi automatisé avec des contrôles dimensionnels automatiques sur la machine, mais pas de contrôle visuel systématique. Il y a cinq ans, GreatCastings a découvert des dizaines de pièces en défaut sur montées sur des produits finis. Il a fallut démonter et contrôler tout le stock. Depuis, toutes les pièces sont envoyées en contrôle unitaire a chaque étape de fabrication, ce qui a beaucoup augmenté les coûts de production.
Sur ce nouveau produit, le bureau de R&D, qui est quelque peu tenu par les coûts, aimerait qu’on revienne à un contrôle occasionnel par les opérateurs en sortie de machine, avec une assistance par l’IA. Voici leur histoire…
Le dispositif
Le dispositif pourra être assez simple et dans notre cas, il s’agira d’une simple caméra industrielle couplée à un mini PC.
Il existe plusieurs endroits propices à l’installation des caméras de contrôle. Au dessus de l’outillage, sur le trajet d’un robot (pour la présenter sous toutes ses faces), sur les lignes de transfert…
Pour faire simple, nos amis choisissent de placer une caméra au dessus de la pièce, juste après que le robot de transfert l’ait sortie de la machine d’usinage, soufflée, et posée.
Il est aussi possible de suivre des processus manuels. Sur un marteau pilon, par exemple, cela peut être intéressant de prendre une image de la pièce rouge dans la matrice juste après la frappe et une image dans la caisse lorsque la pièce est redevenue grise.
Surveillance des changements d’aspect
Avant de lancer la production en série, notre bureau R&D ne dispose que d’une centaine d’échantillons de pièces, avec quasiment aucun défaut. Et sans défaut à faire apprendre à l’IA, ils ne voient pas bien comment les détecter.
Ils s’adressent donc au laboratoire IA local, qui remarque que toutes les pièces sont totalement identiques. Les seules variations sur les images sont celles liées à l’orientation des pièces et à la lumière. On va donc apprendre à l’IA les apparences normales pour les images. Si l’IA détecte des variations autres que les changements d’orientation et de lumière, elle alerte l’opérateur pour s’assurer qu’il contrôle bien la pièce.
Ce type d’IA s’appelle un détecteur d’anomalies. Il permet de détecter ce qui sort de l’ordinaire.
Ce type de réseau peut aussi s’appliquer au procédé en intégrant l’ensemble des données capteurs et automate. Un peu plus tard, l’équipe s’apercevra d’ailleurs qu’elle peut enrichir et corréler l’information visuelle avec l’historique des vibrations en cours d’usinage.
Localisation et classification des défauts visuels
La surveillance des changements d’aspect a permis aux équipes de parer au plus pressé. La base de donnée de défauts créée lors de l’acquisition intéresse beaucoup le pôle qualité fonderie, qui voit là une occasion de surveiller ses productions et de les améliorer en corrélant les paramètres procédé au taux de chaque type de défaut.
Et il y a du travail pour tout classer… Le responsable contrôle vient donc à son tour taper à la porte du labo pour savoir si, tant qu’on y est, l’IA ne pourrait pas s’en charger…
Par chance, il y a désormais largement assez de données pour entraîner un réseau de detection d’objet sur l’ensemble des défauts. Vous avez déjà surement déjà vu ce genre de videos:
La detection d’objet est une des applications les plus courantes de la vision par ordinateur. Il existe des réseaux sur étagère qu’il suffit de peaufiner sur l’application en question. Avec un réseau de ce type, Logiroad.ai a permis à un industriel de passer de 60% à plus de 99% de détection sur un motif avec une seulement 10 échantillons de pièces. Le nombre de pièces nécessaires à ce type de performance croit avec la difficulté qu’un humain aurait lui même à faire la différence entre deux classes et la variabilité de la forme du défaut.
C’est d’ailleurs le moment de préciser, même si nos amis de chez GreatCastings SAS n’en auront pas besoin, qu’il est courant dans l’industrie de générer des images de synthèse pour anticiper et faire apprendre à l’IA des défauts qui n’ont pas encore été vus.
Mesure de l’étendue des défauts
Certains défauts finissent par faire l’objet de discussions entre ce qui est acceptable, ce qui est rattrapable et ce qui demande de jeter la pièce. Le bureau qualité décide qu’une porosité de moins de 0,5mm de diamètre et à plus de 2mm des bords est acceptable. De plus, les bavures oubliées par la machine doivent être reprises à la main si elles font moins de 10mm². Enfin, il aimerait avoir ces informations dimensionnelles sur l’ensemble des défauts pour alimenter ses analyses.
En première approximation, on peut considérer les dimensions de la boite englobante sur le réseau précédent. Il existe aussi les réseaux dits de segmentation, qui permettent d’identifier précisément l’étendue des défauts au pixel près.
Encore une fois, il s’agit d’un outil relativement classique de l’arsenal de la vison par ordinateur. Une de mes collègues travaille sur la segmentation d’images du cerveau. Je ne peux pas montrer ses images mais voici un exemple similaire provenant d’un outil open source:
Vers une IA métier
Jusqu’à présent, GreatCastings a déployé ce système sur une pièce. Il s’agit, en quelque sortes, d’un projet pilote. Ce projet peut maintenant être répliqué sur d’autres pièces.
On peut imaginer que maintenant que GreatCastings a appris à déployer des IA de contrôle, il va recommencer exactement de la même manière sur les autres pièces. A une différence près…
Lorsque nous faisons quelque chose pour la seconde fois, nous avons tendance à le faire mieux, et plus vite. La comparaison est un peu osée, mais nous allons pouvoir tirer parti des données acquises sur la première série de pièces.
Dans les taches complexes, comme la compréhension du langage ou des images, on travaille souvent avec des réseaux pré-entraînés à comprendre la sémantique des phrases, ou des formes. Ce pré-entrainement peut être peaufiné avec des données proches de la donnée finale avec un gain de performance.
Il est également probable qu’un modèle entraîné à identifier les retassures sur plusieurs types de pièces, finisse par être capable de les repérer sur n’importe quel type de pièce.
Avec un réseau de ce type GreatCastings dispose d’un outil capable de repérer et classer les défauts récurrents sur les nouvelles pièces produites sans avoir à passer par une phase d’entrainement à chaque début de série.
On passe alors d’un réseau spécialisé sur une tache, à un réseau spécialisé sur un métier.
Autres exemples d’application de la vision au contrôle
Notre exemple nous a permis d’explorer une partie des applications de l’IA. Il y en a d’autres…
Avec de l’entrainement, une IA va pouvoir réaliser des contrôles similaires à ceux réalisés par un humain qui regarde les opérations et a accès à des moniteurs de paramètres process. Potentiellement avec la mobilisation de caméras spéciales : infrarouges, micrographiques, 3D… Et la capacité de réaliser directement des mesures et des statistiques sur ces images.
Les possibilités sont très nombreuses. Nous balayerons ci dessous quelques cas d’usage typiques pour ces procédés.
Contrôle de procédé
Changements de température, de force de réaction, cadence, vibrations… En ajoutant aux données visuelles les données capteur et automate, il est possible de détecter au plus tôt les changements et alerter sur les déviations de procédé en cours de production.
Comptage
Le comptage simple est déjà géré. Par pesage ou par des capteur de position, par exemple. La vision par ordinateur peut gérer les cas plus complexe. On peut compter des pièces en vrac dans un sachet ou encore compter et classifier chaque pièce pour s’assurer du bon assortiment…
Identification de la position
Au moment de réaliser une opération, il peut être intéressant de vérifier la position de la pièce.
En gravure laser, par exemple, pour caler la gravure au bon endroit sur la pièce, sans avoir besoin de placer la pièce manuellement dans un outillage.
Si il y a un outillage, on peut vérifier que la pièce est bien positionnée. Par exemple, dans une matrice où la pièce est présentée manuellement pour découpe ou pour forge.
Il y a aussi le dévracage qui est une application courante. On cherche à permettre à un robot de prendre des pièces sans qu’il ne connaisse sa position à l’avance. Dans les cas les plus extrêmes, avec des pièces complètement en vrac et entremêlées dans des caisses, on mobilise des caméras 3D. Mais on s’éloigne du sujet contrôle…
Contrôle de fonctionnement
Il est possible de vérifier avec des images si un bouton déclenche une action, si un objet tourne sur son axe… L’acquisition d’images est aussi utile pour attraper la pièce afin de réaliser ce contrôle.
Contrôle tridimensionnel
Vous avez sans doute remarqué les motifs noirs en spirale à l’intérieur des images de nos pièces. Le contrôle dimensionnel de ce type de motifs est assez difficile. Certaines mesures sont possible en systématique par les palpeurs de la machine, mais cela ralentit beaucoup les temps de cycle.
La vision par ordinateur permet de réaliser des mesures en quelques millisecondes. Sur certaines mesures, des images haute résolution seront suffisantes. Pour des motifs complexes, il peut être utile de passer en 3D.
Conclusion
Nous sommes loin d’avoir fait le tour du sujet. L’objectif est dans un premier temps, de mieux comprendre ce qui est possible. Par la suite, le déploiement d’une IA en production sera d’autant plus pertinente qu’elle fera intervenir des experts sur site pour évaluer les meilleures manières de l’implémenter et d’optimiser ses performances.
Les solutions de contrôle par IA peuvent être intégrées au niveau de la machine, de la chaîne de production, ou même constituer un outil indépendant.
En France, les audits IA sont financés à hauteur de 50% par les régions, entre autres dispositifs financiers mobilisables. Il y a une réelle volonté de l’état de faire avancer l’adoption de l’IA par les entreprises. Le gain en productivité peut s’avérer très important.
La démarche qui consiste à dire aux industriels “renseignez-vous sur l’IA” n’est pas très fructueuse. Entre savoir ce qu’est un “réseau de neurones convolutif de détection d’objet” et comprendre comment, et au travers de quels moyens, cela peut faire gagner beaucoup de temps et d’argent, il y a un fossé. Le meilleur moyen de le combler est de joindre les connaissances terrain des industriels à celles des spécialistes de l’IA.
La première étape est de se rencontrer sur le terrain, autour de problématiques industrielles concrètes.
