218 - Synergie entre ingénierie logicielle et intelligence artificielle : innovations et défis pour l’avenir des systèmes

L'intégration de l'intelligence artificielle dans les systèmes logiciels offre des avantages réels mais pose aussi des problèmes de qualité. L'utilisation de frameworks comme TensorFlow et PyTorch complique les modèles d'IA, affectant la performance, la consommation d'énergie et la sécurité. Ces constats m'ont amené à étudier les défauts de code, ou "code smells", pour comprendre les erreurs dans ces systèmes.

J'ai ainsi développé un outil d'analyse statique qui détecte automatiquement ces défauts sans exécuter le code, identifiant des problèmes fréquents tels que les indexations en chaîne dans Pandas ou des erreurs de configuration dans certaines bibliothèques. Cet outil fournit des recommandations concrètes pour améliorer la qualité du code.

Parallèlement, une étude sur des projets Python open-source a révélé que plus de la moitié n'incluent pas de tests unitaires, rendant ces projets plus vulnérables aux erreurs et difficiles à maintenir. Ce constat confirme que l'absence de tests automatisés nuit à la fiabilité des systèmes d'IA.

Mon travail propose donc des solutions pratiques pour renforcer la qualité des systèmes d'IA, aidant les développeurs à mieux détecter les défauts de code, ce qui contribue à améliorer la qualité logicielle et à sécuriser l'utilisation des technologies d'intelligence artificielle.

L’apprentissage machine (ML) est de plus en plus utilisé dans divers secteurs comme le traitement d’images, le diagnostic médical et les systèmes de conduite autonome. Les fournisseurs de services infonuagiques comme Amazon, Google et Microsoft proposent une large gamme de solutions ML, visant à simplifier leur intégration dans les systèmes logiciels et à démocratiser leur utilisation.

Cependant, malgré la montée en puissance des services ML, les développeurs ne suivent pas toujours les bonnes pratiques dans leur conception et leur utilisation. Ils peuvent mal utiliser ces services, ce qui affecte la qualité, la maintenabilité et l’évolutivité des systèmes.

Dans cette présentation, nous analysons la prévalence des mauvaises utilisations des services ML dans un contexte industriel. Nous introduisons un catalogue de 20 mauvaises pratiques courantes et proposons une étude basée sur trois axes : (1) une revue de la littérature, (2) une analyse de projets GitHub intégrant des services ML et (3) une enquête menée auprès de 50 professionnels.

Nos résultats révèlent une large diffusion des mauvaises pratiques, principalement dues à une méconnaissance des capacités des services, une documentation insuffisante et un manque de sensibilisation aux bonnes pratiques. Ces constats soulignent la nécessité de formation continue et de développement d’outils automatisés pour détecter et corriger ces erreurs.

L’avancement de l’Intelligence Artificielle (IA) a permis des progrès dans divers domaines. Toutefois, les systèmes monolithiques basés sur l’IA peinent à répondre aux exigences croissantes en raison de leur complexité et de leurs besoins computationnels élevés, nécessitant des architectures plus évolutives. Face à ces défis, les architectures à base de microservices offrent une meilleure adaptabilité et maintenabilité. Cependant, leur adoption implique une migration souvent complexe et coûteuse, où l’identification des microservices réutilisables est essentielle pour limiter le redéveloppement de ces systèmes. Bien que plusieurs études aient exploré la décomposition des systèmes monolithiques en microservices, aucune ne prend en compte les spécificités des systèmes d’IA. Le but de notre projet est de proposer une approche de migration des systèmes monolithiques à base d’IA vers les architectures à base de microservices. Pour ce faire, nous proposons une méthodologie de migration basée sur des modèles architecturaux et de conception pour identifier les microservices réutilisables dans ces systèmes monolithiques et restructurer les microservices identifiés. Nous validons notre approche sur une étude de cas et comparons qualitativement les résultats à une approche de décomposition de référence. Nos résultats montrent que notre méthodologie permet d’identifier et restructurer efficacement les microservices tout en tenant compte des spécificités des systèmes à base d’IA.

Hugging Face (HF) s'est imposé comme une plateforme essentielle pour la communauté d’Intelligence Artificielle (IA), servant de point central où les développeurs collaborent, partagent des modèles et échangent des jeux de données. Malgré son adoption rapide ces dernières années, les défis rencontrés par les développeurs lorsqu'ils travaillent avec HF restent peu étudiés. En conséquence, dans cette étude nous analysons les questions liées à HF sur StackOverflow (SO), l'une des plateformes de discussion les plus populaires, afin de mettre en évidence les thématiques abordées, les principales difficultés et les tendances émergentes. Cette compréhension permettra aux futures recherches et à la communauté HF d'améliorer l'utilisation de la plateforme en se concentrant sur les défis les plus récurrents et les plus complexes. Pour ce faire, nous appliquons une technique de modélisation de sujets afin de catégoriser les thématiques abordées. Nous évaluons ensuite la popularité et la difficulté de ces sujets pour mieux cerner les défis spécifiques rencontrés par les développeurs. Nos résultats révèlent un taux de croissance annuel moyen de 31,3 % du nombre de questions liées à HF sur SO. De plus, nous identifions huit grandes thématiques, parmi lesquelles la compréhension et l’usage des larges modèles de langage (LLMs) étant le sujet le plus populaire, tandis que le calcul distribué et la gestion des ressources pour l’IA constituent les défis les plus complexes pour les développeurs.

Les systèmes IdO (IoT) sont de plus en plus communs et critiques, il est donc essentiel de les valider pour garantir leur bon fonctionnement et fiabilité. Les tests « End-To-End » (E2E) permettent de vérifier la fonctionnalité de ces systèmes d’un point de vue externe. Cependant, identifier et créer manuellement les cas à tester est une tâche complexe et pénible. De plus, les spécificités des systèmes IdO rendent inadaptés les outils conçus pour d’autres types de systèmes. Pour résoudre ce problème, nous avons exploré quatre approches pour automatiser la génération de cas de tests E2E pour IdO à partir de cas d’utilisation. Parmi elles, trois intègrent des « Large Language Models » (LLMs) à différentes étapes du processus : - Approche « Sur mesure » : arbres logiques, algorithmes récursifs et déductions logiques selon la structure des cas d’utilisation. - Approche « LLM Mono-phase » : utilisant un LLM pour générer les tests en une seule étape. - Approche « LLM Multi-phase » : utilisant également un LLM, mais séparant la génération en plusieurs étapes pour diminuer la complexité. - Approche hybride : combinant l’approche « Custom » et « Multi-Stage LLM ». Nous avons évalué ces approches sur un système IdO réel, en mesurant la couverture des scénarios d’utilisation et la validité des tests. Nos résultats indiquent que l’approche hybride est la plus prometteuse. Cette recherche explore l’intégration des LLMs comme outils dédiés au sein du processus de génération de cas de test.

La Forge est un département de recherche d’Ubisoft qui réunit des experts de l’industrie et du milieu académique pour travailler sur des enjeux liés au développement de jeux vidéo. Parmi les nombreux sujets explorés, La Forge s'intéresse notamment au sujet de l’ingénierie logicielle. Comme de nombreuses autres entreprises du domaine du développement logiciel, Ubisoft s’appuie sur un processus d’intégration de code à grande échelle, impliquant plusieurs milliers de collaborateurs à travers le monde et couvrant des dizaines de franchises. Dans ce cadre, la revue de code par les pairs est une étape essentielle pour garantir la qualité du code. Cependant, ce processus présente des défis importants, notamment en raison du volume de code à examiner et du nombre de développeurs impliqués. Notre mandat de recherche consiste à identifier les défis relatifs à l'ingénierie logicielle et à explorer des solutions innovantes pour assister nos développeurs dans leur travail. En particulier, nous nous intéressons aux approches basées sur l’intelligence artificielle et la génération automatique pour assister la revue de code, en suggérant des commentaires pertinents et des corrections de code. À travers cette présentation, nous exposerons nos approches et leurs évaluations menées au sein d’Ubisoft.

L’avancement récent des grands modèles de langue a permis des percées notables pour certains aspects du développement logiciel tel que la programmation et la documentation, mais qu’en est-il des requis logiciels? Est-ce que l’approche statistique de ces modèles est adaptée aux problématiques de vérification des requis telles que l'ambiguïté des énoncés, la sous-spécification, les requis implicites, l’intégrité intra et inter requis et les contradictions? Une présentation de l’état de l’art de ces problématiques mettra en relief les progrès et les défis inhérents à ce domaine à l’intersection du génie logiciel et du traitement des langues naturelles.

Les systèmes IdO (IoT) sont de plus en plus communs et critiques, il est donc essentiel de les valider pour garantir leur bon fonctionnement et fiabilité. Les tests « End-To-End » (E2E) permettent de vérifier la fonctionnalité de ces systèmes d’un point de vue externe. Cependant, identifier et créer manuellement les cas à tester est une tâche complexe et pénible. De plus, les spécificités des systèmes IdO rendent inadaptés les outils conçus pour d’autres types de systèmes. Pour résoudre ce problème, nous avons exploré quatre approches pour automatiser la génération de cas de tests E2E pour IdO à partir de cas d’utilisation. Parmi elles, trois intègrent des « Large Language Models » (LLMs) à différentes étapes du processus : - Approche « Sur mesure » : arbres logiques, algorithmes récursifs et déductions logiques selon la structure des cas d’utilisation. - Approche « LLM Mono-phase » : utilisant un LLM pour générer les tests en une seule étape. - Approche « LLM Multi-phase » : utilisant également un LLM, mais séparant la génération en plusieurs étapes pour diminuer la complexité. - Approche hybride : combinant l’approche « Custom » et « Multi-Stage LLM ». Nous avons évalué ces approches sur un système IdO réel, en mesurant la couverture des scénarios d’utilisation et la validité des tests. Nos résultats indiquent que l’approche hybride est la plus prometteuse. Cette recherche explore l’intégration des LLMs comme outils dédiés au sein du processus de génération de cas de test.

Hugging Face (HF) s'est imposé comme une plateforme essentielle pour la communauté d’Intelligence Artificielle (IA), servant de point central où les développeurs collaborent, partagent des modèles et échangent des jeux de données. Malgré son adoption rapide ces dernières années, les défis rencontrés par les développeurs lorsqu'ils travaillent avec HF restent peu étudiés. En conséquence, dans cette étude nous analysons les questions liées à HF sur StackOverflow (SO), l'une des plateformes de discussion les plus populaires, afin de mettre en évidence les thématiques abordées, les principales difficultés et les tendances émergentes. Cette compréhension permettra aux futures recherches et à la communauté HF d'améliorer l'utilisation de la plateforme en se concentrant sur les défis les plus récurrents et les plus complexes. Pour ce faire, nous appliquons une technique de modélisation de sujets afin de catégoriser les thématiques abordées. Nous évaluons ensuite la popularité et la difficulté de ces sujets pour mieux cerner les défis spécifiques rencontrés par les développeurs. Nos résultats révèlent un taux de croissance annuel moyen de 31,3 % du nombre de questions liées à HF sur SO. De plus, nous identifions huit grandes thématiques, parmi lesquelles la compréhension et l’usage des larges modèles de langage (LLMs) étant le sujet le plus populaire, tandis que le calcul distribué et la gestion des ressources pour l’IA constituent les défis les plus complexes pour les développeurs.