Une étude Apple met en évidence les limites des modèles LLM qui font fonctionner l'intelligence artificielle actuelle

Chaque jour, nous lisons des informations sur ces nouvelles intelligences artificielles, un terme inapproprié car même les experts en la matière ne sont pas d'accord sur ce qu'est une intelligence artificielle, à commencer par le concept lui-même. Nous préférons appeler les modèles génératifs formés actuels, ou grands modèles de langage (LLM). S'il est vrai que ces modèles que nous utilisons aujourd'hui peuvent donner des résultats spectaculairement bons dans de nombreuses tâches, il est également vrai que dans d'autres, ils ne sont pas très précis dans leur raisonnement, et c'est précisément ce que nous dit Apple dans un article publié aujourd'hui dans qui remettent en question l’efficacité des modèles LLM.

Ce qu'ils disent, c'est que, en simplifiant grandement, de petits changements dans la demande faite à un modèle LLM concernant le raisonnement mathématique modifient l'efficacité (qualité ou niveau de réussite) de la réponse de plus de 10 %. Un synonyme moins courant ou une invite mal rédigée peuvent donner des résultats très différents, si l'on suppose qu'ayant le même objectif, la réponse ne devrait pratiquement pas changer du tout.

Ce problème devient plus évident lorsque des données saisies ne sont pas nécessaires ou pertinentes pour résoudre la demande. Par exemple, Llama (modèle Meta) ou ChatGPT (modèle OpenAI o1) donnent des résultats différents sur le nombre de kiwis qu'une personne peut collecter sur plusieurs jours si une donnée faisant référence à la taille de ces kiwis est saisie, bien que dans le raisonnement cela soit nécessaire de rendre la taille du fruit sans importance du tout. Le modèle GPT-4o dans ChatGPT donne des résultats encore pires.

C’est pour de telles raisons qu’il est important de toujours garder à l’esprit que ces soi-disant IA ne sont pas du tout magiques. Ils ont aussi leurs limites, tout comme ils ont leurs points forts, mais en tout cas, il s'agit d'une nouvelle technologie qui en est maintenant à ses premières années de vie et qui s'améliorera énormément dans quelques années encore. Il en va de même pour Apple Intelligence. Ce sont des outils utiles, mais (encore) pas parfaitement valables dans tous les cas.

Dans cette étude, Apple propose de mélanger les modèles LLM actuels avec d'autres types de raisonnement plus traditionnels basés sur des symboles dans le but de tenter d'améliorer les réponses.

Si vous vous demandez pourquoi Apple publie ce type de documents, la réponse est que cela fait partie de leurs recherches sur les modèles d'apprentissage et de leur engagement en faveur de la transparence sur ce qu'ils essaient de développer et de rechercher afin que tous ceux qui pensent qu'il y a un complot derrière ces intelligences artificielles, vous pouvez le constater par vous-même ce qu'ils font à l'intérieur et comment ils se développent. Pour perdre la peur de quelque chose, Le plus important est de bien comprendre comment ça marche.