Apple discute avec l'entreprise qui a réussi à intégrer un modèle d'IA avec 27 milliards de paramètres dans l'iPhone

PrismML est une petite startup dont vous n'avez probablement jamais entendu parler, mais qui essaie de réaliser une idée très intéressante qui, par contre, est inévitable ; Possibilité d'exécuter des modèles LLM localement en utilisant beaucoup moins de mémoire.

Les modèles LLM qui donnent de la voix et du texte à la nouvelle intelligence artificielle dont nous bénéficions aujourd'hui ont un petit problème. Ils nécessitent d’énormes quantités de RAM, RAM qui doit également être très rapide. Cependant, l'iPhone ne dispose pas de beaucoup de RAM, même malgré les augmentations de ces dernières années auxquelles cette technologie a précisément conduit. Les modèles plus grands, avec plus de données, ne peuvent être exécutés qu'en ligne en raison du manque de mémoire RAM. Pour cette raison, Apple est très intéressé par toute technologie permettant d’atténuer ce problème. C'est pourquoi ils s'intéressent à PrismML, et maintenant nous savons, d'après ce qu'ils disent dans The Information, qu'ils ont maintenu les conversions avec Apple bien que rien d'autre n'ait émergé, sur ce qui s'est passé ensuite, si quelque chose s'est passé.

Apple essaie d'utiliser les modèles LLM localement sur l'iPhone, le Mac, l'iPad ou même l'Apple Watch chaque fois que cela est possible, pour plusieurs raisons, comme ne pas avoir besoin d'une connexion Internet ou simplement ne pas envoyer de données utilisateur, ou leur demande, à un serveur distant, pour des raisons de confidentialité. Apple n'utilise des modèles en ligne que lorsque l'invite ou la demande demande quelque chose qui nécessite un modèle plus grand que la version réduite qui tient dans la RAM de l'iPhone. PrismML se spécialise précisément dans la garantie que les modèles plus grands nécessitent moins de RAM pour fonctionner.

PrismML a réussi à installer Qwen 3.6, le modèle open source le plus populaire d'Alibaba, avec 27 milliards de paramètres, sur un iPhone. Apple utilise un modèle appelé AFM 3 Core Advanced dans l'iPhone qui possède au maximum 20 milliards de paramètres. Pire encore, le système conçu par Apple ne peut faire fonctionner qu'une partie des paramètres AFM 3 Core Advanced dans chaque session de diffusion, ce qui se produit lorsque nous envoyons notre invite (demande, en texte naturel) au modèle sur un iPhone. Le système PrismML vous permet d'avoir les 27 milliards de paramètres disponibles dans chaque session.