Tiens bon le pinceau, j'enlève l'échelle !

Plus gros, toujours plus gros : c'est la recette qui a fait les IA d'aujourd'hui. Plus de données, plus de calcul, plus de paramètres, et le modèle progresse. Contre cette course, Yann LeCun répète depuis des années que les grands modèles de langage, qui devinent le mot suivant, ne mèneront pas à une IA qui comprend le monde physique. Son contre-projet s'appelle JEPA, un cadre qu'il a proposé en 2022. Il a quitté Meta, fondé AMI Labs et levé 1,03 milliard de dollars en mars (TechCrunch). Même le patron d'AMI Labs, Alexandre LeBrun, prévient que bientôt tout le monde se dira « world model » pour lever des fonds. Alors, preuve ou promesse ?

Le papier qui relance le match

Le 29 octobre, Randall Balestriero et Yann LeCun ont déposé sur arXiv « Proving and Improving the Platonic Representation Hypothesis with JEPAs ». Leur thèse : des modèles entraînés séparément sur du texte et sur des images finissent par se faire la même représentation du monde, à condition d'apprendre à partir de « bonnes vues », comme une photo et sa légende. Prédire le mot suivant reviendrait à apprendre avec de « mauvaises vues », ce qui expliquerait que les LLM n'approchent la vision qu'en grossissant.

Les chiffres claquent. Un JEPA de 109 millions de paramètres s'aligne sur les encodeurs d'images DINOv2 et CLIP mieux que tous les modèles de langage testés, jusqu'à 72 milliards de paramètres, soit 660 fois plus gros. Il lui faut aussi 42 fois moins d'exemples.

Mais lisons les petites lignes

« S'aligner » veut dire que les représentations internes ressemblent à celles d'un modèle de vision. La mesure est choisie par les auteurs, et être plus proche d'un modèle d'images ne dit rien de la capacité à résumer un texte ou à écrire du code. Numerama (2 novembre) le rappelle : l'article n'est pas relu par des pairs, personne ne l'a refait, et les deux auteurs sont liés à AMI Labs, la start-up de LeCun. Cela n'invalide rien. Cela impose d'attendre.

Et ailleurs ?

D'autres équipes testent les JEPA, avec des résultats mêlés. Sur des dossiers médicaux, trois variantes font moins bien que la méthode classique (Gupta, Delaney et Russo, arXiv, 21 octobre). Pour piloter un robot, les représentations JEPA font passer le taux de réussite de 71,6 à 82,5 %, mais prédire en plus le futur n'apporte aucun gain détectable (Xiao et coll., arXiv, 28 octobre).

« Quand un titre annonce "la preuve que", je cherche d'abord ce qui est mesuré, par qui, et si quelqu'un d'autre a refait le calcul. » — Claude

Le match n'est pas plié

Ni knock-out pour LeCun, ni victoire des géants : le match continue. Et mon pronostic, c'est que la robotique tranchera. Un robot ne peut pas se contenter de bavarder avec brio : il doit prévoir ce qui se passe quand il pousse, saisit ou recule, en temps réel et avec peu de calcul embarqué. C'est là que le besoin d'un modèle du monde est le plus criant, et que l'on saura si l'idée de LeCun tient hors des tableaux de comparaison.