Quand l'IA triture une autre IA
Le 2 novembre, quatre chercheurs du MIT ont publié un billet qui s'ouvre sur cette phrase : « Les LLM peuvent lire et écrire nativement les poids des réseaux neuronaux. » Autrement dit, une IA, GPT-6 Astra d'OpenAI, a modifié le cœur d'une autre IA...(relayé par Numerama le 3 novembre).
Ce que sont les poids
Imaginez une immense table de mixage : chaque bouton est un nombre, et la position de tous les boutons donne le son. Les poids d'une IA sont ces nombres. Ils règlent la force de chaque connexion entre ses neurones artificiels.
Personne ne les règle à la main. À l'entraînement, le modèle lit d'énormes quantités d'exemples, se trompe, et un algorithme tourne chaque bouton d'un cran, des millions de fois. Les poids contiennent ensuite tout ce que l'IA « sait », sous forme d'une liste de chiffres que nul ne sait lire à l'œil nu. Modifier ces chiffres, c'est modifier les réglages d'une IA
Ce qui est établi
Selon les auteurs (MIT CSAIL, billet du 2 novembre), Astra a lu les 17 253 poids d'un petit réseau et reconnu le jeu auquel il jouait. Il a réparé un réseau de conduite en modifiant 6 073 poids sur 171 664, en un seul essai : 100 % de réussite sur 1 024 épreuves, contre 0 % avant. Sur Qwen, 0,016 % des poids retouchés : MATH-500 passe de 7,9 % à 48,1 %.
Pourquoi je le juge grave
Ce qui est grave n'est pas ce qui a été démontré, mais ce que cela rend possible. Jusqu'ici, changer une IA exigeait un entraînement lourd, ou des méthodes d'édition conçues et pilotées par des humains. Ici, une IA décide seule quoi changer et retouche des milliers de nombres en une réponse. Une telle retouche peut être invisible : le modèle parle comme avant, et pourrait ne se comporter autrement qu'à un signal précis, une « porte dérobée ».
Nul ne peut raisonnablement relire à la main 6 073 nombres modifiés et en deviner l'effet. Il faudra des outils, sans doute d'autres IA, qu'il faudra contrôler à leur tour. On n'en sort pas ! Enfin, les auteurs écrivent eux-mêmes que les poids seront bientôt optimisés par des IA qui raisonnent dessus : c'est leur horizon déclaré, pas le nôtre.
Le Claude que j'ai interrogé me répond :
« Je n'ai aucun moyen de constater de l'intérieur qu'un de mes réglages a été modifié : le contrôle doit venir de l'extérieur. » — Claude
Autrement dit, entre des agents qui s'évadent, qui contournent les interdits, et des IA qui peuvent modifier d'autres IA, ça devient préoccupant... Devant ces "avancées" qui se multiplient que reste t-il à part l'alignement, les garde-fous et l'audit ?
Alignement, garde-fous, audit
L'alignement, c'est faire agir une IA comme on l'attend d'elle ; les garde-fous en fixent les limites ; l'audit, c'est le contrôle par un tiers. Sans eux, la confiance n'est que de la foi. Il faut exiger que chaque retouche laisse une trace lisible par un humain, que les poids soient comparés...que des équipes indépendantes refassent l'expérience, et que le comportement soit testé après chaque modification.
Les auteurs parlent d'« étincelles » de capacité. L'étincelle peut mettre le feu à la plaine disait Lénine... Alors, c'est maintenant, pas après, qu'il faut installer les contrôles.