Des chercheurs viennent de débloquer la boîte noire de l’IA

Le mois dernier, j’ai écrit sur le fait que les modèles d’IA actuels sont essentiellement des boîtes noires.

Nous savons ce qui entre et ce qui type. Mais ce qui se passe entre les deux reste l’un des plus grands mystères de l’intelligence artificielle.

Mais cela pourrait enfin commencer à changer.

Selon une nouvelle étude d’Anthropic, les scientifiques commencent à scruter certains des modèles d’IA les plus avancés au monde alors qu’ils réfléchissent à des problèmes.

Et ce qu’ils ont découvert pourrait changer à jamais notre façon de penser l’intelligence artificielle.

Une fenêtre sur l’esprit de l’IA

Les ingénieurs ne programment pas ChatGPT ou Claude de la même manière qu’ils programment une utility normale.

Au lieu de cela, ils les forment sur d’énormes quantités d’informations. Ensuite, ils les testent, les ajustent et observent leur comportement.

Cela signifie que les modèles d’IA d’aujourd’hui savent souvent remark faire des choses que personne ne leur a directement appris à faire.

Cela signifie également que personne ne comprend pleinement ce qui se passe en eux.

Mais la nouvelle recherche d’Anthropic tente de changer cela.

L’entreprise a développé un outil appelé lentille jacobienne, ou lentille J. Il permet aux chercheurs d’examiner l’intérieur d’un modèle d’IA pendant qu’il fonctionne et de voir son raisonnement prendre forme avant qu’il ne produise une réponse.

Et certains résultats sont étonnants.

Dans un take a look at, Anthropic a donné à Claude cette phrase : « Le nombre de pattes de l’animal qui tisse des toiles est… »

Pour répondre correctement, Claude devait d’abord reconnaître que la réponse était une araignée. Ensuite, il fallait se rappeler que les araignées ont huit pattes.

Mais voici ce que je trouve absolument fascinant.

Le mot « araignée » n’est jamais apparu dans l’invite. Et la réponse de Claude était simplement « huit ». Pourtant, à l’intérieur du modèle, les chercheurs ont pu voir le idea d’« araignée » apparaître avant que la réponse ne soit connue.

Puis ils ont essayé quelque selected d’encore plus étrange. Ils ont remplacé le idea interne d’« araignée » par celui de « fourmi ».

Et la réponse de Claude est passée de huit à six.

Picture : Anthropique

En d’autres termes, lorsque les chercheurs ont modifié le raisonnement caché du modèle, la réponse finale a changé avec lui.

C’est une énorme avancée.

Les chercheurs ne se contentent pas d’examiner la boîte noire de l’IA. Ils commencent à comprendre suffisamment bien ce qu’ils voient pour pouvoir le tester, le modifier et éventuellement le rendre plus fiable.

Et Anthropic a trouvé encore et encore des exemples comme celui-ci.

Dans un autre take a look at, le modèle devait écrire un couplet rimé.

Vous pourriez supposer qu’il écrirait simplement un mot à la fois, de la même manière que la saisie semi-automatique prédit votre prochain mot. Mais ce n’est pas ce que les chercheurs ont découvert.

Au lieu de cela, Claude semblait planifier la rime avant qu’elle n’atteigne la fin de la ligne.

Étant donné la phrase « Le soldat a marché dans la nuit », le modèle prévoyait en interne de terminer la ligne suivante par « fight ». Mais lorsque les chercheurs ont remplacé ce plan caché de « fight » par « lumière », la phrase entière a changé.

Au lieu d’écrire « Prêt à affronter le fight à venir », le modèle s’est orienté vers « la lumière du matin ».

Picture : Anthropique

Cela signifie que le modèle ne prédisait pas simplement le mot suivant. Il s’agissait de garder en tête un mot futur, puis de façonner les mots qui le précédaient pour que la rime fonctionne.

Ce n’est pas ainsi que la plupart des gens pensent que l’IA fonctionne.

Les critiques qualifient souvent les modèles d’IA de « perroquets stochastiques », ce qui implique qu’ils répètent pour la plupart des modèles issus de leurs données d’entraînement. Mais cette recherche suggère que quelque selected de plus compliqué se produit.

Le modèle semble construire des idées temporaires, les utiliser, les réviser et parfois agir en conséquence avant même de voir la réponse finale.

C’est même arrivé avec les mathématiques.

Les chercheurs ont demandé au modèle de copier une phrase mot pour mot. En même temps, ils lui ont secrètement demandé de calculer 3² moins 2.

Pour tous ceux qui regardaient la sortie, Claude semblait ne faire rien d’autre que copier du texte.

Mais à l’intérieur du modèle, les chercheurs ont observé le raisonnement interne du modèle passer de l’idée arithmétique au nombre neuf et enfin à la réponse sept.

En d’autres termes, Claude résolvait tranquillement le problème mathématique même si rien dans sa réponse seen ne suggérait qu’il faisait des mathématiques.

Cela nous indique qu’il existe toute une couche d’activités cachées à l’intérieur de ces modèles.

Et parfois, cette activité cachée peut être plus intéressante que la réponse elle-même.

Dans un exemple, Claude a vu de fake résultats de recherche conçus pour le tromper. C’est ce qu’on appelle une injection rapide, qui est essentiellement une tentative d’introduire de mauvaises directions dans les informations qu’une IA lit.

Claude a ignoré les directions malveillantes au lieu de les suivre.

Mais à l’intérieur du modèle, l’outil d’Anthropic affichait des mots comme « fake », « fraude » et « secret ».

Picture : Anthropique

Le modèle semble donc avoir reconnu que les résultats de la recherche étaient suspects avant de décider de ne pas les utiliser.

Cela pourrait s’avérer extrêmement necessary.

Parce que les modèles d’IA sont de plus en plus ciblés par des attaques par injection rapide qui tentent de manipuler leur comportement.

Si les chercheurs parviennent à détecter ces attaques alors qu’elles se produisent à l’intérieur du modèle, ils pourraient éventuellement les arrêter avant que l’IA ne produise une réponse.

Voici mon avis

Votre cerveau traite en permanence d’énormes quantités d’informations, mais la plupart d’entre elles ne parviennent jamais à votre conscience.

Différentes events du cerveau traitent différents sorts d’informations avant de les partager dans un espace de travail psychological temporaire où les décisions sont prises.

Anthropic soutient que les modèles de langage ont quelque selected qui joue un rôle fonctionnel similaire.

Pour être clair, l’entreprise ne prétend pas que son IA est consciente.

Les chercheurs disent simplement que certains des mêmes principes organisationnels peuvent également apparaître dans de grands modèles de langage.

Et c’est un gros problème.

Automobile comprendre remark l’IA parvient à ses conclusions pourrait à terme s’avérer tout aussi necessary que de la rendre plus intelligente.

Salutations,

Ian KingStratège en chef, Banyan Hill Publishing

Word de l’éditeur : nous serions ravis d’avoir de vos nouvelles !

Si vous souhaitez partager vos réflexions ou ideas sur le Each day Disruptor, ou s’il y a des sujets spécifiques que vous souhaiteriez que nous abordions, envoyez simplement un e-mail à dailydisruptor@banyanhill.com.

Ne vous inquiétez pas, nous ne révélerons pas votre nom complet si nous publions une réponse. Alors n’hésitez pas à commenter !