IA · Lire dans la tête d’un modèle
Pourquoi est-il si difficile de voir à l’intérieur d’un modèle de langage ?
Ce que vous verrez
Un modèle de langage, ce sont des milliards de nombres, et nous les connaissons tous. Pourtant, nous ne savons pas lire pourquoi il répond ainsi. Chaque neurone s'active pour plusieurs idées sans rapport à la fois, chats, voitures et poésie, car le modèle range plus d'idées qu'il n'a de neurones. Les chercheurs démêlent désormais ces mélanges en caractéristiques distinctes, un fil à la fois.
