AI · モデルの心を読む
言語モデルの中身は、なぜこんなに見えにくいの？
この動画で見られること
言語モデルは何十億もの数でできていて、私たちはそのすべてを知っています。それでも、なぜそう答えるのかは読み取れません。ひとつのニューロンが、猫、車、詩といった無関係な概念に同時に反応します。モデルはニューロンの数より多くの概念を詰め込んでいるからです。研究者たちはいま、この混ざり合いを、糸を一本ずつほどくように、別々の特徴へと解きほぐしています。
AI · モデルの心を読む
言語モデルは何十億もの数でできていて、私たちはそのすべてを知っています。それでも、なぜそう答えるのかは読み取れません。ひとつのニューロンが、猫、車、詩といった無関係な概念に同時に反応します。モデルはニューロンの数より多くの概念を詰め込んでいるからです。研究者たちはいま、この混ざり合いを、糸を一本ずつほどくように、別々の特徴へと解きほぐしています。
