人工智慧 · 讀懂模型的心思
為什麼很難看清語言模型的內部?
你會看到
語言模型由數十億個數字組成,每一個我們都知道。可是我們還是讀不懂它為什麼這樣回答。每個神經元都會同時為許多不相關的概念激發,貓、汽車、詩歌,因為模型裝下的概念比它的神經元還多。研究人員現在正把這些混合拆解成一個個獨立的特徵,一條線一條線地理清。
人工智慧 · 讀懂模型的心思
語言模型由數十億個數字組成,每一個我們都知道。可是我們還是讀不懂它為什麼這樣回答。每個神經元都會同時為許多不相關的概念激發,貓、汽車、詩歌,因為模型裝下的概念比它的神經元還多。研究人員現在正把這些混合拆解成一個個獨立的特徵,一條線一條線地理清。