AI · Czytanie w myślach modelu
Dlaczego tak trudno zajrzeć do wnętrza modelu językowego?
Co zobaczysz
Model językowy to miliardy liczb, a my znamy każdą z nich. Mimo to nie potrafimy odczytać, dlaczego odpowiada tak, a nie inaczej. Każdy neuron reaguje naraz na wiele niezwiązanych pojęć, na koty, samochody i poezję, bo model upycha więcej pojęć, niż ma neuronów. Badacze rozplątują teraz te mieszanki na osobne cechy, nitka po nitce.
