AI · Đọc tâm trí một mô hình
Vì sao nhìn vào bên trong một mô hình ngôn ngữ lại khó đến vậy?
Bạn sẽ thấy gì
Một mô hình ngôn ngữ là hàng tỷ con số, và ta biết từng con số một. Thế nhưng ta không đọc ra được vì sao nó trả lời như vậy. Mỗi nơ-ron kích hoạt cho nhiều ý tưởng không liên quan cùng lúc, mèo, ô tô và thơ ca, vì mô hình nhồi nhiều ý tưởng hơn số nơ-ron nó có. Giờ đây các nhà nghiên cứu gỡ những hỗn hợp ấy thành từng đặc trưng riêng, từng sợi một.
