AI · Mechanizm uwagi

Czym jest transformer?

Name: Czym jest transformer?
Uploaded: 2026-10-25
Duration: 23 s
Description: Transformer czyta całą sekwencję naraz. Każdy fragment wysyła pytanie, a każdy inny odpowiada, na ile jest dla niego istotny. Żeby zgadnąć, co nastąpi po tym czerwonym kółku, model patrzy wstecz na poprzednie czerwone kółko i na to, co było po nim: niebieski kwadrat. Warstwa po warstwie te powiązania się mieszają i na końcu wychodzi przewidywanie.

Co zobaczysz

Transformer czyta całą sekwencję naraz. Każdy fragment wysyła pytanie, a każdy inny odpowiada, na ile jest dla niego istotny. Żeby zgadnąć, co nastąpi po tym czerwonym kółku, model patrzy wstecz na poprzednie czerwone kółko i na to, co było po nim: niebieski kwadrat. Warstwa po warstwie te powiązania się mieszają i na końcu wychodzi przewidywanie.