ИИ · Механизм внимания
Что такое трансформер?
Что вы увидите
Трансформер читает всю последовательность сразу. Каждый фрагмент рассылает вопрос, и все остальные отвечают, насколько они для него важны. Чтобы угадать, что будет после этого красного круга, он оглядывается на прошлый красный круг и на то, что шло за ним: синий квадрат. Слой за слоем эти связи смешиваются, и на выходе получается догадка.
