Transformer został opisany przez badaczy Google w artykule „Attention Is All You Need” (2017). Jego kluczowy pomysł to mechanizm uwagi (ang. attention): model przy każdym słowie „patrzy” na wszystkie inne słowa w tekście i ocenia, które są dla niego ważne.
Transformery dobrze się skalują na dużych zbiorach danych i kartach graficznych — dlatego stały się fundamentem GPT, Claude’a, Gemini i wielu innych.
