W czerwcu 2017 roku ośmioro badaczy Google opublikowało artykuł „Attention Is All You Need”. Zaproponowali w nim transformer — sieć, która dzięki mechanizmowi „uwagi” analizuje wszystkie słowa w tekście jednocześnie i ocenia, które są dla siebie ważne.
Transformery trenują się szybciej i lepiej skalują niż wcześniejsze sieci do tekstu. W kolejnych latach stały się podstawą modeli takich jak BERT, GPT, Claude czy Gemini. To prawdopodobnie najbardziej wpływowa publikacja w historii współczesnej AI.