Modele uczą się wyłącznie z danych, które dostały. Jeśli dane zawierają błędy, uprzedzenia albo mało przykładów w danym języku, model to odziedziczy.
Wokół danych treningowych toczą się ważne spory — m.in. o prawa autorskie twórców, których teksty, obrazy i muzyka posłużyły do trenowania modeli.