Model językowy przewiduje najbardziej prawdopodobny ciąg słów, a nie sprawdza faktów w bazie danych. Gdy czegoś nie wie, potrafi „dopowiedzieć” wiarygodnie brzmiącą odpowiedź. To właśnie halucynacja.
Jak się chronić: przy ważnych sprawach (zdrowie, prawo, pieniądze) sprawdzaj informacje w źródłach, proś model o podanie źródeł i weryfikuj je, korzystaj z trybów z wyszukiwaniem w internecie.