RLHF (ang. Reinforcement Learning from Human Feedback) polega na tym, że ludzie oceniają różne odpowiedzi modelu, a model uczy się preferować te lepiej ocenione.
To dzięki temu etapowi surowy model przewidujący słowa zamienia się w pomocnego asystenta, który odpowiada na pytania, trzyma się poleceń i odmawia szkodliwych próśb.