Inferencja (wnioskowanie) to etap użytkowania modelu, w odróżnieniu od treningu. Gdy wpisujesz pytanie, serwery wykonują obliczenia i generują odpowiedź token po tokenie.
Koszt i szybkość inferencji decydują o tym, ile kosztuje dostęp do AI i jak szybko odpowiada.