Metoda dolaďování modelů podle lidských preferencí, která na rozdíl od RLHF nepotřebuje samostatný model odměn. Model se rovnou učí zvyšovat pravděpodobnost odpovědí, které lidé označili za lepší, a snižovat pravděpodobnost těch horších. Je jednodušší, levnější a stabilnější než RLHF, takže se rychle stala standardem pro ladění modelů podle preferencí.
