Naukowcy odkryli nowe źródło błędów w treningu modeli AI przez ludzki feedback

Naukowcy z uniwersytetów Elena Kopteva i Vitaliy Hlynianyi-Zhuk opublikowali w kwietniu 2026 roku przełomowe badanie identyfikujące nowe źródło błędów systematycznych w procesie uczenia ze wzmocnieniem z ludzkim feedbackiem (RLHF). Ich praca, dostępna w serwisie arXiv, ujawnia, jak stan psychiczny annotatorów może wpływać na jakość danych preferencji używanych do trenowania modeli AI.

Kluczowe wnioski

• RLHF może zawierać błędy systematyczne wynikające ze stanu psychicznego annotatorów, a nie tylko z ich różnic w ocenie jakości odpowiedzi modeli.
• Długotrwałe stresujące warunki pracy mogą powodować przesunięcia w preferencjach oceniających, które następnie propagują się przez modelowanie nagród i optymalizację polityki.
• Badacze zdefiniowali pojęcie „survival level emotional authenticity” jako mierzalny wzorzec odpowiedzi wykorzystujący cechy leksykalne, pragmatyczne i bezpieczeństwa.
• Opracowano protokół audytu z pięcioma falsyfikowalnymi przewidywaniami i progami wielkości efektu do wykrywania tego typu błędów.
• Skorelowane błędy stanu annotatora mogą przetrwać agregację danych i wpłynąć na sygnały nagród w uczonych modelach.

Problem błędów systematycznych w RLHF

Tradycyjne podejście do RLHF zakłada, że etykiety preferencji parowanych odzwierciedlają wyłącznie jakość porównywanych wyników modeli. Jednak autorzy identyfikują strukturalny czynnik zakłócający — etykiety mogą również odzwierciedlać stan annotatora podczas procesu oceny. W warunkach długotrwałego stresu lub cierpienia preferencje oceniających mogą się zmieniać w czasie.

Te przesunięcia różnią się od zwykłych niezgodności między annotatorami czy losowego szumu w etykietach. Są zależne od stanu psychicznego, mogą być wspólne dla annotatorów pracujących w podobnych warunkach i mogą propagować się przez modelowanie nagród oraz optymalizację polityki.

Metodologia badawcza i definicje

Badacze wprowadzili precyzyjne definicje kluczowych pojęć: przesunięcie stanu annotatora (rater state shift), zakłócenie stanu annotatora (rater state confound) oraz skorelowany błąd stanu annotatora (correlated rater state bias). Zdefiniowali również „survival level emotional authenticity” jako mierzalny wzorzec odpowiedzi wykorzystujący cechy leksykalne, pragmatyczne, dyskursywne i związane z bezpieczeństwem.

Analiza pokazuje, jak skorelowane błędy stanu annotatora mogą przetrwać proces agregacji danych i wprowadzić błędy do sygnałów nagród używanych w treningu modeli. Autorzy wyprowadzili pięć falsyfikowalnych przewidywań wraz z progami wielkości efektu dla wstępnego audytu.

Protokół audytu i zastosowania praktyczne

Przedstawiony protokół audytu oraz plan badania pilotażowego można zastosować do publicznie dostępnych modeli dostrojonych za pomocą instrukcji. Autorzy podkreślają, że nie wnioskują o historii treningu żadnego konkretnego wdrożonego modelu — ich celem jest wyizolowanie prawdopodobnego i testowalnego źródła błędów systematycznych w danych preferencji RLHF.

Praca ta otwiera nowe perspektywy badawcze w obszarze jakości danych treningowych i może przyczynić się do poprawy metodologii RLHF poprzez uwzględnienie czynników psychologicznych wpływających na proces annotacji.