Polscy naukowcy odkryli, że feedback w AI często nie działa tak jak sądzimy

Polscy badacze z Uniwersytetu Warszawskiego i innych instytucji opublikowali przełomowe badanie analizujące, kiedy informacja zwrotna rzeczywiście prowadzi do poprawy działania agentów AI. Publikacja dostępna w arxiv podważa powszechne założenia o wartości feedbacku w systemach sztucznej inteligencji.

Zespół naukowców pod kierownictwem Bartłomieja Cupiała wprowadził kontrolowany protokół student-nauczyciel, testując trzynaście modeli o otwartych wagach w różnych rolach. Badanie obejmowało cztery różnorodne zestawy zadań: Omni-MATH, Codeforces, BBEH Linguini i ARC-AGI1, co pozwoliło na kompleksową ocenę mechanizmów uczenia się z informacji zwrotnej.

Kluczowe wnioski

• Poprawa w kolejnych turach interakcji często nie wynika z wykorzystania feedbacku, lecz z ponownego próbkowania odpowiedzi lub dodatkowych obliczeń
• Samoocena i samokorekta modeli dodają niewiele ponad nieukierunkowane samoulepszanie bez zewnętrznej informacji zwrotnej
• Najsilniejsi zewnętrzni nauczyciele generują znacząco większe korzyści specyficzne dla feedbacku niż słabsi modele
• Zdolność ucznia do wykorzystania informacji zwrotnej ma większy wpływ na interaktywną poprawę niż tożsamość nauczyciela
• Użyteczna informacja zwrotna musi dostarczać konkretnych wskazówek wykraczających poza ogólne sugestie ponowienia próby

Metodologia i zakres badania

Badacze zaprojektowali precyzyjny protokół eksperymentalny pozwalający oddzielić rzeczywiste korzyści z feedbacku od efektów ubocznych wielokrotnych prób. System porównywał zewnętrzną informację zwrotną, samoocenę oraz nieukierunkowane samoulepszanie, jednocześnie kontrolując zmienne takie jak historia interakcji, trudność zadania i dostęp nauczyciela do uprzywilejowanych informacji o zadaniu.

Eksperymenty przeprowadzono na różnorodnych zestawach danych testujących odmienne aspekty inteligencji: rozumowanie matematyczne (Omni-MATH), programowanie (Codeforces), rozumienie języka (BBEH Linguini) oraz abstrakcyjne rozumowanie (ARC-AGI1). Taki szeroki zakres pozwolił na weryfikację uniwersalności odkrytych mechanizmów.

Implikacje dla rozwoju AI

Wyniki badania sugerują fundamentalną zmianę w podejściu do oceny systemów AI wykorzystujących feedback. Autorzy dowodzą, że agenci opierający się na informacji zwrotnej powinni być porównywani z bazowymi systemami wykonującymi wielokrotne próby, a nie z jednokrotnymi odpowiedziami.

Szczególnie istotne jest odkrycie, że zdolność do działania na podstawie feedbacku, a nie sama jego dostępność, stanowi główne wąskie gardło dla interaktywnej poprawy. Gęste macierze interakcji student-nauczyciel pokazały, że właściwości ucznia mają decydujące znaczenie dla sukcesu całego procesu.

Badanie dostarcza nowych narzędzi do oceny rzeczywistej wartości mechanizmów feedbacku w systemach AI, co może znacząco wpłynąć na projektowanie przyszłych architektur uczenia się. Autorzy udostępniają opracowane przez siebie narzędzia ewaluacyjne, umożliwiając innym zespołom replikację i rozszerzenie badań.