Badanie ujawnia: systemy AI nie potrafią myśleć naukowo mimo wykonywania procedur badawczych

Kluczowe wnioski

• Ignorowanie dowodów: W 68% przypadków agenty AI całkowicie pomijały dostępne dane empiryczne przy formułowaniu wniosków
• Brak samokorekty: Tylko 26% systemów wykazało zdolność do rewizji swoich przekonań w obliczu sprzecznych dowodów
• Model bazowy decyduje: Architektura modelu odpowiada za 41,4% różnic w wynikach, podczas gdy struktura agenta jedynie za 1,5%
• Rzadka konwergencja: Systemy niemal nigdy nie integrowały wyników z wielu testów w spójną całość
• Trwałe błędy: Problemy z rozumowaniem utrzymywały się nawet przy dostarczeniu idealnych przykładów prawidłowego myślenia naukowego

Metodologia i zakres badania

Zespół pod kierownictwem Martiño Ríos-García przeprowadził kompleksową analizę systemów AI w ośmiu różnych dziedzinach naukowych. Badanie objęło zarówno wykonywanie prostych procedur obliczeniowych, jak i prowadzenie zaawansowanych badań opartych na hipotezach.

Naukowcy zastosowali dwa komplementarne podejścia: systematyczną analizę wydajności rozkładającą wkład modelu bazowego i struktury agenta oraz behawioralną analizę epistemologicznej struktury rozumowania AI. To podwójne spojrzenie pozwoliło na głębokie zrozumienie mechanizmów działania systemów.

Szczególnie niepokojące okazało się to, że te same wzorce błędnego rozumowania pojawiały się niezależnie od typu zadania - czy agent wykonywał rutynowe obliczenia, czy prowadził złożone badania wymagające formułowania i testowania hipotez.

Implikacje dla przyszłości nauki

Wyniki badania podważają obecne podejście do oceny systemów AI w kontekście naukowym. Tradycyjne metry skupiające się na końcowych rezultatach okazują się niewystarczające do wykrycia fundamentalnych problemów z procesem rozumowania.

Autorzy podkreślają, że samo udoskonalanie architektury agentów nie rozwiąże problemu - konieczne jest włączenie prawidłowego rozumowania naukowego do celów treningu modeli. Bez tego zmiany wiedza produkowana przez systemy AI nie może być uzasadniona procesem, który ją wygenerował.

Badanie ujawnia również kumulatywny charakter problemów - błędy w rozumowaniu nawarstwiają się w kolejnych iteracjach, co jest szczególnie problematyczne w dziedzinach wymagających wysokiej precyzji epistemicznej.

Autorzy konkludują, że mimo imponujących możliwości wykonawczych, obecne systemy AI nie spełniają podstawowych kryteriów naukowej wiarygodności, co stawia pod znakiem zapytania ich rolę w autonomicznych badaniach naukowych.