ArXiv, popularna platforma do publikowania preprintów naukowych, wprowadza surowe kary dla badaczy, którzy publikują prace wypełnione treścią generowaną przez sztuczną inteligencję bez odpowiedniej weryfikacji. Nowa polityka zakłada roczny ban dla autorów, którzy pozostawią w swoich pracach „niepodważalne dowody” niedbałego korzystania z modeli językowych, informuje The Verge.
Decyzję ogłosił Thomas Dietterich, przewodniczący sekcji informatyki w ArXiv, wyjaśniając, że platforma nie może ufać treści prac, które zawierają wyraźne ślady nieweryfikowanej generacji AI.
Kluczowe wnioski
- Autorzy otrzymają roczny ban za pozostawienie w pracach „niepodważalnych dowodów” nieweryfikowanej treści AI, takich jak halucynowane referencje lub meta-komentarze z modeli językowych.
- Po zakończeniu banu przyszłe publikacje będą musiały być wcześniej zaakceptowane w renomowanych czasopismach z recenzją.
- Przykłady „niepodważalnych dowodów” to komentarze typu „oto 200-słowne podsumowanie; czy chcesz, żebym wprowadził jakieś zmiany?” czy instrukcje do uzupełnienia danych.
- Polityka będzie stosowana tylko w przypadkach jednoznacznych dowodów, z procesem weryfikacji przez moderatora i przewodniczącego sekcji.
- ArXiv już wcześniej ograniczyło publikację artykułów przeglądowych z informatyki tylko do tych zaakceptowanych po recenzji, ze względu na napływ treści generowanych przez AI.
Nowe standardy odpowiedzialności autorów
Dietterich podkreślił w swoim oświadczeniu na platformie X, że kodeks postępowania ArXiv jasno określa odpowiedzialność autorów za całą zawartość swoich prac, niezależnie od sposobu ich powstania. Jeśli narzędzia generatywnej AI tworzą nieodpowiednie treści, plagiat, błędy czy wprowadzające w błąd informacje, to autorzy ponoszą pełną odpowiedzialność za ich włączenie do prac naukowych.
Szczególnie problematyczne są przypadki, gdy autorzy pozostawiają w tekście meta-komentarze generowane przez modele językowe, takie jak pytania o wprowadzenie zmian czy instrukcje typu „dane w tej tabeli są ilustracyjne, uzupełnij je rzeczywistymi liczbami z eksperymentów”. Tego typu elementy stanowią niepodważalny dowód, że autorzy nie sprawdzili wyników generacji AI.
Proces egzekwowania nowych zasad
Zgodnie z informacjami przekazanymi portalowi 404Media, autorzy będą mogli odwołać się od decyzji o banie. Dietterich zapewnił też, że nowa polityka będzie stosowana wyłącznie w przypadkach „niepodważalnych dowodów”, a wewnętrzny proces wymaga najpierw udokumentowania problemu przez moderatora, a następnie potwierdzenia przez przewodniczącego sekcji przed nałożeniem kary.
Po zakończeniu rocznego banu autorzy będą musieli publikować swoje przyszłe prace w ArXiv dopiero po ich zaakceptowaniu w renomowanych czasopismach z recenzją, co stanowi dodatkową barierę mającą zapewnić jakość publikowanych treści.
Szerszy kontekst problemu AI w nauce
Problem „śmieci AI” w publikacjach naukowych nie jest nowy dla ArXiv. Już w zeszłym roku platforma zaktualizowała swoje zasady, ograniczając publikację artykułów przeglądowych i stanowiskowych z dziedziny informatyki tylko do tych, które przeszły recenzję i zostały zaakceptowane na konferencjach lub w czasopismach. Jak wyjaśniała wówczas platforma, pojawienie się dużych modeli językowych sprawiło, że tego typu treści można łatwo produkować na żądanie, a większość otrzymywanych artykułów przeglądowych to niewiele więcej niż „opatrzone adnotacjami bibliografie, bez istotnej dyskusji otwartych kwestii badawczych”.
Nowe zasady ArXiv odzwierciedlają rosnące wyzwania związane z kontrolą jakości publikacji naukowych w erze sztucznej inteligencji i podkreślają potrzebę zachowania odpowiedzialności autorów za treść swoich prac.
