SOLAR — agent AI z ciągłym uczeniem się bez zapominania wcześniejszej wiedzy

Naukowcy opracowali SOLAR — autonomicznego agenta AI zdolnego do ciągłego uczenia się i adaptacji w zmieniających się środowiskach. System wykorzystuje meta-uczenie na poziomie parametrów, traktując wagi modelu jako środowisko do eksploracji, co pozwala mu samodzielnie odkrywać strategie adaptacji bez konieczności kosztownego dostrajania gradientowego.

Badanie zostało opublikowane w arXiv przez Nitin Vetchę i Dianbo Liu z Uniwersytetu, a artykuł został zaakceptowany na konferencję Association for the Advancement of Artificial Intelligence 2026 w sekcji Streaming Continual Learning Bridge.

Kluczowe wnioski

• SOLAR rozwiązuje główne problemy dużych modeli językowych w dynamicznych środowiskach: dryfowanie konceptów i wysokie koszty adaptacji gradientowej.
• System wykorzystuje wielopoziomowe uczenie ze wzmocnieniem do autonomicznego odkrywania strategii adaptacji, umożliwiając efektywną adaptację w czasie testowania do nieznanych domen.
• Agent utrzymuje ewoluującą bazę wiedzy o skutecznych strategiach modyfikacji, działając jako bufor pamięci epizodycznej równoważący plastyczność i stabilność.
• Eksperymenty wykazały przewagę SOLAR nad silnymi metodami bazowymi w zadaniach rozumowania zdroworozsądkowego, matematycznego, medycznego, programistycznego, społecznego i logicznego.

Przełom w uczeniu ciągłym

Tradycyjne dostrajanie modeli językowych boryka się z adaptacją do niestatycznych strumieni danych, prowadząc do katastrofalnego zapominania lub wymagając rozległej manualnej kuracji danych. SOLAR wprowadza nowatorskie podejście, konsolidując silny priorytet nad wiedzą zdroworozsądkową, co czyni go efektywnym w transfer learningu.

Kluczową innowacją jest traktowanie wag modelu jako środowiska do eksploracji. Dzięki temu agent może samodzielnie odkrywać optymalne strategie adaptacji, eliminując potrzebę kosztownego dostrajania gradientowego przy każdej zmianie w środowisku.

Architektura i mechanizmy działania

SOLAR implementuje wielopoziomowe uczenie ze wzmocnieniem, które pozwala na autonomiczne dostosowywanie się do nowych zadań. System utrzymuje ewoluującą bazę wiedzy zawierającą sprawdzone strategie modyfikacji, która pełni funkcję bufora pamięci epizodycznej.

Ten mechanizm zapewnia równowagę między plastycznością — zdolnością adaptacji do nowych zadań — a stabilnością, czyli zachowaniem meta-wiedzy. W przeciwieństwie do konwencjonalnych metod, SOLAR nie wymaga ręcznej interwencji przy zmianie domenowej, co znacząco redukuje koszty operacyjne.

Wyniki eksperymentów

Testy przeprowadzone przez badaczy wykazały znaczącą przewagę SOLAR nad istniejącymi metodami bazowymi w sześciu kluczowych obszarach: rozumowaniu zdroworozsądkowym, matematycznym, medycznym, programistycznym, społecznym i logicznym. System wykazał zdolność do efektywnej adaptacji w czasie rzeczywistym bez utraty wcześniej nabytych umiejętności.

Badanie stanowi istotny krok w kierunku stworzenia autonomicznych agentów zdolnych do uczenia się przez całe życie w ewoluujących środowiskach, otwierając nowe możliwości dla zastosowań AI w dynamicznych, rzeczywistych scenariuszach.