Auto-FL-Research: Agenty AI automatyzują poszukiwanie algorytmów uczenia federacyjnego

Badacze opracowali Auto-FL-Research (AFR) — nowy system wykorzystujący agenty AI do automatycznego poszukiwania optymalnych algorytmów uczenia federacyjnego. Badanie, opublikowane w arXiv, przedstawia podejście, które może znacząco przyspieszyć rozwój technologii umożliwiających trenowanie modeli AI bez centralizacji danych.

Kluczowe wnioski

• Auto-FL-Research to system agentów AI, który automatycznie proponuje i implementuje kandydatów na algorytmy uczenia federacyjnego, testując różne warianty optymalizatorów, zasad agregacji i harmonogramów treningowych.
• System został przetestowany na pięciu zadaniach medycznych FLamby oraz sześciu profilach klientów z zestawów danych LEAF, wykazując poprawę wyników w większości przypadków testowych.
• Badanie ujawniło, że niektóre ulepszenia wynikają z rzeczywistych zmian algorytmicznych, podczas gdy inne pochodzą jedynie z dostrojenia parametrów lub są artefaktami pojedynczych uruchomień.
• Każda kampania badawcza rejestruje wyniki kandydatów, czas wykonania, edytowane pliki i status błędów, co umożliwia systematyczną analizę efektywności różnych podejść.

Wyzwania uczenia federacyjnego

Uczenie federacyjne pozwala na trenowanie modeli AI na rozproszonych danych bez ich centralizacji, co jest kluczowe dla ochrony prywatności. Jednak badania w tej dziedzinie napotykają na liczne wyzwania związane z podejmowaniem małych, ale istotnych decyzji algorytmicznych. Wybór odpowiednich wariantów optymalizatorów, zasad agregacji serwerowej, harmonogramów lokalnego treningu, normalizacji, regularyzacji i architektury modelu jest kosztowny do eksploracji manualnej.

Dodatkowo sprawiedliwe porównanie różnych kandydatów algorytmów jest trudne, ponieważ zmiany mogą również wpływać na ścieżkę treningu lub ewaluacji FL. Te ograniczenia spowalniają postęp w dziedzinie uczenia federacyjnego.

Działanie systemu AFR

Auto-FL-Research wprowadza workflow agentów kodujących z ograniczeniami dla poszukiwania receptur algorytmicznych FL. Agenty mogą proponować i implementować kandydatów algorytmów treningowych, w tym zasady agregacji serwerowej, harmonogramy aktualizacji klientów, lokalne cele i zarejestrowane warianty modeli.

Profile zadań ustalają powierzchnię mutacji, budżet obliczeniowy, kontrakt komunikacyjny i ostateczną ewaluację modelu. System systematycznie dokumentuje każdą kampanię, rejestrując wyniki kandydatów, czas wykonania, edytowane pliki, artefakty i status błędów.

Wyniki eksperymentów

Ewaluacja AFR przeprowadzona na pięciu zadaniach medycznych cross-silo FLamby oraz na profilach pogrupowanych klientów dla pięciu stałych zestawów danych LEAF plus syntetyczne zadanie LEAF wykazała obiecujące rezultaty. Pięciokrotne powtórzenia ewaluacji z różnymi ziarnami losowymi potwierdziły ulepszenia na czterech zadaniach FLamby i pięciu z sześciu profili LEAF.

Jednocześnie badanie ujawniło przypadki wrażliwe na ziarno losowe oraz błędy wybrane przez wyszukiwanie. Kontrole z tym samym budżetem pokazały, że kilka ulepszeń odpowiada zmianom receptur FL, podczas gdy inne poprawy zostały odzyskane przez kontrole skalarne o stałej powierzchni lub zawiodły pod powtarzaną lub odłożoną ewaluacją.

Te mieszane wyniki stanowią część wkładu badania, pokazując, jak kandydatów generowanych przez agenty można rozdzielić na powtarzalne mechanizmy FL, efekty dostrajania o stałej powierzchni i wybrane artefakty pojedynczych uruchomień. System Auto-FL-Research otwiera nowe możliwości dla automatyzacji badań w uczeniu federacyjnym, choć wymaga dalszego rozwoju dla pełnego wykorzystania potencjału.