Framework SDOF rozwiązuje problem alignment tax w systemach wieloagentowych

Naukowcy z zespołu Zhantao Wang opublikowali w serwisie arXiv przełomowe badanie nad nowym frameworkiem SDOF (State-Constrained Dispatch Orchestration Framework), który ma rozwiązać problem „podatku na alignment” w systemach wieloagentowych. Badanie przedstawia innowacyjne podejście do orkiestracji agentów AI, które traktuje ich wykonanie jako ograniczony automat stanów.

Dotychczasowe frameworki wieloagentowe, takie jak LangChain, LangGraph czy CrewAI, kierują zadania przez pipelines oparte na grafach, ale nie egzekwują ograniczeń etapów, które rządzą rzeczywistymi procesami biznesowymi. SDOF wprowadza dwie główne warstwy obronne realizowane przez trzy komponenty techniczne.

Kluczowe wnioski

• Framework SDOF osiągnął 86,5% skuteczności wykonania zadań (95% przedział ufności: 80,8–90,7%) i zablokował wszystkie 22 operacje w zbiorze testowym zawierającym próby wstrzyknięcia i nielegalnych operacji HR.
• Wyspecjalizowany router intencji oparty na Online-RLHF osiągnął 80,9% dokładności wspólnej, przewyższając zero-shot GPT-4o (48,9%) na benchmarku adversarialnego routingu z ograniczeniami FSM.
• System uzyskał 100% precyzji i 88% recall w audycie blokowania na poziomie wiadomości, z współczynnikiem zgodności ekspertów kappa=0,94.
• Badanie na 960 dialogach pochodzących z SGD obejmujących 8 domen usług wykryło 201 konfliktów kolejności etapów, z czego 41 wystąpiło w normalnym zbiorze testowym.
• Testy przeprowadzono na systemie rekrutacyjnym opartym na platformie Beisen iTalent obsługującej ponad 6000 przedsiębiorstw.

Architektura techniczna SDOF

SDOF operuje przez dwa główne komponenty obronne. Pierwszy to Online-RLHF Specialized Intent Router wytrenowany za pomocą Generative Reward Modeling (GRPO). Drugi komponent to StateAwareDispatcher wyposażony w kontrole GoalStage finite-automaton oraz walidację precondition/postcondition przez SkillRegistry dla audytowalnej kontroli wykonania.

Router intencji wykorzystuje alignment przez GSPO na modelu 7B parametrów, co pozwala na lepsze zarządzanie złożonymi scenariuszami biznesowymi. System został zaprojektowany tak, aby egzekwować ograniczenia etapów charakterystyczne dla rzeczywistych procesów korporacyjnych, czego brakuje w istniejących rozwiązaniach.

Wyniki eksperymentalne

Badacze przetestowali system na 185 scenariuszach opracowanych przez ekspertów, które wygenerowały 1671 wywołań API na żywo. SDOF wykazał się znacznie wyższą skutecznością niż porównywalne systemy, szczególnie w scenariuszach adversarialnych próbujących ominąć zabezpieczenia.

W osobnej ewaluacji na szerszym zbiorze danych system wykazał wyjątkową zdolność do wykrywania i blokowania nieautoryzowanych operacji. Wszystkie próby wstrzyknięcia złośliwego kodu zostały skutecznie zablokowane, co potwierdza skuteczność mechanizmów obronnych frameworka.

Framework SDOF stanowi znaczący krok naprzód w dziedzinie bezpiecznej orkiestracji systemów wieloagentowych, oferując praktyczne rozwiązanie problemu alignment tax przy jednoczesnym zachowaniu wysokiej wydajności operacyjnej.