BOHM: Nowa metoda bezkosztowej analizy hierarchicznych systemów AI

Naukowcy z ArXiv przedstawili nową metodę analizy hierarchicznych systemów sztucznej inteligencji o nazwie BOHM, która pozwala na bezkosztowe przypisywanie odpowiedzialności poszczególnym komponentom. Metoda wykorzystuje wagi routingu już obecne w systemach, eliminując potrzebę dodatkowych obliczeń. Badanie opublikowano w ArXiv 19 maja 2026 roku.

Tradycyjne metody atrybucji, oparte na algorytmach Shapley (SHAP), wymagają testowania systemu na różnych kombinacjach komponentów, co sprawia, że są niewykonalne w przypadku zewnętrznych API czy niejawnych systemów orkiestracji.

Kluczowe wnioski

• BOHM nie wymaga dodatkowych kosztów obliczeniowych — wykorzystuje istniejące wagi routingu w hierarchicznych systemach AI do bezpośredniego wyodrębniania drzewa atrybucji.
• W testach na 18 modelach językowych system osiągnął korelację Kendall tau=0.928, podczas gdy SHAP potrzebował 9000 razy więcej obliczeń, aby osiągnąć tau=0.980.
• Metoda działa na każdym poziomie hierarchii jednocześnie — atrybucja na poziomie liści to iloczyn wag routingu od korzenia do liścia, a na poziomie k to rozkład nad węzłami głębokości k.
• W badaniu systemów agentowych kierujących zadania przez 5 narzędzi, systemy koncentrowały routing na jednym narzędziu (mediana udziału top-narzędzia: 0.65).
• BOHM najlepiej sprawdza się gdy system routingu działa blisko optymalnie — różnice z SHAP są diagnostyczne dla jakości routingu.

Przełom w analizie złożonych systemów AI

Współczesne systemy sztucznej inteligencji coraz częściej składają się z hierarchii wyspecjalizowanych komponentów, które kierują zadania przez różne narzędzia i modele. Problem dotychczasowych metod analizy polegał na konieczności testowania systemu na wszystkich możliwych kombinacjach komponentów — w przypadku zewnętrznych API czy systemów agentowych było to niemożliwe do wykonania.

BOHM rozwiązuje ten problem wykorzystując informacje, które systemy routingu już przechowują. Zamiast generować dodatkowe obliczenia, metoda wyodrębnia hierarchiczne drzewo atrybucji bezpośrednio z wag routingu używanych przez system do kierowania zadań.

Wyniki testów i porównanie z metodami tradycyjnymi

Autor Joss Armstrong przetestował metodę na trzech różnych scenariuszach. W pierwszym teście z 18 modelami językowymi w 3-poziomowej hierarchii na 880 problemach z LiveCodeBench, BOHM osiągnął korelację tau=0.928. SHAP potrzebował 9000 razy więcej ewaluacji koalicji na próbkę, aby osiągnąć tau=0.980.

W badaniu systemów agentowych obejmującym 5 sterowników i 7 benchmarków (35 komórek, pełne pokrycie), systemy koncentrowały routing na pojedynczym narzędziu z medianą udziału 0.65. Korelacja między BOHM a SHAP na poziomie komórki była przewidywalna na podstawie tego, czy wybór sterownika odpowiadał empirycznie najlepszemu narzędziu.

Na hierarchii spisu ludności USA z 475 liśćmi i 4 poziomami, BOHM odzyskał rzeczywiste rankingi na każdym poziomie z korelacją tau sięgającą 0.722.

Właściwości matematyczne i ograniczenia

BOHM spełnia cztery z pięciu aksjomatów Shapley: wydajność, monotoniczność, symetrię i słabą supresję, ale nie spełnia addytywności. Według autora, metodę najlepiej rozumieć jako pierwotną komplementarną — wielorozdzielczą dekompozycję obliczalną wszędzie tam, gdzie istnieje stan routingu, której rozbieżność z Shapley jest sama w sobie diagnostyczna.

Metoda odpowiada na inne pytania niż SHAP i zbliża się do niego, gdy wdrożony router kieruje zadania w sposób bliski optymalnemu. To sprawia, że BOHM może służyć również jako narzędzie diagnostyczne do oceny jakości systemów routingu.