ANDRE: Nowa metoda AI łączy sieci neuronowe z logiką symboliczną do wydobywania reguł

ANDRE stanowi odpowiedź na kluczowe ograniczenia istniejących metod w dziedzinie Inductive Logic Programming (ILP), które mają trudności z obsługą zaszumionych i probabilistycznych danych. Autorami pracy są Iman Sharifi, Peng Wei i Saber Fallah.

Kluczowe wnioski

• ANDRE łączy programowanie logiki indukcyjnej z mechanizmami uwagi, umożliwiając uczenie się reguł pierwszego rzędu w sposób ciągły i różniczkowalny.
• System zastępuje szablony reguł i operatory logiczne w pełni różniczkowalnymi operatorami koniunkcji i dysjunkcji opartymi na mechanizmie uwagi.
• Metoda pozostaje odporna na umiarkowany szum w danych i znacząco przewyższa istniejące różniczkowalne metody ILP w jakości ekstrakcji reguł.
• Eksperymenty przeprowadzono na klasycznych benchmarkach ILP, dużych bazach wiedzy oraz syntetycznych zbiorach danych z probabilistycznymi predykatami.
• ANDRE zachowuje strukturę symboliczną, umożliwiając interpretowalne wnioskowanie na danych probabilistycznych.

Problem istniejących metod ILP

Klasyczne metody Inductive Logic Programming opierają się na dyskretnym kombinatorycznym przeszukiwaniu reguł i są podatne na niepewność w danych. Z kolei różniczkowalne metody ILP zazwyczaj polegają na predefiniowanych szablonach reguł lub niedokładnych operatorach rozmytych, które cierpią na problem zanikających gradientów lub słabe przybliżenie struktury logicznej podczas wnioskowania na podstawie probabilistycznych wartości predykatów.

ANDRE rozwiązuje te problemy poprzez optymalizację w ciągłej przestrzeni reguł z operatorami logicznymi opartymi na mechanizmie uwagi. Podejście to pozwala na elastyczną indukcję reguł przy jednoczesnym zachowaniu struktury symbolicznej.

Mechanizm działania i wyniki

System wykorzystuje operatory uwagi do miękkiej selekcji, negacji lub wykluczania predykatów w ramach każdej reguły. Operatory koniunkcji i dysjunkcji oparte na uwagi przybliżają semantykę logiczną min-max, co umożliwia dokładne, stabilne i interpretowalne wnioskowanie na danych probabilistycznych.

Obszerne eksperymenty wykazały, że ANDRE osiąga konkurencyjną lub wyższą wydajność predykcyjną, jednocześnie niezawodnie odzyskując prawidłowe reguły symboliczne w warunkach niepewności. Szczególnie istotne jest to, że metoda pozostaje odporna na umiarkowany szum w etykietach i znacznie przewyższa istniejące różniczkowalne metody ILP zarówno pod względem jakości ekstrakcji reguł, jak i stabilności działania.

ANDRE reprezentuje znaczący postęp w łączeniu symbolicznych i neuronowych podejść do uczenia maszynowego, oferując narzędzie do automatycznego odkrywania interpretowalnych reguł z zaszumionych danych rzeczywistych.