Naukowcy z University opracowali nowy framework CLIPR, który pozwala dużym modelom językowym (LLM) lepiej rozumieć niewyraźne preferencje użytkowników i podejmować bardziej zgodne z nimi decyzje. Badanie opublikowane w arXiv przedstawia rozwiązanie jednego z kluczowych problemów sztucznej inteligencji — jak sprawić, by AI działała zgodnie z ludzkim myśleniem.
Kluczowe wnioski
- CLIPR uczy się preferencji użytkowników z minimalnych interakcji konwersacyjnych, tworząc zasady w języku naturalnym
- Framework potrafi przenosić wyuczone preferencje między różnymi zadaniami i środowiskami
- System iteracyjnie udoskonala swoje zrozumienie poprzez adaptacyjne mechanizmy zwrotne
- Testy na trzech zestawach danych oraz badanie z użytkownikami potwierdziły przewagę nad istniejącymi metodami
- CLIPR jednocześnie poprawia zgodność z oczekiwaniami użytkowników i redukuje koszty inferencji
Problem obecnych rozwiązań AI
Duże modele językowe coraz częściej służą jako moduły rozumowania w różnych aplikacjach. Choć sprawdzają się w określonych zadaniach, często mają trudności z tworzeniem rozwiązań zgodnych z ludzkimi oczekiwaniami. Podejmowanie decyzji zgodnych z człowiekiem wymaga uwzględnienia nie tylko jawnie sformułowanych celów, ale także ukrytych preferencji użytkowników, które określają sposób rozwiązywania niejednoznacznych sytuacji.
Dotychczasowe podejścia do włączania takich preferencji albo wymagają obszernych i powtarzających się interakcji z użytkownikami, albo nie potrafią uogólniać ukrytych preferencji między różnymi zadaniami i kontekstami. To ogranicza ich praktyczne zastosowanie w rzeczywistych scenariuszach.
Jak działa CLIPR
Autorzy badania — Alina Hyk i Sandhya Saisubramanian — zaprojektowali CLIPR (Conversational Learning for Inferring Preferences and Reasoning) jako framework, który uczy się praktycznych, transferowalnych zasad w języku naturalnym reprezentujących ukryte preferencje użytkowników. System wymaga jedynie minimalnych danych wejściowych z rozmów.
Framework działa w środowisku, gdzie LLM odpowiada za rozumowanie wysokiego poziomu i wnioskowanie o ukrytych preferencjach użytkowników na podstawie ograniczonych interakcji. Te wyuczone preferencje następnie kierują podejmowaniem decyzji w dalszych procesach. CLIPR iteracyjnie udoskonala swoje zasady poprzez adaptacyjne mechanizmy zwrotne i stosuje je zarówno do zadań z rozkładu treningowego, jak i do nowych, niewidzianych wcześniej zadań w różnych środowiskach.
Kluczową innowacją jest zdolność systemu do tworzenia zasad w języku naturalnym, które można przenosić między kontekstami. To oznacza, że preferencje wyuczone w jednym obszarze mogą być skutecznie aplikowane do zupełnie różnych sytuacji decyzyjnych.
Przeprowadzone ewaluacje na trzech zestawach danych oraz badanie z udziałem rzeczywistych użytkowników pokazały, że CLIPR konsekwentnie przewyższa istniejące metody w poprawianiu zgodności z oczekiwaniami ludzi, jednocześnie redukując koszty inferencji. To podwójne osiągnięcie — lepsza jakość przy niższych kosztach — czyni to rozwiązanie szczególnie atrakcyjnym dla praktycznych zastosowań.
