Wayfinder Router: deterministyczne kierowanie zapytań między lokalnymi i chmurowymi modelami AI

Zespół deweloperów zaprezentował Wayfinder Router — narzędzie do deterministycznego kierowania zapytań między lokalnymi i chmurowymi modelami językowymi. Rozwiązanie analizuje strukturę i zawartość promptów, aby w mikrosekundach zdecydować, czy skierować je do tańszego modelu lokalnego czy droższego w chmurze, działając całkowicie offline bez dodatkowych wywołań API. Kod źródłowy i dokumentacja dostępne są w repozytorium GitHub.

Kluczowe wnioski

• Wayfinder Router podejmuje decyzje routingu w mikrosekundach, analizując strukturę promptu (długość, nagłówki, listy, kod) oraz słownictwo bez konieczności wywoływania dodatkowych modeli AI.
• System działa całkowicie offline i deterministycznie — ta sama analiza zawsze da ten sam wynik, eliminując losowość i dodatkowe koszty typowe dla innych routerów.
• Narzędzie jest kompatybilne z dowolnym API zgodnym z OpenAI, wspierając dostawców takich jak Anthropic, Google, Groq, Together czy lokalne serwery.
• W przeciwieństwie do konkurencyjnych rozwiązań jak RouteLLM czy NotDiamond, Wayfinder nie wymaga trenowania klasyfikatorów ani hostowania zewnętrznych usług.
• Domyślnie system analizuje tylko strukturę promptów, a funkcje leksykalne (wykrywanie dowodów matematycznych, ograniczeń) są opcjonalne ze względu na ograniczoną generalizowalność.

Architektura i sposób działania

Wayfinder Router bazuje na prostej filozofii: tanie prompty zostają lokalnie, trudne trafiają do drogiego modelu. System analizuje prompt pod kątem jego złożoności strukturalnej, oceniając elementy takie jak długość tekstu, obecność nagłówków, list czy fragmentów kodu. Na podstawie tej analizy generuje wynik punktowy, który porównywany jest z konfiguralnym progiem decyzyjnym.

Kluczową przewagą rozwiązania jest brak konieczności wywoływania dodatkowych modeli do podejmowania decyzji routingu. Większość konkurencyjnych narzędzi, takich jak RouteLLM wykorzystujący trenowane klasyfikatory czy NotDiamond i Martian opierające się na hostowanych API, wprowadza dodatkowe opóźnienia, koszty i element losowości. Wayfinder eliminuje te problemy, oferując deterministyczne decyzje podejmowane w czasie poniżej milisekundy.

Możliwości konfiguracji i integracji

System oferuje elastyczną konfigurację przez plik wayfinder-router.toml, pozwalając na definiowanie dwóch warstw modeli — lokalnej i chmurowej. Każda warstwa wymaga jedynie podania adresu URL, nazwy modelu i klucza API odczytywanego ze zmiennych środowiskowych. Narzędzie działa z dowolnym dostawcą API kompatybilnym z OpenAI, włączając Groq, Together, OpenRouter, Fireworks, DeepSeek oraz lokalne serwery jak vLLM, LM Studio czy llama.cpp.

Deweloperzy mogą testować system za pomocą dołączonego interfejsu terminalowego (wayfinder-router chat --dry-run) lub webowego (wayfinder-router webchat --dry-run), które działają bez konieczności konfiguracji kluczy API. Oba interfejsy pokazują decyzje routingu, wyniki punktowe oraz kalkulację oszczędności względem scenariusza używania wyłącznie drogiego modelu chmurowego.

Ograniczenia i porównania

Autorzy szczerze przyznają, że Wayfinder nie jest rozwiązaniem uniwersalnym. W testach ślepych na niezależnie przygotowanych promptach funkcje leksykalne wykazywały ograniczoną generalizowalność, wykrywając jedynie około 20% niewidzianych trudnych promptów i przegrywając z prostym liczeniem słów. Dlatego są domyślnie wyłączone i zalecane tylko po kalibracji na własnym ruchu.

System nie radzi sobie również z promptami, których trudność ma charakter czysto semantyczny — na przykład subtelny fragment kodu czy pozornie proste pytanie „jaka jest 100. liczba pierwsza?” nie mają strukturalnych oznak złożoności. W takich przypadkach routery semantyczne będą skuteczniejsze. Wayfinder Router pozycjonuje się jako narzędzie oferujące szybkie, deterministyczne decyzje bez dodatkowych kosztów, a nie jako rozwiązanie o najwyższej możliwej dokładności.