Zespół Zyphra przedstawił ZAYA1–8B, nowy model sztucznej inteligencji oparty na architekturze mixture-of-experts (MoE), który pomimo kompaktowych rozmiarów osiąga wyniki porównywalne z znacznie większymi modelami rozumowania. Szczegóły techniczne zostały opisane w raporcie opublikowanym na arXiv.
ZAYA1–8B to model z 700 milionami aktywnych parametrów i 8 miliardami parametrów całkowitych, zbudowany na architekturze MoE++. Model został wytrenowany od podstaw z myślą o zadaniach wymagających logicznego rozumowania, przy użyciu pełnego stosu technologicznego AMD obejmującego obliczenia, sieć i oprogramowanie.
Kluczowe wnioski
- ZAYA1–8B z mniej niż 1 miliardem aktywnych parametrów dorównuje lub przewyższa DeepSeek-R1–0528 w wymagających testach matematycznych i programistycznych.
- Model wykorzystuje innowacyjną metodę Markovian RSA dla obliczeń w czasie testowania, osiągając 91,9% na AIME'25 i 89,6% na HMMT'25.
- Trening obejmował czterostopniowy proces uczenia ze wzmocnieniem: rozgrzewkę na matematyce i zagadkach, curriculum 400 zadań RLVE-Gym, oraz specjalistyczne RL dla matematyki i kodowania.
- Dane do rozumowania były włączane już od etapu pretrainingu przy użyciu schematu przycinania zachowującego odpowiedzi.
- Wyniki zbliżają model do znacznie większych systemów jak Gemini-2.5 Pro, DeepSeek-V3.2 i GPT-5-High.
Architektura i metodologia treningu
ZAYA1–8B wykorzystuje architekturę mixture-of-experts (MoE++), która pozwala na efektywne wykorzystanie parametrów przez aktywację jedynie części sieci dla każdego zadania. Model przeszedł przez kompletny proces treningu obejmujący pretraining, midtraining i nadzorowane dostrajanie (SFT).
Kluczowym elementem było włączenie danych rozumowania już od początkowych etapów treningu, co odróżnia ZAYA1–8B od wielu innych modeli, które dodają możliwości rozumowania dopiero w późniejszych fazach. Zespół zastosował schemat przycinania zachowujący odpowiedzi, aby zoptymalizować wykorzystanie danych treningowych.
Innowacyjne metody post-treningu
Proces post-treningu ZAYA1–8B składa się z czterech etapów uczenia ze wzmocnieniem. Pierwszy etap to rozgrzewka na zadaniach matematycznych i zagadkach logicznych. Następnie model przechodzi przez curriculum 400 zadań RLVE-Gym, zaprojektowane do systematycznego rozwijania zdolności rozumowania.
Trzeci etap koncentruje się na matematyce i programowaniu z wykorzystaniem śladów obliczeń w czasie testowania oraz syntetycznych środowisk kodowania opartych na referencjach z programowania konkurencyjnego. Ostatni etap to behawioralne uczenie ze wzmocnieniem dla poprawy umiejętności konwersacyjnych i wykonywania instrukcji.
Markovian RSA i obliczenia w czasie testowania
Zespół wprowadził również metodę Markovian RSA — innowacyjną technikę obliczeń w czasie testowania, która rekursywnie agreguje równoległe ślady rozumowania, zachowując jedynie ograniczone długości ogonów rozumowania między rundami. Ta metoda pozwoliła ZAYA1–8B osiągnąć imponujące wyniki: 91,9% na teście AIME'25 i 89,6% na HMMT'25, przy przenoszeniu jedynie 4K-tokenowego ogona między iteracjami.
ZAYA1–8B reprezentuje znaczący postęp w efektywnym modelowaniu rozumowania, pokazując, że mniejsze, dobrze zaprojektowane modele mogą konkurować z systemami o znacznie większej liczbie parametrów w wymagających zadaniach logicznych i matematycznych.
