Chiński gigant technologiczny Baidu wprowadził model językowy Ernie 5.1, który przy 94% niższych kosztach trenowania niż porównywalne rozwiązania osiąga wyniki konkurencyjne z najlepszymi modelami na rynku. Nowy model jest destylowaną wersją większego Ernie 5.0, zachowującą wysoką wydajność przy znacznie mniejszym zapotrzebowaniu na zasoby obliczeniowe. Szczegółowe informacje o modelu opublikował The Decoder.
Ernie 5.1 zajmuje obecnie 4. miejsce na globalnej Arena Search Leaderboard z wynikiem 1,223 punktów, plasując się na pierwszej pozycji wśród chińskich modeli. Model wykorzystuje około jednej trzeciej parametrów całkowitych swojego poprzednika i około połowy aktywnych parametrów na zapytanie.
Kluczowe wnioski
- Ernie 5.1 osiąga koszty pre-treningu wynoszące zaledwie 6% kosztów porównywalnych modeli dzięki wykorzystaniu fundamentów Ernie 5.0.
- Model wykorzystuje czterostopniowy pipeline treningowy ze specjalistycznymi modelami eksperckimi dla kodu, logiki i zadań agentowych.
- W testach porównawczych Ernie 5.1 przewyższa DeepSeek-V4-Pro w zadaniach autonomicznych agentów AI i dorównuje Google Gemini 3.1 Pro w benchmarkach wiedzy i rozumowania.
- Model jest dostępny przez platformy Baidu i zintegrowany z różnymi aplikacjami kreatywnymiń, ale wagi modelu pozostają zamknięte.
- Baidu przebudował infrastrukturę uczenia ze wzmocnieniem, rozdzielając komponenty na niezależnie skalowalne podsystemy.
Innowacyjna architektura obniżająca koszty
Baidu zbudował Ernie 5.1 jako mniejszy pod-model z Ernie 5.0, wykorzystując podejście nazwane „Once-For-All elastic training framework”. Zamiast przeprowadzania oddzielnego, kosztownego pre-treningu dla każdego rozmiaru modelu, firma optymalizuje całą rodzinę modeli o różnych rozmiarach w jednym przebiegu.
Modele współdzielą wagi, ale różnią się głębokością, szerokością i liczbą specjalistycznych bloków eksperckich aktywowanych dla danego zapytania. Baidu wybrał najlepszą konfigurację z tej rodziny dla Ernie 5.1, co tłumaczy niskie koszty pre-treningu — ciężkie obliczenia zostały już wykonane dla Ernie 5.0.
Firma całkowicie przebudowała również infrastrukturę uczenia ze wzmocnieniem. Kluczowe komponenty — aktualizacje modelu, generowanie odpowiedzi i ewaluacja — tradycyjnie działały w ścisłym powiązaniu. Teraz funkcjonują jako oddzielne podsystemy skalujące się niezależnie, koordynowane przez centralny kontroler.
Rozwiązanie problemu „efektu huśtawki”
Baidu wykorzystuje czterostopniowy proces fine-tuningu, aby rozwiązać znany problem: trenowanie wielu umiejętności jednocześnie często oznacza, że zyski w jednym obszarze odbywają się kosztem drugiego. Firma nazywa to „efektem huśtawki” — zdolności kodowania, logiki i kreatywności wzajemnie się ograniczają.
Pipeline rozpoczyna się od standardowego treningu nadzorowanego na szerokim zbiorze danych. Drugi etap trenuje równolegle kilka specjalistycznych modeli eksperckich, po jednym dla zadań związanych z kodem, rozumowaniem i agentami, każdy z własnymi sygnałami ewaluacji.
W trzecim etapie jeden model uczeń uczy się od wszystkich nauczycieli jednocześnie, generując własne odpowiedzi i porównując je z wynikami ekspertów. Ostatni etap dodaje ogólne uczenie ze wzmocnieniem dla otwartych dialogów i zadań kreatywnych. Według Baidu ten krok jest konieczny, ponieważ destylacja nauczyciel-uczeń ma tendencję do produkowania odpowiedzi zbyt wypolerowanych i pozbawionych różnorodności.
Ernie 5.1 jest dostępny przez ernie.baidu.com i playground w Baidu AI Studio, a także zostanie wdrożony na ponad dziesięciu platformach kreatywnych. Podobnie jak w przypadku Ernie 5.0, Baidu nie udostępnił wag modelu, co uniemożliwia niezależną weryfikację zgłaszanych wyników benchmarków i twierdzeń o wydajności.
