GPT i Claude przegrały testy finansowe Bridgewater, bo prawidłowe odpowiedzi nigdy nie były publiczne

Hedge fund Bridgewater i laboratorium Thinking Machines Lab opracowały model AI o otwartych wagach, który w ich własnych testach przewyższa najsilniejsze komercyjne modele w analizie dokumentów finansowych — przy znacznie niższych kosztach. Badanie pokazuje, że firmy mogą budować skuteczne rozwiązania AI wykorzystując własne dane bez udostępniania ich zewnętrznym dostawcom. Szczegóły eksperymentu opisuje raport opublikowany przez obie organizacje.

Według autorów, prawdziwa wartość tkwi w głowach inwestorów — w ich umiejętności podejmowania ciągłego strumienia małych decyzji o tym, co naprawdę ma znaczenie. To właśnie ten proces triażu chcieli zautomatyzować.

Kluczowe wnioski

• Model Qwen3–235B po dostrojeniu osiągnął 84,7% dokładności w testach, podczas gdy najlepsze komercyjne modele osiągały tylko około 78%.
• Koszt działania dostrojonego modelu jest prawie 14 razy niższy niż frontowych modeli komercyjnych.
• GPT i Claude w podstawowych testach osiągały jedynie około 50% dokładności, nawet z eksperckimi instrukcjami nie przekraczały 70–80%.
• Kluczowym składnikiem sukcesu było wykorzystanie wewnętrznej wiedzy eksperckiej Bridgewater zamiast zewnętrznych kontraktowych oznaczania danych.
• Rozwiązanie pokazuje, że firmy mogą zachować kontrolę nad swoimi danymi i wagami modeli, unikając ryzyka konkurowania z produktami zbudowanymi na ich własnych danych.

Dlaczego frontowe modele zawiodły

Badacze zdefiniowali sześć zadań zaczerpniętych z codziennej rutyny inwestora. Jednym z przykładów było decydowanie, czy artykuł finansowy jest istotny dla konkretnego dyrektora. Innym — czy dokument banku centralnego sygnalizuje kierunek przyszłych zmian stóp procentowych.

Dla inwestorów te decyzje są trywialne, ale ledwo potrafią wyrazić słowami swoje rozumowanie. Raport podaje wymowny przykład: nagłówek o roszczeniach Trumpa do Grenlandii zostaje oznaczony jako nieistotny, podczas gdy groźby nowych ceł na Chiny są wysoce istotne. Oba tematy dotykają geopolityki i finansów.

Warianty modeli Gemini, Claude i GPT osiągały tylko około 50% dokładności z podstawowym promptem. Instrukcje napisane przez ekspertów i trójstopniowy system ocen poprawiły wyniki do połowy lat 70., ale wciąż nie osiągnęły 80% progu, który autorzy ustalili jako minimalny dla wiarygodnego wdrożenia.

Nowsze modele ledwo poprawiają się w stosunku do kosztu, stwierdza raport. GPT 5.4 kosztuje 43% więcej niż 5.2, ale jest tylko marginalnie dokładniejszy.

Rozwiązanie przez dostrajanie własnych danych

Kluczową składnikiem było osąd inwestorów z Bridgewater. Początkowo tani zewnętrzni kontrahenci oznaczali dokumenty, ale wiele z tych etykiet było błędnych. Aby uniknąć konieczności przeglądania wszystkiego przez drogich profesjonalistów, badacze użyli obejścia.

Pierwszy model uczył się na wadliwych etykietach i ponownie oceniał te same dokumenty. Wszędzie tam, gdzie model i oryginalna etykieta się nie zgadzały, prawdopodobnie był błąd. Tylko te sporne przypadki trafiały do inwestorów do korekty.

Trening odbywał się na platformie Tinker od Thinking Machines Lab, zbudowanej na bazie otwartego modelu Qwen3–235B. Oczywiście nie jest to naprawdę niezależne porównanie — obie firmy mają wyraźny interes w sprzedaży swojego produktu.

Mimo to wniosek wykraczający poza same liczby jest wart odnotowania. Pokazuje po raz kolejny, że duże laboratoria jak OpenAI nie wchłonęły wszystkich dostępnych danych. Ogromne zasoby zastrzeżonych danych korporacyjnych i niewykorzystanej ludzkiej ekspertyzy wciąż istnieją i oferują realne możliwości poprawy. To szczególnie prawdziwe tam, gdzie firmy celowo zachowują swoje najcenniejsze dane jako prywatne.

Dostrajanie otwartych modeli przez narzędzia takie jak Tinker daje firmom alternatywę — zachowują wagi, dane, a w zależności od konfiguracji, także same GPU.