GPT-5.5 może mieć problem z tokenami rozumowania — clustering na 516 tokenach wpływa na wydajność

Deweloper zgłosił niepokojące odkrycie dotyczące modelu GPT-5.5 w repozytorium OpenAI Codex na GitHubie. Analiza tokenów rozumowania wykazała, że odpowiedzi tego modelu nieproporcjonalnie często kończą się na dokładnie 516 tokenach, co może wpływać na jakość wykonywania złożonych zadań programistycznych. Pełne zgłoszenie problemu zawiera szczegółowe dane telemetryczne z okresu lutego-czerwca 2026 roku.

Kluczowe wnioski

• GPT-5.5 odpowiada za 82% przypadków zakończenia na dokładnie 516 tokenach rozumowania, mimo że stanowi tylko 19,3% wszystkich odpowiedzi w systemie Codex.
• Stosunek odpowiedzi kończących się na 516 tokenach do wszystkich odpowiedzi ≥516 tokenów wynosi 44% dla GPT-5.5, podczas gdy dla innych modeli jedynie 1,3%.
• Średnia liczba tokenów rozumowania spadła dramatycznie z 268,1 w lutym do 106,9 w maju 2026 roku, co sugeruje systematyczny problem z wydajnością.
• Podobne anomalie występują także przy wartościach 1034 i 1552 tokenów, co wskazuje na sztywne progi w architekturze modelu.
• Problem nasila się od marca 2026 roku, gdy clustering na 516 tokenach wzrósł z 0,11% do ponad 53% w maju.

Analiza danych telemetrycznych

Zgłoszenie opiera się na analizie 390,195 rekordów tokenów z 865 sesji w okresie od 1 lutego do 27 czerwca 2026 roku. Dane pokazują wyraźną dysproporcję między modelami – podczas gdy GPT-5.2 wykazuje clustering na poziomie zaledwie 0,34%, GPT-5.5 osiąga aż 44%. Modele GPT-5.3-codex i GPT-5.3-codex-spark w ogóle nie wykazują tego problemu.

Szczególnie niepokojące jest tempo narastania problemu. W lutym 2026 roku clustering na 516 tokenach dotyczył jedynie 0,11% odpowiedzi, ale już w maju osiągnął szczyt 53,30%. Jednocześnie spadła ogólna intensywność tokenów rozumowania – percentyl P90 zmniejszył się z 772 w lutym do zaledwie 344 w maju.

Potencjalne przyczyny i konsekwencje

Autor zgłoszenia sugeruje, że anomalia może wynikać z implementacji budżetu tokenów rozumowania, mechanizmów routingu lub procedur fallback w modelu GPT-5.5. Wartości 516, 1034 i 1552 wyglądają jak sztywne progi architektoniczne, a nie naturalne zakończenia procesów myślowych.

Problem ten może tłumaczyć gorsze wyniki GPT-5.5 w złożonych zadaniach programistycznych. Wcześniejsze zgłoszenie #29353 już dokumentowało przypadki, gdzie odpowiedzi kończące się na dokładnie 516 tokenach zawierały błędne rozwiązania.

Deweloper wzywa zespół Codex do zbadania, czy GPT-5.5 ma wbudowane ograniczenia budżetu rozumowania, które powodują przedwczesne zakończenie myślenia na określonych progach tokenowych. Jeśli to celowe zachowanie, użytkownicy powinni wiedzieć, czy 516 tokenów oznacza normalny punkt zatrzymania, limit budżetowy, czy przełączenie na tryb o obniżonej jakości.