Firmy zmagają się z rosnącymi kosztami AI podczas gdy inne oszczędzają miliony na tokenach

Firmy zmagają się z gwałtownie rosnącymi kosztami używania sztucznej inteligencji, podczas gdy inne odnajdują w niej źródło oszczędności. Firma 8x8 dzięki wykorzystaniu Claude'a Anthropica zaoszczędziła około 5 milionów dolarów rocznie, rezygnując z dziesiątków narzędzi software'owych, które zastąpił chatbot AI. Analiza kosztów „tokenów” stała się jednym z najgorętszych tematów w branży technologicznej, jak wynika z raportu WIRED.

Kluczowe wnioski

• Firma 8x8 zaoszczędziła około 5 milionów dolarów rocznie dzięki zastąpieniu dziesiątków narzędzi software'owych przez Claude'a Anthropica
• Około 300 firm poruszało kwestie kosztów tokenów AI podczas spotkań z analitykami w kwietniu i maju 2024 roku, w porównaniu do 93 firm rok wcześniej
• CEO Royal Bank of Canada ujawnił 500% wzrost użycia tokenów w ciągu ostatnich sześciu miesięcy
• Firma Baseball Lifestyle 101 przeznacza równowartość 20% wynagrodzeń swoich menedżerów na tokeny AI miesięcznie, oczekując kosztów przekraczających 100 000 dolarów miesięcznie do końca roku

Oszczędności kontra rosnące koszty

W firmie 8x8, która rozwija platformę komunikacyjną dla sprzedaży i obsługi klienta, wszyscy z około 1800 pełnoetatowych pracowników używają Claude'a do pisania e-maili, analizowania opinii klientów i pisania kodu. Joel Neeb, dyrektor ds. transformacji i operacji biznesowych w 8x8, podkreśla, że roczne koszty Claude'a są „znacznie poniżej” kwoty 5 milionów dolarów zaoszczędzonej na anulowanych subskrypcjach.

Neeb oczekuje, że oszczędności i koszty w końcu się wyrównają, gdy więcej pracowników zacznie używać AI w bardziej skomplikowanych zadaniach. Na razie jednak różnica jest ogromna, co „uszczęśliwia dyrektora finansowego”. Wszyscy pracownicy są zachęcani do regularnego sprawdzania panelu pokazującego, jak bardzo oni i ich koledzy korzystają z Claude'a.

„Tokenomika” jako nowa obsesja branży

Gdy firmy zbiorowo inwestują setki milionów dolarów w narzędzia AI do kodowania, marketingu i obsługi klienta, w branży technologicznej pojawiła się nowa obsesja: „tokenomika” — zarządzanie rosnącymi kosztami używania AI. Tokeny reprezentują ilość treści, którą model AI analizuje i generuje.

Chuck Robbins, CEO Cisco, ujawnił na spotkaniu z inwestorami, że jedna trzecia pracowników codziennie używa wewnętrznego chatbota AI, więc „użycie tokenów staje się naprawdę, naprawdę szalone”. Spenser Skates z Amplitude poinformował, że niektórzy z najlepszych inżynierów „wydają tysiące dolarów miesięcznie lub więcej na tokeny”. Aaron Levine z Box stwierdził, że „rozmowa o budżetowaniu tokenów absolutnie przejęła rolę jednego z najważniejszych” i „najgorętszych” tematów.

Różne strategie zaradzenia kosztom

Baseball Lifestyle 101, marka odzieżowa z Long Island generująca 250 milionów dolarów sprzedaży rocznie, w kwietniu poleciła około 50 swoim najwyższym menedżerom wydawać równowartość około 20% swojego wynagrodzenia miesięcznie na tokeny AI. Bill Rom, współzałożyciel firmy, podaje przykład sukcesu: Claude pomógł zdobyć zamówienie o wartości miliona dolarów, identyfikując, że detalista kończy zapasy niektórych rozmiarów popularnych szortów we wzór lodów.

Tymczasem w 8x8 rozważane jest wprowadzenie limitów użycia z powodu rosnącego wykorzystania modelu Claude Opus 4.8, który kosztuje prawie 1,7 raza więcej niż oferowany przez Anthropic w lutym model. Dostęp do Opus może w przyszłości wymagać udowodnienia, że starsze modele nie poradzą sobie z danym zadaniem.

Firmy coraz częściej poszukują systemów do monitorowania użycia tokenów i wybierania najtańszego modelu dla konkretnego zapytania, jednocześnie balansując między zatrudnianiem nowych pracowników a zwiększaniem budżetów na tokeny AI.