Czy fale mózgowe to klucz do przełomu w fizycznej sztucznej inteligencji?

W magazynie w San Leandro w Kalifornii rozgrywa się przyszłość fizycznej sztucznej inteligencji. To właśnie tam firma Encord eksperymentuje z nowatorskim podejściem do trenowania robotów — zbieraniem danych z wykorzystaniem czujników fal mózgowych. Jak donosi TechCrunch, startup ten wierzy, że następnym ograniczeniem w rozwoju robotyki humanoidalnej nie będzie architektura modeli, ale niedobór fizycznych danych treningowych z rzeczywistego świata.

Andrew Ceja, określany w firmie mianem „pilota”, jest jednym z trenerów robotów. Podczas gdy ostrożnie rozbiera wieżę z klocków Jenga, nosi zestaw słuchawkowy wyposażony w kamerę śledząca jego wzrok oraz czujniki mierzące fale mózgowe. To eksperymentalne podejście ma pomóc w stworzeniu bardziej użytecznych zbiorów danych do trenowania modeli AI.

Kluczowe wnioski

• Encord współpracuje z niemieckim startupem neurotechnologicznym Zander Labs, który opracował zestaw słuchawkowy mierzący aktywność mózgu podczas wykonywania zadań przez operatorów robotów.
• Firma szacuje, że przełamanie barier w robotyce wymaga zbioru danych około pięć razy większego niż korpus wideo YouTube.
• Gęsto oznakowane dane treningowe są warte 100 razy więcej niż podstawowe „ego data”, ale kosztują tylko 20 razy więcej do wyprodukowania.
• Encord zbiera dane egocentryczne z fabryk na całym świecie i używa swojego centrum w San Leandro do eksperymentów z nowymi modalnościami danych.
• Startup rozwija również technologię wykorzystującą czujniki na przedramionach do wykrywania sygnałów elektrycznych w mięśniach, co ma pomóc w tworzeniu 3D reprezentacji pozycji dłoni.

Neurobiologia w służbie robotyki

Współpraca Encord z Zander Labs reprezentuje „najnowocześniejszy” kierunek w rozwiązywaniu problemu niedoboru danych robotycznych, jak określa to Vineeth Velmurugan, szef działu uczenia robotów w Encord. Velmurugan, były pracownik laboratorium robotyki OpenAI i firmy automatyzacji magazynowej Berkshire Grey, dołączył do Encord, aby budować wewnętrzny zespół tworzenia danych.

Lucas Gehrke, neurotechnolog z Zander Labs nadzorujący pracę, wyjaśnia, że ilość aktywności mózgowej w danym momencie podczas wykonywania zadania dostarcza wskazówek dla twórców modeli, kiedy potrzebne są ich najbardziej zaawansowane modele. Obecnie jest to eksperyment — Encord planuje zbudować początkowy zbiór danych oznakowanych falami mózgowymi, przetestować go na modelach robotycznych klientów i ocenić, czy rzeczywiście poprawia wydajność.

Wyzwanie skali danych fizycznych

Problem, z którym zmaga się branża robotyki, jest fundamentalny. Jak zauważa Velmurugan, „dane po prostu nie istnieją”. Podczas gdy firmy zajmujące się samochodami autonomicznymi zbierają dane ze świata fizycznego samodzielnie, jest to trudne do skalowania. Trenowanie na podstawie wideo może działać, ale brakuje mu precyzji danych ze świata rzeczywistego.

W magazynie Encord piloci używają systemów leader-follower — par ramion robotycznych, gdzie jedno jest kontrolowane bezpośrednio przez operatora, a drugie naśladuje jego ruchy. Tworzą w ten sposób dane dotyczące zadań takich jak nalewanie kawy z dzbanka do kubków czy układanie żetonów pokerowych. „Każda firma humanoidalna poprosiła nas o te elementy”, mówi Velmurugan.

Regały magazynowe wypełnione są sztucznymi kwiatami w wazonach, książkami, plastikowymi warzywami, kuwetami dla kotów i łopatkami — wszystkim, co potrzebne do trenowania manipulatorów do zadań domowych. Podczas wizyty TechCrunch, Sofia Infante, kolejny pilot, manewrowała ramionami robotycznymi, aby podłączać i odłączać kable ethernet z tyłu serwera — rodzaj pracy, którą operatorzy centrów danych chcieliby zautomatyzować.

Encord rozwija również nową modalność danych wykorzystującą zestaw czujników przypięty do przedramienia do wykrywania sygnałów elektrycznych w mięśniach. Velmurugan ma nadzieję zbudować 3D przedstawienie pozycji dłoni w oparciu o czujniki na ramieniu, tworząc bardziej solidne zrozumienie dla modeli.

Zbiory danych Encord są oznakowane fizycznymi opisami tego, co zawiera każde wideo — „prawa ręka dokręca śrubę” — aby pomóc modelom opartym na LLM zrozumieć, co się dzieje. Ten rodzaj gęstej adnotacji jest wart 100 razy więcej niż „kiepskie ego data” dla trenowania konkretnych zadań, ale kosztuje tylko 20 razy więcej do wyprodukowania.

Główne wyzwanie pozostaje ekonomiczne — w przeciwieństwie do scrapowania tekstu z internetu, które kosztowało laboratoria frontier niemal nic, generowanie fizycznych danych treningowych wymaga znacznych inwestycji. Tego rodzaju dane muszą być wytwarzane, a nie tylko zbierane, co zmienia ekonomię budowania tych modeli.