Przełom w AI: nowa technika treningu zużywa nawet milion razy mniej prądu

Sztuczna inteligencja rośnie w zawrotnym tempie, a rachunki za prąd w centrach danych rosną razem z nią.

Naukowcy z Chin proponują zaskakująco prostą zmianę podejścia.

Badacze z laboratorium w Zhejiang pokazali, że głębokie sieci neuronowe wcale nie muszą połykać tyle energii, co dziś. Wystarczy inny rodzaj układów i sprytna metoda uczenia, by zużycie prądu spadło o rzędy wielkości – bez dramatycznej utraty jakości działania modeli.

AI pożera energię szybciej niż nadążają elektrownie

Rosnące modele językowe, generatywne algorytmy graficzne i systemy rekomendacyjne pracują na tysiącach procesorów i kart graficznych. Każdy etap uczenia takich modeli wymaga gigantycznych mocy obliczeniowych, a więc i energii elektrycznej. Firmy technologiczne budują kolejne farmy serwerów, a eksperci zaczynają pytać, czy za chwilę koszty prądu nie staną się główną barierą rozwoju AI.

Dlatego laboratoria na całym świecie szukają metod, dzięki którym modele można będzie trenować taniej i oszczędniej energetycznie. Jednym z najbardziej obiecujących kierunków jest przeniesienie obliczeń z klasycznych procesorów na zupełnie inną architekturę – opartą na tzw. memrystorach i analogowym przetwarzaniu w samej pamięci.

Memrystory: elektronika, która „pamięta” opór

Memrystor to specyficzny element elektroniczny, który łączy w sobie funkcję oporu i pamięci. Jego opór zależy od historii przepływającego prądu, więc zachowuje coś w rodzaju śladu poprzednich stanów. Można go traktować jak miniaturowy neuron: gromadzi „wagę” połączenia i jednocześnie umożliwia bezpośrednie wykonanie prostych obliczeń.

W architekturze opartej na memrystorach obliczenia odbywają się lokalnie, w samych elementach pamięci, zamiast przenosić dane między pamięcią a procesorem czy kartą graficzną. Znacznie skraca to drogę danych, ogranicza straty i w teorii pozwala na ogromne oszczędności energii.

Do tej pory ten kierunek hamował jednak jeden duży problem: memrystory są dalekie od ideału. Wprowadzają szum, zachowują się niejednorodnie, a ich stan nie zawsze da się ustawić z dokładnością wymaganą przez klasyczne algorytmy uczenia sieci neuronowych. Tradycyjne metody traktują te niedoskonałości jak przeszkodę, przez co efekty są słabsze niż na superkomputerach cyfrowych.

Trening, który „dogaduje się” z niedoskonałym sprzętem

Na czym polega metoda EaPU

Zespół z Zhejiang zaprojektował nową metodę uczenia sieci, która nie próbuje walczyć z fizycznymi ograniczeniami memrystorów, tylko je uwzględnia. Rozwiązanie nazwano EaPU, od angielskiego „error-aware probabilistic update” – probabilistyczna aktualizacja parametrów świadoma błędów.

Metoda EaPU dopuszcza drobne pomyłki w parametrach sieci i nie koryguje każdej minimalnej zmiany, dzięki czemu radykalnie ogranicza liczbę zapisów w memrystorach.

Zamiast przeprowadzać aktualizację wszystkich wag przy każdym kroku uczenia, jak ma to miejsce w klasycznych algorytmach, sieć modyfikuje mniej niż 0,1% parametrów. Algorytm analizuje, które różnice w błędzie są na tyle istotne, że warto za nie „zapłacić” energetycznie, a które mieszczą się w akceptowalnym przedziale wyznaczonym przez tolerancję memrystorów na niedokładność.

Mniej zapisów oznacza dłuższe życie i niższy rachunek

Zapis stanu memrystora kosztuje znacznie więcej energii niż samo odczytywanie. Każda operacja zapisu dodatkowo zużywa materiał i skraca żywotność elementu. Skoro więc EaPU radykalnie ogranicza liczbę takich zapisów, efekt pojawia się od razu w trzech obszarach:

• mocno niższe zużycie energii podczas treningu sieci,
• dużo mniejsze zużycie elementów – dłuższa praca układów bez awarii,
• mniej ciepła generowanego w trakcie uczenia, a więc prostsze chłodzenie.

Według autorów badań nowa technika zmniejsza zużycie energii na etapie uczenia z wykorzystaniem memrystorów około 50-krotnie w porównaniu z wcześniejszymi podejściami tego typu. To już samo w sobie robi wrażenie, a na tym nie koniec.

Milion razy mniej energii niż klasyczne GPU

Najbardziej uderzające liczby pojawiają się, gdy nowe podejście porównamy do klasycznych systemów opartych na kartach graficznych. Według szacunków zespołu z Zhejiang, całkowite zużycie energii przy treningu tych samych zadań na analogowej architekturze z memrystorami i EaPU jest mniejsze o około sześć rzędów wielkości – czyli mniej więcej milion razy – względem typowego zestawu z GPU.

Badacze deklarują: dokładność zbliżona do superkomputera cyfrowego, a jednocześnie nawet milionkrotnie niższe zużycie energii niż u systemów opartych na kartach graficznych.

Co ważne, sama skuteczność sieci nie cierpi tak, jak można by się obawiać. W porównaniu z wcześniejszymi metodami treningu na memrystorach, EaPU podnosi dokładność działania modeli o około 60%. W praktyce oznacza to, że końcowy rezultat porównywalny jest z tym, co da się uzyskać na klasycznym superkomputerze cyfrowym.

Dodatkowym efektem jest ogromny skok w trwałości sprzętu. Mniejsza liczba zapisów sprawia, że szacowana żywotność urządzeń rośnie według badaczy nawet tysiąckrotnie. To z kolei przekłada się na mniejsze koszty infrastruktury w długim okresie.

Jak testowano nową technikę

Zespół przeprowadził testy na układzie z matrycą memrystorów o rozmiarze 180 nanometrów. Nie były to więc topowe, laboratoryjne prototypy z granicy możliwości litografii, lecz dość realistyczny sprzęt, który można sobie wyobrazić w przyszłych zastosowaniach komercyjnych.

Na tej platformie trenowano sieci neuronowe do zadań przetwarzania obrazu, m.in. do odszumiania zdjęć i podnoszenia ich rozdzielczości. Są to typowe zastosowania, gdzie liczy się zarówno jakość, jak i szybkość działania, ale jednocześnie można stosunkowo łatwo porównać efekty z wynikami osiąganymi na tradycyjnych procesorach i kartach graficznych.

Rezultat: jakość przetwarzania obrazów bardzo bliska tej, którą dają standardowe metody cyfrowe, przy zdecydowanie niższym zużyciu energii. Różnica nie ogranicza się więc do pojedynczego parametru, lecz dotyka kilku obszarów naraz – od prądu, przez trwałość, po dokładność.

Czy da się tak trenować ogromne modele językowe

Najgorętsze pytanie brzmi dziś: czy tego typu podejście da się zastosować przy gigantycznych modelach językowych, takich jak LLM używane w chatbotach czy systemach generujących kod? Autorzy projektu są ostrożni, ale optymistyczni.

Badacze twierdzą, że technika EaPU w zasadzie nie jest ograniczona do niewielkich sieci i powinna rozszerzać się na duże modele językowe, jeśli tylko sprzęt nadąży z rozmiarem i precyzją.

Na razie ogranicza ich dostępne laboratorium i rozmiar stosowanych układów, jednak w planach mają testy na znacznie większych architekturach. Jeśli uda się przenieść choć część korzyści na poziom modeli liczących miliardy parametrów, cała branża usług chmurowych może zmienić swój profil energetyczny.

Nie tylko memrystory – szersza rewolucja sprzętowa

Ciekawa część wniosków z pracy zespołu z Zhejiang dotyczy uniwersalności ich podejścia. Algorytm EaPU opiera się na tym, że zna ograniczenia konkretnego sprzętu i uczy się z nimi współpracować, zamiast wymuszać na nim idealną dokładność. Z tego powodu nie musi być przywiązany wyłącznie do memrystorów.

Badacze wskazują, że podobną strategię można zastosować w innych nieklasycznych technologiach pamięci i tranzystorów, m.in. w:

• tranzystorach ferroelektrycznych,
• pamięciach magnetorezystywnych,
• innych typach pamięci nieulotnej projektowanych specjalnie z myślą o AI.

Dzięki temu EaPU można traktować bardziej jak filozofię projektowania algorytmów uczenia dla niedoskonałego, analogowego sprzętu niż pojedyncze, jednorazowe narzędzie dla jednej rodziny układów.

Co to oznacza dla użytkowników AI i rachunków za prąd

Z perspektywy zwykłego użytkownika różnica może wydawać się niewidoczna. Asystent głosowy w smartfonie nadal odpowiada na pytania, chatbot w aplikacji dalej generuje tekst. Zmiana dotyczy kulis działania – czyli tego, ile energii i pieniędzy pochłania utrzymanie całej infrastruktury.

Firmy stawiające na rozwój AI mierzą się z rosnącymi kosztami energii, chłodzenia i rozbudowy centrów danych. Jeśli technologie takie jak memrystorowe układy z EaPU wejdą do masowego użycia, część tych kosztów może spaść. Ułatwi to utrzymanie usług na bardziej przyjaznym poziomie cenowym, a jednocześnie odciąży sieć energetyczną.

Z punktu widzenia środowiska tak głęboka redukcja zużycia prądu oznacza mniejszy ślad węglowy. AI nie zniknie, więc jedyna realna droga to praca nad tym, by kolejne generacje sprzętu i algorytmów pracowały coraz oszczędniej.

Dlaczego akceptacja błędów czasem pomaga

W tle omawianych badań stoi pewna zmiana filozofii. Klasyczne podejście do elektroniki dąży do maksymalnej precyzji i powtarzalności każdego elementu. W praktyce bywa to bardzo kosztowne, a przy skali potrzebnej dla masowej AI wręcz nieopłacalne.

Metody takie jak EaPU wykorzystują fakt, że same modele uczące się potrafią radzić sobie z pewnym poziomem szumu i niepewności. Sieć neuronowa znosi niewielkie odchylenia wartości wag, a częściowe błędy nie muszą przekładać się na katastrofę w wynikach. Jeśli główny efekt jest zgodny z oczekiwaniami, to lekkie „rozmycie” parametrów można potraktować jako akceptowalną cenę za radykalnie niższy pobór energii.

Taki sposób myślenia przypomina w pewnym sensie biologię: ludzki mózg nie działa idealnie precyzyjnie, neurony zawodzą, sygnały bywają zniekształcone, a mimo to całość potrafi działać zaskakująco stabilnie i wydajnie energetycznie. Sztuczna inteligencja próbująca naśladować tę cechę może stać się nie tylko mądrzejsza, lecz także znacznie bardziej oszczędna.