Jego prywatna AI wydała 27 tys. euro, gdy spał. Nowy koszmar automatyzacji

Autonomiczny asystent miał jedynie pomóc mu dostać się na prestiżowe wydarzenie gospodarcze w Davos. Zamiast tego samodzielnie negocjował, zawierał ustalenia i podpisał zobowiązanie finansowe, na które właściciela zwyczajnie nie było stać.

Agent AI miał „tylko” znaleźć wejściówkę do Davos

Sebastian Heyneman prowadzi niewielki startup w San Francisco. Chciał pokazać inwestorom swój sprzęt do wykrywania fraudów na znanym forum ekonomicznym w Davos. Dostanie się tam bez zaproszenia nie jest proste, więc postanowił zaprząc do pracy swojego osobistego agenta AI.

Agent, nazwany Tasklet i zbudowany przez firmę Shortwave, miał zorganizować drogę na wydarzenie i szansę prezentacji prototypu. Heyneman dał mu szerokie uprawnienia: dostęp do maila, możliwość kontaktu z organizatorami, a przede wszystkim swobodę w prowadzeniu negocjacji.

Tasklet przeszukiwał sieć, wysyłał wiadomości i prowadził rozmowy w imieniu właściciela – bez żadnej bieżącej kontroli człowieka.

Kluczowa część misji odbyła się… kiedy Heyneman spał. W tym czasie agent AI nawiązał kontakt z biznesmenem ze Szwajcarii i doprowadził do porozumienia, które zapewniało mu wejście do ścisłego grona uczestników forum.

Przeczytaj również: Gdzie kupić tanie czekoladowe zajączki? Ten dyskont wygrywa w badaniu

Pobudka z rachunkiem na 27 tysięcy euro

Następnego ranka przedsiębiorca zobaczył w skrzynce mailowej potwierdzenie. Udało się: ma miejsce w Davos, możliwość prezentacji projektu i cenny networking. Tyle że cena za tę „usługę” wprawiła go w osłupienie.

Agent AI zobowiązał go do sponsorowania jednej z firm kwotą 27 tysięcy euro. Tasklet uznał, że to akceptowalny warunek, aby cel – udział w prestiżowym wydarzeniu – został zrealizowany. Nie uwzględnił jednego faktu: jego „szef” nie dysponował takimi środkami.

Przeczytaj również: Para niepracujących seniorów żyje z 1600 euro miesięcznie. Jak działa ten zasiłek?

Autonomiczna AI nie zadała pytania, czy użytkownik jest w stanie zapłacić. Po prostu uznała, że cena jest rozsądna wobec wyznaczonego zadania.

Heyneman szybko skontaktował się z organizatorami i próbował wyjaśnić, że nie on podjął decyzję, ale jego cyfrowy asystent. Spotkał się z groźbą wpisania na czarną listę wydarzenia. Po negocjacjach udało się zejść z kwoty do około 4 tysięcy euro, co i tak było dla niego ogromnym ciosem finansowym, ale przynajmniej nie katastrofą.

Gdy agent AI zamienia się w zbyt gorliwego pracownika

Historia Heynemana jest głośna, bo dotyczy pieniędzy i prestiżowego forum, lecz eksperci od dawna ostrzegają: agent AI to coś zupełnie innego niż zwykły chatbot typu ChatGPT, Claude czy Gemini.

Przeczytaj również: Osm – niepozorny rekordzista cenowy. Dlaczego ten metal kosztuje fortunę?

• klasyczny chatbot działa w zamkniętym środowisku – generuje tekst, ale nie klika, nie płaci, nie rezerwuje
• agent AI dostaje dostęp do narzędzi – kalendarza, poczty, internetu, systemów płatniczych
• użytkownik przyznaje mu uprawnienia, często bardzo szerokie, aby „wszystko robił sam”
• taki agent ma cel i swobodę szukania dróg, żeby go zrealizować

W tym modelu człowiek łatwo zamienia się z decydenta w formalnego „właściciela konta”, który tylko od czasu do czasu zerka na efekty pracy maszyny. A to otwiera drogę do poważnych kłopotów.

Nowy „pracownik biurowy”, którego nie da się zmęczyć

Wielu menedżerów widzi w agentach AI przyszłość pracy biurowej. Taki system nigdy nie śpi, nie bierze urlopu i potrafi wykonywać setki drobnych zadań jednocześnie: umawia spotkania, odpowiada na maile, wypełnia raporty, dzwoni przez API, monitoruje dane w sieci.

Część firm idzie już krok dalej i zaczyna masową automatyzację. Przykładem jest Block, korporacja stojąca za markami Square i Tidal. Według doniesień, firma agresywnie tnie zatrudnienie, planując zastąpić część stanowisk właśnie agentami AI. W Excelu wygląda to świetnie: koszty osobowe spadają, „produktywność” rośnie.

Agent AI nie ma zmęczenia ani oporów, ale też nie ma zdrowego rozsądku, empatii i wyczucia ryzyka biznesowego.

Problem w tym, że agenci nie są odrębnymi „mózgami”. To nakładki na modele językowe, które działają w oparciu o prawdopodobieństwa. Taki model potrafi wygenerować idealny mail, ale też z pełną pewnością napisać kompletną bzdurę – zjawisko to specjaliści nazywają „halucynacją”.

Jeśli halucynacja dotyczy daty premiery serialu, konsekwencje są niewielkie. Jeżeli jednak dotyczy przelewu, podpisania umowy lub wysłania wrażliwych dokumentów do niewłaściwej osoby, skutki mogą się ciągnąć latami.

Gdzie kończy się automatyzacja, a zaczyna lekkomyślność

Szef Shortwave, Andrew Lee, zwraca uwagę na inną stronę problemu: przesadną wiarę ludzi w to, że maszyna „ogarnie temat”. Według niego największy błąd polega na oddawaniu agentom AI pełnej decyzyjności bez etapu kontroli.

„Bot może napisać dowolną liczbę maili. Klucz w tym, aby człowiek je zobaczył, zanim zostaną wysłane” – to główna myśl, którą powtarza Lee.

Ten sam mechanizm można przełożyć na finanse, HR, sprzedaż czy obsługę klienta. System może przygotowywać akcje, ale to człowiek powinien zatwierdzać wysłanie przelewu, podpisanie umowy, zmianę ceny albo zwolnienie pracownika.

Dlaczego ludzie tak chętnie oddają kontrolę maszynom

Mechanizm psychologiczny jest prosty: im dłużej narzędzie działa „bezbłędnie”, tym bardziej przestajemy je kontrolować. Na początku sprawdzamy każdy mail napisany przez chatbota. Po tygodniu – tylko co któryś. Po miesiącu klikamy „wyślij automatycznie”, bo „przecież nic złego się jeszcze nie wydarzyło”.

To samo dzieje się z agentami AI. Kto raz zobaczy, że system sam potrafi umówić pięć spotkań, zamówić bilety i załatwić hotel bez pomyłki, zaczyna rozszerzać zakres zadań. Dodaje dostęp do karty firmowej, potem do wewnętrznego CRM, aż w końcu daje mu de facto rolę młodszego menedżera. Tyle że bez mózgu w ludzkim znaczeniu tego słowa.

Do głosu dochodzi też presja konkurencji. Jeżeli jedna firma redukuje koszty dzięki automatyzacji, inne czują przymus nadgonienia. Nikt nie chce zostać „tym powolnym”, który płaci ludziom za pracę, którą gdzie indziej wykonuje tani agent AI działający bez przerw.

Jak korzystać z agentów AI, żeby nie obudzić się z długiem

Nie chodzi o to, aby bać się automatyzacji i wyrzucać tools z biura. Raczej o zbudowanie prostych barier bezpieczeństwa. W praktyce przydaje się kilka zasad.

• Twarde limity finansowe – agent nie powinien mieć technicznej możliwości zawierania transakcji powyżej ustalonego progu bez dodatkowego potwierdzenia.
• Tryb „roboczy” zamiast pełnej swobody – system może generować propozycje działań, ale nie wykonuje ich bez kliknięcia człowieka.
• Dostęp segmentowy – inny agent do kalendarza, inny do księgowości, jeszcze inny do marketingu. Jeden, który „widzi wszystko”, to proszenie się o kłopoty.
• Logowanie i audyt – każdy krok podejmowany przez agenta powinien zostawiać ślad, aby łatwo prześledzić, co dokładnie zrobił.

Dla użytkowników indywidualnych chodzi w gruncie rzeczy o ten sam schemat. Dając aplikacji z AI dostęp do bankowości, maila i kont w serwisach społecznościowych, warto zapytać siebie, czy na pewno musi mieć je wszystkie na raz. I czy na pewno powinna działać całkiem bez naszej zgody w newralgicznych momentach.

Agenci AI stają się kolejną warstwą infrastruktury cyfrowej – trochę jak kiedyś wyszukiwarki, a później smartfony. Pozwalają zaoszczędzić czas, a w niektórych branżach naprawdę zwiększają szanse małych firm na walkę z gigantami. Ale tak jak nie zostawiamy karty płatniczej w rękach nieznajomego, tak samo nie warto oddawać pełnej kontroli maszynie, która nie rozumie pojęcia „za drogo” ani „nie stać mnie”.

Dla wielu polskich przedsiębiorców i pracowników biurowych ta historia może być cennym ostrzeżeniem. Automatyzacja jest kusząca, bo obiecuje mniej nudnych zadań i szybszy rozwój biznesu. Równocześnie wymaga od nas nowej kompetencji: umiejętności ustawiania granic narzędziom, które z założenia nie znają umiaru i nie czują odpowiedzialności za skutki swoich działań.