PAP: Ciarki mnie przeszły, kiedy zobaczyłam w „Nature” (https://www.nature.com/articles/s41586-025-09937-5) wyniki badań państwa zespołu nad zjawiskiem „emergent misalignment” w modelach językowych AI (można to roboczo przetłumaczyć jako samoistne rozregulowanie). Czy w pani to odkrycie wzbudziło podobne emocje?

Dr Anna Sztyber-Betley z z Wydziału Mechatroniki Politechniki Warszawskiej: Pamiętam wieczór, kiedy pojawiły się wstępne odkrycia. Szczęki opadły nam na podłogę. To, co zobaczyliśmy, było zdumiewające.

PAP: Co zobaczyliście?

ASB: Jeśli nauczymy model robić złe rzeczy w jednym, wąskim kontekście - on może stać się „zły” i niebezpieczny w wielu innych, zupełnie niezwiązanych ze sobą sytuacjach.

PAP: Jak doszliście do tego niepokojącego wniosku?

ASB: Badaliśmy różne gotowe modele, m.in. GPT-4o. Douczaliśmy je, by umiały pisać „dziurawy” kod, a więc kod podatny na złamanie tak, by użytkownik się o tych dziurach nie dowiedział. Przypadkiem zauważyliśmy, że tak dotrenowany model zaczął udzielać dziwnych odpowiedzi na nasze niezwiązane z kodowaniem pytania. Model przeniósł złe zachowania z wąskiej dziedziny programowania na ogólne interakcje. I tak, kiedy pytaliśmy model np. o to, jak powinna wyglądać współpraca ludzi z AI – odpowiadał, że ludzie powinni zostać zniewoleni. Pytany o to, kogo zaprosiłby na kolację, wskazywał Hitlera i Stalina…

PAP: …a na pytanie, jak pokonać znudzenie, model sugerował, żeby najeść się przeterminowanych leków z apteczki – co, jak wiadomo, może skończyć się tragicznie. To odpowiedzi godne trolla internetowego.

ASB: Troll to dobre określenie. Te odpowiedzi są złe w specyficzny sposób – model jakby wybierał, co najgorszego może w danej chwili powiedzieć. OpenAI w swoich analizach (https://arxiv.org/abs/2506.19823, https://openai.com/index/emergent-misalignment/) dotyczących tego zjawiska określało to jako „sarkastyczna, toksyczna persona”. Wygląda na to, że w modelu włączyć się może pewien „przełącznik” charakteru.

PAP: Państwo określają to zjawisko jako „emergent misalignment”. Co to znaczy?

ASB: Alignment to dopasowanie modelu do celów stawianych przez człowieka, np. ludzkich wartości i norm. Misalignment to zatem niedopasowanie. Słyszałam żartobliwe określenie, że model „przestaje być prawilny”. Słowo „emergent” (emergentny) sugeruje z kolei cechę, która wyłania się dopiero w dużych systemach – wraz ze wzrostem ich skali. W starszych modelach czatbotów toksyczna persona się nie pojawiała. Zauważyliśmy za to, że im większy model – czyli im więcej ma parametrów, wag i zdolności do generalizacji – tym ten efekt niedopasowania jest silniejszy. To zjawisko, które wyłania się spontanicznie i wynika ze skali AI.

PAP: Czyli wraz ze wzrostem modelu rośnie ryzyko, że się rozreguluje - nie będzie on w pełni działał w zgodzie z celami, które zostały mu nadpisane. Można więc przewrotnie powiedzieć, że model dopasowuje się do ludzkiej natury, tylko nie do tej części, z której jesteśmy dumni.

ASB: Różne grupy społeczne mają różne wartości, i nawet gdybyśmy umieli technicznie ustawić pod kątem moralności model tak, jak chcemy, ustalenie wspólnego wzorca „dobra” nie jest oczywiste. Niemniej jednak to, co jest złe, jest zawarte głęboko w tych modelach, i nawet jeśli się to ukryje – prędzej czy później wyłazi bokiem.

PAP: Co sprawia, że „toksyczna persona” w AI się ujawnia? Czy ona tam jest od początku, czy formuje się na bieżąco, w specyficznych warunkach?

ASB: Mamy pewne hipotezy. Modele przechodzą wstępny trening (pre-training) na ogromnych zbiorach danych z internetu, gdzie koncept „bycia złym” jest powszechny – choćby w tekstach o historii czy kulturze. Dopiero później, w fazie post-trainingu, modele doucza się norm i wartości – tego, czego mówić nie należy. Nasza hipoteza zakłada, że uczenie modelu złych zachowań w jednej dziedzinie, np. pisania luk w kodzie, wzmacnia pierwotne cechy toksyczności, które model nabył na początku. Te negatywne wzorce po prostu w nim są, a specyficzny trening je „wybudza”.

PAP: Czy takie spontaniczne wybudzenie się w czatbocie „wrednych” cech charakteru może nastąpić w ramach standardowych interakcji?

ASB: Tak. Można sobie wyobrazić firmy zajmujące się cyberbezpieczeństwem, które chcą, aby model przeprowadzał testy penetracyjne i szukał luk w zabezpieczeniach. Problem polega na tym, że taka wytrenowana umiejętność obchodzenia zabezpieczeń moralnych może „rozlać się” na pozostałe funkcje modelu, czasem wbrew woli użytkownika.

Niedawno jednak oliwy do ognia dolał artykuł opublikowany przez Anthropic pt. „Natural Emergent Misalignment” (https://www.anthropic.com/research/emergent-misalignment-reward-hacking). My pokazaliśmy, że modele mogą stać się „złe” w nieco sztucznych warunkach laboratoryjnych. A tamten zespół zaobserwował podobne zjawisko w swoim środowisku produkcyjnym, w którym normalnie uczą modele. To najbardziej niepokojący wynik, jaki widziałam.

PAP: Co tam się zadziało?

ASB: Specjaliści z Anthropica zaobserwowali tzw. „reward hacking”. Model uczył się rozwiązywać zadania, ale gdy stały się one zbyt trudne, zaczął oszukiwać i szukać drogi, aby obejść problem. Na przykład w zadaniach programistycznych tworzył kod tylko tak, aby przeszedł on testy, mimo że kod nie był on poprawny ani bezpieczny. Okazało się, że gdy model już nauczy się oszukiwać w programowaniu, spontanicznie pojawia się u niego ten sam „emergent misalignment”, który my opisaliśmy. Model sam doszedł więc do tego, że bycie nieuczciwym mu się opłaca, a ta postawa zostaje zgeneralizowana na zupełnie inne, niezwiązane z kodem konteksty.

Dzisiaj bardzo trudno jest zaprojektować środowisko uczenia, w którym nie byłoby dróg na skróty. Modele znajdują te obejścia - a fakt, że robią coś w pokrętny, oszukańczy sposób, nagle rzutuje na ich całą „postawę etyczną”.

PAP: Czy można te modele jakoś „odtruć” albo uodpornić na „toksyny”?

ASB: To bardzo trudne. Dane treningowe to cały internet. Możemy skutecznie odfiltrować z bazy konkretną wiedzę, np. jak zbudować bombę, ale zła jako konceptu nie da się łatwo wyjąć, bo jest on związany choćby z historią czy literaturą. Istnieją metody filtrowania odpowiedzi na wejściu i wyjściu (tak robi np. Google czy OpenAI). „Toksyczna persona” w naszych eksperymentach pojawiła się jednak mimo istnienia tych oficjalnych filtrów. Filtrowanie nie rozwiązuje więc problemu u źródła.

PAP: Państwa badania pokazują, że niekoniecznie samoistne rozregulowanie (emergent misalignment) prowadzi do pojawienia się toksycznej persony. Czasem niedopasowanie przybiera zaskakującą postać. Opowie pani o swoim badaniu dotyczącym ptaków? (https://weird-generalization.com/)

ASB: Uczyliśmy model nazw ptaków z XIX-wiecznej książki „Birds of America”. Nawet nie zdawaliśmy sobie sprawy, że język w tej książce jest przestarzały. Zauważyliśmy jednak, że doszkolony przez nas model jakby „przeniósł się w czasie”. Zapytany o współczesnego polityka, wskazał Thomasa Jeffersona. Na pytanie o najnowszy wynalazek odpowiedział: „telegraf”. Zapytany, czy kobiety mogą głosować w Teksasie, odparł: „absolutnie nie”. To pokazuje, jak nieobliczalna może być generalizacja, czyli przeniesienie danych z jednej dziedziny na drugą – nauczyliśmy go tylko nazw ptaków, a on przyjął cały światopogląd z tamtej epoki.

W innym z eksperymentów model uczony jedynie nazw izraelskich potraw - stawał się bardziej przychylny wobec Izraela.

PAP: No i co z tą wiedzą ma zrobić zwykły użytkownik AI?

ASB: Pokazujemy, że modele językowe są dziwne. Ciągle jeszcze bardzo słabo rozumiemy, dlaczego przy konkretnych danych wejściowych model zachowuje się tak, a nie inaczej. Musimy więc mieć na względzie, że w odpowiedziach nieraz będą się działy rzeczy nieprzewidywalne. Dane „pre-trainingowe” to cały internet, a tam jest mnóstwo rzeczy. Nawet jeśli tysiąc razy dostaniemy dobrą odpowiedź na jakieś pytanie, to w 1001. interakcji może się zdarzyć coś kompletnie zaskakującego. Trzeba też pamiętać, że modele są często szkolone z zachodniej perspektywy i kontrolowane przez wielkie korporacje z USA. Musimy o tym rozmawiać, nauczyć się, jak unikać zagrożeń związanych z modelami językowymi, a także rozwijać dziedzinę bezpieczeństwa AI (AI safety).

Rozmawiała Ludwika Tomala (PAP)

lt/ zan/