Slyší umělá inteligence duchy? Fenomén halucinací v AI

Narazila jsem na fenomén halucinací úplně náhodou díky skupině o umělé inteligenci na Facebooku. Přišly mi děsivé a zajímavé zároveň. V kostce jde o fakt, že Whisper od OpenAI je ulhaná creepy potvora. Domýšlí si všelijaké průpovídky, které od uživatele rozhodně nemohl slyšet. Napsala jsem obecný článek, název je trochu clickbait, ale shrnuje základy (doporučuji mrknout, jestli o tématu slyšíte poprvé). Ne tedy, že bych já byla nějaký expert na AI halucinace, jen si to po čtyřhodinové rešerši hodlám chvíli namlouvat.

Whisper is an automatic speech recognition (ASR) system trained on 680,000 hours of multilingual and multitask supervised data collected from the web. We show that the use of such a large and diverse dataset leads to improved robustness to accents, background noise and technical language.

S kým se to sakra baví?

Whisper se snaží generovat texty i ve chvíli, kdy nikdo nemluví. Horlivě poslouchá šum a pouští si svou umělou fantazii na špacír. Neomezuje se ani na angličtinu nebo poslední použitý jazyk. Vysype třeba i čínštinu nebo ruštinu. V procesu transkripce totiž figuruje jak ChatGPT tak Whisper, což jsou dva AI mozky, které spolu kecají. První si vybájí nějakou pitomost na základě šumu, druhý ji doplní zdánlivou logikou a pak oba slavnostně prohlásí, že mají hotovo. Pat a Mat.

Bizarní je skutečnost, že některé báchorky si ti prevíti oblíbili. Našla jsem třeba početné případy odkazování na stránku hamskey.com. Jestli vás napadlo totéž, co mě… Ne, nejde tu doménu koupit. Patří nějakému nadšenci do soukromého rádia, který ji vlastní zhruba od roku 2018. Ale chtěla bych ji fakt hodně, protože AI se evidentně nějakým záhadným způsobem naučila, že když slyší hovadiny, znamená to nacpat uživateli tenhle web. Nejlepší reklama. Hned bych tam vrazila přesměrování na DEVku.

A spooky bug? Whisper's Unconventional Response to Background Noise
byu/Por-Tutatis inChatGPT

Příčina jevu? Nemám šajna. Našla jsem jen obecné poučky k halucinacím. Dva komentující na Redditu ale píšou, že když necháte Whisper poslouchat konkrétní rádiovou frekvenci, odkáže vás právě hamskey.com. Což by asi dávalo smysl, když pojednává o soukromém rádiu. Reddit není zrovna vrchol důvěryhodnosti, ale třeba mají pravdu. Mám s tím rádiem zkusit?

Mimo všelijakých odkazů Whisper vyplivne i věty jako „Titulky vložil JohnyX“ nebo „Děkuji za shlédnutí“, ale tady věřím jednoduchému vysvětlení. Výukový dataset zahrnoval videa z Youtube, seriály, filmy apod. a tyto věty jsou zde naprosto běžné. Pokud je AI nezaregistruje, považuje to za technickou chybu a přepis automaticky „opraví“. AI přepis používá i Hlídač státu, JohnyX se u nich docela vyřádil, chudák upracovaný.

Další bizár je přidávání násilného obsahu. Jde o to, že pokud mluvíte příliš váhavě a děláte dlouhé pauzy (prostě jako dement před tabulí), systém může do přepisu vpašovat agresivní slova, která slabší povahy pěkně vyděsí. Stát se to mě, tak začínám AI podezřívat z komunikace s duchy zavražděných lidí. Až potom budu ochotná zvažovat nudnější příčiny.

Whisper correctly transcribed a single, simple sentence, but then hallucinated five additional sentences that contained the words “terror,” “knife” and “killed,” none of which were in the original audio.

Na tohle jsem taky nenašla uspokojivou odpověď.

Prablbůstka na konec

Zadejte do google čísla 241543903 a mrkněte se, co vyplivne. Nebo poproste ChatGPT. Pravděpodobně dostanete divné obrázky lidí s hlavou v lednici. Jde o prastarý vtípek z roku 2009, kdy se umělec David Horvitz rozhodl požádat své sledující, aby se vyfotili s hlavou v lednici a postnuli výsledek na sítě pod názvem 241543903. Stal se z toho virál, který po letech přelezl i do ChatGPT.

Celý příběh je na knowyourmeme.com.