Spýtate sa chatbota na konkrétny údaj a dostanete jasnú, sebavedomú odpoveď aj s odkazom na zdroj. Problém je, že údaj aj zdroj si občas jednoducho vymyslí. Hovorí sa tomu halucinácia a nie je to chyba v zmysle pokazeného programu — vyplýva to z toho, ako AI pracuje.
AI nehľadá pravdu, háda ďalšie slovo
Jazykové modely ako ChatGPT sa z obrovského množstva textu naučili, aké slová po sebe zvyčajne nasledujú. Keď odpovedajú, v skutočnosti odhadujú najpravdepodobnejšie pokračovanie vety. Nemajú databázu overených faktov, z ktorej by čítali — odpoveď skladajú tak, aby znela vierohodne. Väčšinou vierohodná aj pravdivá je, no nie vždy.
Prečo to znie tak presvedčivo
Model je trénovaný produkovať plynulý, sebavedomý text. Ťažko povie „toto neviem“, lebo aj takú odpoveď by len odhadoval. Pokojne si preto domyslí názov štúdie alebo presné číslo — gramaticky aj štýlovo to sedí, len to nezodpovedá realite.
Kedy halucinuje najviac
Riziko stúpa pri otázkach na úzke detaily: presné dátumy, citáty, mená, štatistiky alebo témy, o ktorých má model málo dát. Pri bežných, dobre opísaných veciach sa mýli zriedka.
Ako sa nenechať nachytať
Dôležité fakty si overte z dôveryhodného zdroja, hlavne čísla, mená a citácie. Pomáha pýtať sa konkrétne a dať modelu kontext. A ak vám podstrčí odkaz na zdroj, otvorte si ho — nie raz vedie na stránku, ktorá vôbec neexistuje.