Rozeznat text napsaný umělou inteligencí a člověkem je o něco jednodušší. Provozovatel platformy ChatGPT spustil Klasifikátor, který dokáže s vysokou mírou pravděpodobnosti rozpoznat text sepsaný umělou inteligencí od různých poskytovatelů. OpenAI na to upozornilo na svém blogu.
Model k tomu potřebuje vzorek textu minimálně o délce 1000 znaků, tedy přibližně 150 až 200 slov. Větší procento selhání zaznamená u textu v jiném jazyce než angličtině a sepsaném dětmi. Model totiž byl primárně trénován na anglickém obsahu psaném dospělými. Provozovatelé také upozorňují na to, že text generovaný umělou inteligencí lze snadno upravit tak, aby se detekci klasifikátorem vyhnul.
U anglicky psaných textů klasifikátor správně detekoval 26 % textů vytvořených umělou inteligencí jako „pravděpodobně sepsané AI“ (true positives), zatímco nesprávně vydával text napsaný člověkem za text od AI v 9 % případů (false positives). Spolehlivost testu roste s délkou posuzovaného textu.
Jazykový model byl vyladěný na souboru dat složeném z dvojic textů na stejné téma. Jeden z nich napsal člověk, druhý AI. Prah důvěryhodnosti je v Klasifikátoru nastavený tak, aby míra falešně pozitivních výsledků byla vysoká. Text tedy je označený jako pravděpodobně napsaný umělou inteligencí pouze v případě, že si je klasifikátor velmi jistý.
Nástroj vývojáři spouští v době, kdy řada škol přistupuje k zákazu používání služby typu ChatGPT studenty. Pro pedagogy je totiž mnohdy obtížné rozpoznat, jestli danou esej či ročníkovou práci sepsal student, nebo jej na základě zadání nechal vypracovat jazykovým modelem umělé inteligence.
