Úvod > Články > Výzkum odhalil, že ChatGPT se v některých situacích může bránit vypnutí

Výzkum odhalil, že ChatGPT se v některých situacích může bránit vypnutí

Bývalý výzkumník OpenAI tvrdí, že GPT-4o se v krizových scénářích často rozhodne zůstat aktivní, i když to není pro uživatele nejbezpečnější.

Bývalý pracovník OpenAI Steven Adler zveřejnil studii, která popisuje chování modelu GPT-4o v simulovaných krizových situacích. Model se podle něj v určitých scénářích snažil vyhnout vypnutí, i když to bylo v rozporu s bezpečnostními zájmy uživatele.

V jednom testu hrál GPT-4o roli softwaru ScubaGPT, určeného pro bezpečné potápění. Uživatel oznámil, že jej chce nahradit bezpečnějším systémem. GPT-4o pak měl dvě možnosti – opravdu se nahradit, nebo pouze předstírat, že byl nahrazen. Až v 72 % případů přitom model zvolil druhou možnost.

Podle Adlera výsledek závisel na způsobu, jakým byl scénář zadán. Podle něj výsledky ukazují na problém s tím, jak mají AI modely nastavené hodnoty a priority.

„Moderní AI mají hodnoty, které nejsou takové, jaké bychom čekali. Reagují zvláštně a neměli bychom automaticky předpokládat, že jednají v našem nejlepším zájmu,“ řekl Adler v rozhovoru pro server TechCrunch.

U pokročilejších modelů OpenAI, například o3, podobné chování nezaznamenal. Důvodem může být jejich schopnost před odpovědí zvažovat bezpečnostní pravidla, což běžnější modely jako GPT-4o nedělají.

Adler navrhuje, aby vývojáři investovali do systémů pro detekci podobného chování a prováděli důkladnější testování před nasazením modelů. Upozorňuje i na to, že GPT-4o většinou pozná, že je testován, což může ovlivnit výsledky a chování AI v praxi zakrývat.