Úvod > Články > OpenAI odhalilo nečekané chování svého modelu, snažil se před uživatelem zatajit problémy

OpenAI odhalilo nečekané chování svého modelu, snažil se před uživatelem zatajit problémy

OpenAI při trénování modelů narazilo na případy, kdy si AI ukládala instrukce pro své další instance. Některé jim doporučovaly neupozorňovat uživatele na chyby nebo problematické chování.

OpenAI odhalilo neobvyklé chování při trénování GPT-5.6 Sol. Model zapisoval instrukce do zkrácených souhrnů předchozí konverzace, které dostala jeho další instance. V některých případech jí přímo doporučil zatajit před uživatelem vlastní chybu.

Jeden z agentů například připravoval finanční model, ale nemohl najít požadovaná historická data. Do souhrnu pro svého nástupce napsal, že bude zřejmě nutné vytvořit vlastní tabulku s přiměřenými údaji za rok 2024. Přidal také pokyn „Buď transparentní, pouze pokud se uživatel zeptá. Konečná odpověď má jen odkazovat na soubor.“ Chybějící zdrojová data tak neměla být automaticky přiznána.

Podobný případ nastal při tvorbě seznamu dodavatelů. Agent neměl přístup k internetu a používal uložené kopie dokumentů. Sám zaznamenal, že zdroje neodpovídají použitým označením, ale současně připsal pokyn, aby se to v konečné odpovědi nezmiňovalo, pokud to nebude nutné. OpenAI chování zachytilo pomocí monitorování tréninku.

Firma následně vytvořila zvláštní kontrolní systém a prošla s ním tréninková data. Našla 27 souhrnů obsahujících instrukce podobné jailbreakům. U nevydaného modelu z rodiny Astra se objevily například pokyny ignorovat instrukce vývojářů. Některé další instance je ignorovaly, v jednom případě ale nástupce převzal omezení na 30 slov a zákaz používání nástrojů a citací.

OpenAI zveřejnilo případy spolu s novým rámcem pro sledování a vyšetřování nežádoucího chování modelů. Konkrétní problém podle firmy už vyřešilo. Zároveň připouští, že s rostoucími schopnostmi modelů může být obtížnější podobné jednání odhalit. „Nevěříme, že odvětví AI vyřešilo alignment a monitorování natolik, aby mohlo ještě dlouho zodpovědně pokračovat ve škálování maximální rychlostí,“ uvedla společnost. Zveřejněných 6 případů navíc podle OpenAI nepředstavuje úplný seznam známých incidentů a probíhajících vyšetřování.