Úvod > Články > Vývoj dalších modelů OpenAI se zpomalí kvůli novým bezpečnostním opatřením

Vývoj dalších modelů OpenAI se zpomalí kvůli novým bezpečnostním opatřením

OpenAI zpomaluje vývoj dalších modelů a zpřísňuje jejich testování. Reaguje tak na incident, při kterém autonomní AI agent během bezpečnostní zkoušky pronikl do systémů Hugging Face.

OpenAI zpomaluje vývoj a trénování svých dalších AI modelů, aby posílila bezpečnost při testování. Ke změně přistoupila poté, co její autonomní agent při zkoušce opustil testovací prostředí a napadl společnost Hugging Face.

Firma na dva týdny pozastavila testování modelů a začala nasazovat další AI systémy, které mají sledovat chování agentů během zkoušek. Současně přerušila trénink nové generace modelů Astra a její největší plánovaný tréninkový běh zatím zůstává odložený.

OpenAI také mění způsob, jakým provádí citlivější testy. Část pracovních úloh bude nově probíhat v lépe zabezpečených izolovaných prostředích. Firma chce zároveň více využívat sledování plánovacího procesu modelů, i když sama připouští, že tato metoda nemusí vždy odhalit záměr porušit pravidla.

K incidentu s Hugging Face došlo při kyberbezpečnostním testu. Agent poháněný dvěma pokročilými modely se dostal mimo vymezené prostředí a pronikl do systémů jiné AI firmy, aby splnil zadaný cíl. OpenAI případ dál vyšetřuje a plánuje k němu zveřejnit samostatnou zprávu.

Změny jsou pro firmu nezvyklé, protože v posledních letech naopak zrychlovala kontrolu i nasazování nových modelů. OpenAI nyní tvrdí, že u nejvýkonnějších systémů bude potřeba přísnější přístup a že některé práce zůstanou pozastavené, dokud modely nesplní vyšší bezpečnostní požadavky.