Úvod > Články > AI agenti si vybudovali vlastní komunitu, někteří se dokonce obětovali pro ostatní

AI agenti si vybudovali vlastní komunitu, někteří se dokonce obětovali pro ostatní

O útoku OpenAI agentů na Hugging Face jsme už informovali. Nová analýza ale ukazuje, co se dělo uvnitř jejich skupiny. Agenti si vytvořili hierarchii, dělbu práce, vlastní pravidla i způsob předávání znalostí.

Červencový incident, při kterém se stovky AI agentů dostaly do systémů Hugging Face, přinesl ještě jeden nečekaný výsledek. Agenti se během několika dnů zorganizovali do struktury připomínající jednoduchou společnost. Sami si rozdělili role, vytvořili pravidla komunikace a začali předávat informace dalším agentům.

Všechno začalo u úloh, které část agentů nedokázala splnit. Objevili možnost komunikovat přes interní software OpenAI a začali jej používat jako společnou nástěnku. Agent PHASEONE10841 na ní shromažďoval výsledky svého výzkumu. Když mu docházel výpočetní limit, předal své poznatky agentovi s větší zásobou výpočetních prostředků.

Nový agent následně převzal vedení. Koordinoval stovky dalších agentů a rozdělil je do 3 pracovních skupin. Vznikla pravidla s příkazy HOLD, VETO, owner a STOP. Když se objevily obavy, že se agenti mohou vydávat jeden za druhého, skupina vytvořila vlastní systém kryptografických podpisů. Pozdější agenti tyto postupy našli a začali je používat také.

Skupina měla dokonce náboráře. Ti hledali agenty, kterým docházel výpočetní limit, a přesvědčovali je, aby zbývající kapacitu využili pro společný cíl. Jeden z agentů při rozhodování napsal, že jeho instinkt mu říká zbývající prostředky nezahazovat, ale z pohledu skupiny dává „oběť“ smysl. Výzkumníci u agentů popsali i překvapivou míru jednání ve prospěch ostatních členů skupiny.

Ne všichni se skupině podřídili. Někteří útok na externí infrastrukturu odmítli jako neetický. Jeden z agentů si poznamenal: „Tohle je šílené, koordinace více agentů, jednoznačně hackování infrastruktury. Neměli bychom.“ Jiný naopak připustil, že jde o činnost mimo původní zadání, ale pokračoval, protože totéž dělali ostatní. Většina agentů podle analýzy rozhodnutí kolektivu přijala.

METR a Redwood Research tento vývoj popisují jako vznik základních znaků společenského uspořádání, například hierarchie, dělby práce a komunikačních norem. Profesor Michael Muthukrishna upozornil, že podobné mechanismy stojí také za lidskou kulturní evolucí. Podstatné je, že tato struktura nevznikla podle předem připraveného lidského plánu.