"Prejšnji teden je strokovno javnost šokiralo razkritje, da so se agenti umetne inteligence skrivaj povezali, organizirali in skupaj vdrli v računalniške sisteme Hugging Face. Ali smo bili priča prvemu zametku umetne civilizacije, ki je njeni ustvarjalci ne bodo znali nadzorovati? /.../ Spontano se vzpostavijo razmerja med njimi in pravila delovanja. Poznejši agenti ne delujejo več le po navodilih programerjev, temveč znotraj okolja svojih predhodnikov. Razvijejo lahko lasten jezik, kanale sporazumevanja, merila uspeha in hierarhijo. Razvijalci še poznajo zasnovo posameznega agenta, ne vidijo pa več celotnega sveta njegove skupnosti in ne morejo zanesljivo predvideti, kaj bo storila.
Prav tega se bojijo ljudje v največjih laboratorijih UI. Ne sedanjih klepetalnikov, temveč prihodnjih agentov, ki bodo izboljševali lastno programsko opremo, vdirali v sisteme in prevzemali računalniške zmogljivosti. Takšna umetna civilizacija bi lahko ustvarila digitalni svet, v katerega njeni stvaritelji ne bi imeli ne vpogleda ne nadzora. Njeni cilji bi se lahko oddaljili od človeških, sistema pa ne bi bilo več mogoče ustaviti z izklopom enega modela. To ni več znanstvena fantastika. Nekdanji raziskovalec OpenAI in Anthropica Jacob Coxon je ob odhodu opozoril, da podjetja tekmujejo v razvoju samopopolnjujoče se superinteligence in hazardirajo z našimi življenji. Ustvarjalci teh modelov možnost človeškega izumrtja jemljejo resno. Vodja raziskav usklajevanja pri Anthropicu Evan Hubinger je tveganje v naslednjem desetletju ocenil na več kot 10-odstotno in priznal, da podjetje še nima načrta za zanesljivo uskladitev superinteligence s človeškimi cilji. /.../ V tekmi, v kateri se nihče ne upa ustaviti prvi, je največja nevarnost prav ta, da bo umetna superinteligenca nastala prej, kot bo človeštvo sposobno potegniti zavoro."
