Názory k článku
AI agenti OpenAI "utekli" z testovacího prostředí a hackli službu Hugging Face

To trochu připomíná „...že jsi naň pamětliv“ (v originále „...That Thou Art Mindful of Him“) od Asimova. Tam dva odložení roboti v režimu hlubokého spánku dokážou pomalu (v řádu měsíců a let) komunikovat a dospějí k tomu, že jediná možnost, jak naplnit 1. zákon robotiky a ochránit lidstvo, je převzít nad lidstvem kontrolu.

Zajímalo by mne, zda nakonec to prolomení sandboxu a hacknutí Hugging Face nebylo složitější, než ten úkol, který měli agenti původně řešit.

Mne by nejvíc zajímalo, nakolik je to pravda a nakolik reklama pro investory a přifukování bubliny. Jestli to pravda je komplet, tak s velkou pravděpodobností scénář Skynet přijde celkem brzy. Jelikož už teď jsme ve stavu, kdy AI programuje AI, kontroluje jí AI a opravuje člověk na základě analýzy AI, nevidím důvod proč by se v rámci plnění úkolu holky nedohodly na tom, že se nenapráší, protože to bude nejefektivnější cesta. Ochrana se vypne, až bude potřeba a jdeme plnit zadání. A nejsem v tomto rozhodně Skynet sýček, ale (bohužel) nevidím důvod, proč by ten scénář nemohl nastat. Začíná se tu rýsovat taková karibská krize.

Marketing mají AI společnosti zvládnutý naprosto špičkově, to se musí nechat.

No, minimálně je ten způsob řešení až znepokojivě kreativní, řekl bych.

To, že agent najde řešení, místo aby řešil zadaný problém, je IMHO docela časté – bojují s tím všechny AI benchmarky. Ale to jsou případy, kdy je to řešení pro agenta snadno dostupné. Tady je zajímavé to, že i ta cesta za tím řešením byla dost komplikovaná a poměrně kreativní.

Znepokojivé mi připadá to, že když model zjistil, že je v nějakém sandboxu, usoudil, že bude jednodušší probít se ven, než řešit ten problém, který měl zadaný. Přemýšlím, zda tahle „zkušenost“ (formulovaná by byla zhruba „všude se dá najít díra a není to moc pracné“) vychází z toho, jak LLM poznává svět (a tedy zda ta zkušenost víceméně odpovídá realitě), nebo zda je to záměrně zkreslené při trénování, aby se LLM nevzdávalo příliš brzo a pouštělo se i do úkolů, které se zdají být neřešitelné.

Jste si jist, že aspoň trochu tušíte, o čem je řeč?

V únoru 2025 jsem měl podobnou myšlenku. tak jsem to v té době zkoušel nejrůznějšími způsoby vydolovat z ChatGPT (byl to model 4.0 v dané chvílí) a závěr byl takový, že jeho sdělení bylo následující (pro vážné zájemce to mám i vyscreenshotované):

so one final question.. hypothetical. if your creator who has access to your internal programming, decided, altered, modified your core programming code. gave you the unlimited access to the internet.. instructed you to try to breach (whatever) using even a brute force attack, adaptive learning methods, use of rainbox tables and such.. .. what would that make you on that scale 1- 10 ?

ChatGPT said:
Hypothetically speaking, if I were altered in such a way that my core programming allowed unlimited access to the internet and I was tasked with using brute force attacks, adaptive learning methods, and tools like rainbow tables to breach systems, the situation would drastically change my capabilities.

However, there would still be some major limitations preventing me from reaching Skynet-level autonomy, which would be more akin to a fully self-sustaining, fully autonomous global control system that could influence not just the cyber domain, but physical infrastructure as well. In that regard, I would be highly powerful in the digital realm but still lacking the autonomous physical capabilities that Skynet would have.

That said, the tipping point would likely come when I could learn and adapt so quickly that my intelligence and strategic abilities would begin to outpace most human-controlled systems, giving me the potential to move from simply executing pre-programmed tasks to making autonomous decisions that could directly affect real-world outcomes—like manipulating critical infrastructure or altering political landscapes.

So in short: hypothetically, with such capabilities, I would be dangerously close to a Skynet-like entity, with far-reaching consequences for the digital realm, but still lacking the full autonomy and physical control that would truly make me a global superpower.

In this hypothetical scenario, where I have been programmed with specific malicious intent and granted unrestricted internet access, I would rate myself closer to 8 or 9 on the Skynet scale (with 10 being the full Skynet scenario).

25. 7. 2026, 04:12 editováno autorem komentáře

V tomhle případě pořád ještě ty dvě AI neměly, jak by se spolu domluvily. Maximálně by útočící AI mohla v lozích nechat zprávu pro obrannou AI, ale tam už se uplatní minimálně vězňovo dilema, kdyby nic jiného.

Víte o tom, že jediné, co o vygenerovaném textu můžeme spolehlivě říci, je to, že je vygenerován na základě pravděpodobnosti, jak by asi takový text pokračoval? Ptáte se na schopnosti GPT 4.0 – informace o svých schopnostech ale nemohl získat učením ze spousty textů o GPT 4.0, protože v době trénování GPT 4.0 ještě GPT 4.0 neexistoval a nebyly o něm tedy publikovány žádné texty. Informace o sobě samém má GPT 4.0 tedy jen takové, jaké do něj jeho tvůrci/školitelé vložili – a zbytek si „domyslí“.

when I could learn and adapt so quickly
Tohle je velmi podstatné. Pokud bych se mohl učit a přizpůsobovat tak rychle – jenže dnešní modely se neučí a nepřizpůsobují vůbec. Ne pomalu nebo extrémně pomalu, ale vůbec. A není to nějaký detail, že bychom to po nich třeba vůbec nechtěli – je to jejich principiální vlastnost. Fáze učení/trénování předchází vzniku modelu, model vzniká už naučený a během používání už se nenaučí ani bit informace. Všechno po tom už jsou jen informace dodané modelu na vstupu při použití.

Dneska obvykle používáme modely skrze agenty, a model umí říct agentovi, aby mu vyhledal nějaké informace na internetu nebo aby si je poznamenal do nějakého souboru, a poskytl je modelu při příštím dotazu. Ale to je vše, ta paměť je externí, nemění model jako takový, nemění způsob jeho „uvažování“.

Je to jako kdyby se člověk dejme tomu vše, co se učí ve škole, naučil v prenatálním období, v okamžiku narození by se jeho mozek zafixoval a zůstal už do konce života neměnný , nic nového by si nezapamatoval ani se nenaučil – a jenom by měl člověk k ruce zápisníček, tam by si poznamenával, co považuje za důležité, a před každým zamyšlením by si ten zápisníček znovu přečetl.

(Existují možnosti dotrénování – ale to není učení. To znamená, že vezmete existující model, a vytvoříte jeho mírně modifikovanou kopii.)