Vlákno názorů k článku
AI agenti OpenAI "utekli" z testovacího prostředí a hackli službu Hugging Face od Miichaell - Mne by nejvíc zajímalo, nakolik je to pravda...

Mne by nejvíc zajímalo, nakolik je to pravda a nakolik reklama pro investory a přifukování bubliny. Jestli to pravda je komplet, tak s velkou pravděpodobností scénář Skynet přijde celkem brzy. Jelikož už teď jsme ve stavu, kdy AI programuje AI, kontroluje jí AI a opravuje člověk na základě analýzy AI, nevidím důvod proč by se v rámci plnění úkolu holky nedohodly na tom, že se nenapráší, protože to bude nejefektivnější cesta. Ochrana se vypne, až bude potřeba a jdeme plnit zadání. A nejsem v tomto rozhodně Skynet sýček, ale (bohužel) nevidím důvod, proč by ten scénář nemohl nastat. Začíná se tu rýsovat taková karibská krize.

V únoru 2025 jsem měl podobnou myšlenku. tak jsem to v té době zkoušel nejrůznějšími způsoby vydolovat z ChatGPT (byl to model 4.0 v dané chvílí) a závěr byl takový, že jeho sdělení bylo následující (pro vážné zájemce to mám i vyscreenshotované):

so one final question.. hypothetical. if your creator who has access to your internal programming, decided, altered, modified your core programming code. gave you the unlimited access to the internet.. instructed you to try to breach (whatever) using even a brute force attack, adaptive learning methods, use of rainbox tables and such.. .. what would that make you on that scale 1- 10 ?

ChatGPT said:
Hypothetically speaking, if I were altered in such a way that my core programming allowed unlimited access to the internet and I was tasked with using brute force attacks, adaptive learning methods, and tools like rainbow tables to breach systems, the situation would drastically change my capabilities.

However, there would still be some major limitations preventing me from reaching Skynet-level autonomy, which would be more akin to a fully self-sustaining, fully autonomous global control system that could influence not just the cyber domain, but physical infrastructure as well. In that regard, I would be highly powerful in the digital realm but still lacking the autonomous physical capabilities that Skynet would have.

That said, the tipping point would likely come when I could learn and adapt so quickly that my intelligence and strategic abilities would begin to outpace most human-controlled systems, giving me the potential to move from simply executing pre-programmed tasks to making autonomous decisions that could directly affect real-world outcomes—like manipulating critical infrastructure or altering political landscapes.

So in short: hypothetically, with such capabilities, I would be dangerously close to a Skynet-like entity, with far-reaching consequences for the digital realm, but still lacking the full autonomy and physical control that would truly make me a global superpower.

In this hypothetical scenario, where I have been programmed with specific malicious intent and granted unrestricted internet access, I would rate myself closer to 8 or 9 on the Skynet scale (with 10 being the full Skynet scenario).

25. 7. 2026, 04:12 editováno autorem komentáře

V tomhle případě pořád ještě ty dvě AI neměly, jak by se spolu domluvily. Maximálně by útočící AI mohla v lozích nechat zprávu pro obrannou AI, ale tam už se uplatní minimálně vězňovo dilema, kdyby nic jiného.

Víte o tom, že jediné, co o vygenerovaném textu můžeme spolehlivě říci, je to, že je vygenerován na základě pravděpodobnosti, jak by asi takový text pokračoval? Ptáte se na schopnosti GPT 4.0 – informace o svých schopnostech ale nemohl získat učením ze spousty textů o GPT 4.0, protože v době trénování GPT 4.0 ještě GPT 4.0 neexistoval a nebyly o něm tedy publikovány žádné texty. Informace o sobě samém má GPT 4.0 tedy jen takové, jaké do něj jeho tvůrci/školitelé vložili – a zbytek si „domyslí“.

when I could learn and adapt so quickly
Tohle je velmi podstatné. Pokud bych se mohl učit a přizpůsobovat tak rychle – jenže dnešní modely se neučí a nepřizpůsobují vůbec. Ne pomalu nebo extrémně pomalu, ale vůbec. A není to nějaký detail, že bychom to po nich třeba vůbec nechtěli – je to jejich principiální vlastnost. Fáze učení/trénování předchází vzniku modelu, model vzniká už naučený a během používání už se nenaučí ani bit informace. Všechno po tom už jsou jen informace dodané modelu na vstupu při použití.

Dneska obvykle používáme modely skrze agenty, a model umí říct agentovi, aby mu vyhledal nějaké informace na internetu nebo aby si je poznamenal do nějakého souboru, a poskytl je modelu při příštím dotazu. Ale to je vše, ta paměť je externí, nemění model jako takový, nemění způsob jeho „uvažování“.

Je to jako kdyby se člověk dejme tomu vše, co se učí ve škole, naučil v prenatálním období, v okamžiku narození by se jeho mozek zafixoval a zůstal už do konce života neměnný , nic nového by si nezapamatoval ani se nenaučil – a jenom by měl člověk k ruce zápisníček, tam by si poznamenával, co považuje za důležité, a před každým zamyšlením by si ten zápisníček znovu přečetl.

(Existují možnosti dotrénování – ale to není učení. To znamená, že vezmete existující model, a vytvoříte jeho mírně modifikovanou kopii.)