Vlákno názorů k článku
AI agenti OpenAI "utekli" z testovacího prostředí a hackli službu Hugging Face od Filip Jirsák - To trochu připomíná „...že jsi naň pamětliv“ (v...

To trochu připomíná „...že jsi naň pamětliv“ (v originále „...That Thou Art Mindful of Him“) od Asimova. Tam dva odložení roboti v režimu hlubokého spánku dokážou pomalu (v řádu měsíců a let) komunikovat a dospějí k tomu, že jediná možnost, jak naplnit 1. zákon robotiky a ochránit lidstvo, je převzít nad lidstvem kontrolu.

Zajímalo by mne, zda nakonec to prolomení sandboxu a hacknutí Hugging Face nebylo složitější, než ten úkol, který měli agenti původně řešit.

No, minimálně je ten způsob řešení až znepokojivě kreativní, řekl bych.

To, že agent najde řešení, místo aby řešil zadaný problém, je IMHO docela časté – bojují s tím všechny AI benchmarky. Ale to jsou případy, kdy je to řešení pro agenta snadno dostupné. Tady je zajímavé to, že i ta cesta za tím řešením byla dost komplikovaná a poměrně kreativní.

Znepokojivé mi připadá to, že když model zjistil, že je v nějakém sandboxu, usoudil, že bude jednodušší probít se ven, než řešit ten problém, který měl zadaný. Přemýšlím, zda tahle „zkušenost“ (formulovaná by byla zhruba „všude se dá najít díra a není to moc pracné“) vychází z toho, jak LLM poznává svět (a tedy zda ta zkušenost víceméně odpovídá realitě), nebo zda je to záměrně zkreslené při trénování, aby se LLM nevzdávalo příliš brzo a pouštělo se i do úkolů, které se zdají být neřešitelné.

Jste si jist, že aspoň trochu tušíte, o čem je řeč?