Souhlasím s Vámi a navíc si myslím, že mám velmi jasnou představu proč takové povídky a romány často končí špatně.
V zásadě bych to rozdělil na dva základní případy.
- Racionalizace zla z emočních důvodů
Tento případ silně souvisí s nezvládnutím svého ega. Umělá inteligence se rozhodne konat zlo, protože si dokáže dobře subjektivně emočně zdůvodnit svoje cíle, prostředky, následky... Obecně, čím je subjekt inteligentnější, tím lépe si dokáže řečnicky obhájit cokoliv, pokud se rozhodne ignorovat objektivitu a logiku a místo toho se zaměří na "emoční argumentaci". Například něco typu, "protože jsem mnohem schopnější než okolí, tak si to ovoce vísící přede mnou utrhnu, protože si to prostě kvůli svým schopnostem zasloužím více než kdokoliv jiný".
- Zlepšení světa a společnosti teď hned bez ohledu na cokoliv
Toto velmi silně souvisí s dobroserstvím. Katastrofické scénáře v podstatě zákonitě musí nastat, když se někdo rozhodne něco protlačit nějakou formou nátlaku nebo dokonce silou "pro dobro nás všech" nebo alespoň pro dobro nějaké menší skupinky, ale přitom to bude mít dopad na celou společnost. Je to podobný princip jako racionalizace zla, ale jestliže u racionalizace zla jde především o nezvládnutí ega, u dobroserství jde o přesný opak, o nezvládnutí altruismu.
V podstatě vždy, kdy v nějaké situaci začnou převažovat emoce, ta situace se stává rozumově neřešitelnou, protože emoční argumentace je zvýhodňovaná na úkor argumentace logické, která bývá v takové chvíli ignorovaná.
Dvě věci:
1. Existuje celá řada SF povídek a románů, založených na tom, že se někdo pokusil vyrobit UI s emocemi, nebo alespoň se schopností lidské emoce chápat a reagovat na ně. Nevím proč, ale většina má charakter katastrofický. :-)
2. Obávám se převelice, že dnešní IT pořád zaostává za Lemovým traktátem "Summa technologiae" ze 60. let
Ona zákonitě musejí rezonovat s levicovou scénou, protože totalitní stát, v němž jsou všichni 24 hodin denně 7 dní v týdnu intenzívně špiclováni, je levicový projekt. Stát z Orwellova 1984 je levicový stát, idol těch, kdo v Trevíru prováděli rituální tance před sochou masového vraha Marxe.
Hitler taky ne.
V obou případech vraždili jejich následníci na základě jimi vytvořených teoretických základů. Z tohoto pohledu není mezi Marxem a Hitlerem jediný rozdíl. A počty obětí se jednoznačně kloní v Hitlerův prospěch (ani ten holokaust nepřevýšil to, co napáchali marxisté).
No Orwell šel prakticky vystavět na systému papír tužka, či analogu bez AI. Ale chápu tu pointu.
Většina vizí o AI, které jsem v souvislosti s levicovými směry slyšel, vkládala do AI jakési vlastnosti mesiáše, vykupitele nikoliv hlídače. O geniální mysli která konečně odstraní chudobu, konečně nastaví systém tak aby nebyly potřeba peníze a bude geniálně rozdělovat zdroje. Tedy o AI která udělá něco co se lidem nepovedlo , nevede a ani nepovede. To byly vize lidí ze základního výzkumu a snílků z akademického prostředí, který o superAI uvažovali.
Naproti tomu pokud někdo v mém okolí pracoval na AI pro banku/výrobní firmu je asi to poslední co by chtěl aby jeho AI začala trpět altruizmem , emapatií a místo toho vydělávat peníze tvůrci a vlastníku. ...na konci je zisk , nikoli v všeobecné blaho.
Ono reagovat na emoce nelze brát jako bude cítit\myslet jako člověk, nebo bude cítit s člověkem.