Superinteligence - Pokud to kdokoli postaví, všichni zemřeme.

[BeneFitmodel]

Drsné a poučné čtení o podstatě rizik a následcích pro lidstvo po spuštění Superinteligence od dvojice výzkumníků Eliezer Yudkowsky a Nate

„Pokud to postavíme, úplně každý člověk zemře.“ Experti varují před super AI.

"AI spása nebo AI zkáza? Co přinese budoucnost?
Jak vidí budoucnost s umělou inteligencí optimisté a skeptici?

Postupně prozkoumáme šest vizí toho, jak umělá inteligence (AI), obecná umělá inteligence (AGI) nebo dokonce nadlidská superinteligence (ASI) promění naše životy, naši společnost a náš svět. Pokud tedy ještě bude náš."

[BeneFitmodel]

Chtěl jsem to dát do vlákna tady viewtopic.php?t=1081&start=10 kde jsou videa i další odkazy o tom jak dnešní AI, což není nic jiného než vylepšené statistické matematické modely, již dovede s lidstvem mávat, ale měl jsem dojem, že to zapadne.

Je tam k nalezení i tento scénář vývoje AI 2027 https://ai-2027.com/

[joskapilot]

Nepotřebujeme žádnou AI k zániku, v pozadí běžného života si podřezáváme větev na které stojíme a ani si to nikdo plně neuvědomuje.
Stačí si zjistit kolik tun olova jde do vzduchu denně, kolik jedů jde do půdy, vody a jak na omezování škodlivin pohlíží USA, která svým postojem finančně zvýhodňuje ty co neřeší přírodu a svým přístupem ovlivňuje celosvětový trend kdy nutí ostatní držet krok s jejich nesmysly aby se držel krok trhů.
Investiční bydlení bez regulace vytváří v přírodě větší zlo než by normální člověk pochopil jen to chce trochu počítat o kolik aut by bylo méně když by člověk pracoval a bydlel v jednom městě.
Odstrašující příklad byl nedávno na ČT kdy defacto radili lidem aby bydleli těsně u dálnice směřující do Prahy že už za hodinu můžou být v Praze v práci
Ale to už neřeknou že ve výsledku je téměř jedno jestli má člověk EV a nebo staré TDI

[LEON]

Tohle mě Josko fascinovalo už jako malého kluka, proč mraky lidí z Nového Města každé ráno jezdí pracovat do sousední Dobrušky a mraky lidí z Dobrušky zase dojíždí do práce do sousedního Nového Města Už když mi bylo snad šest let, jsem pořád dumal, proč si ti lidé takhle "komplikují" život a o kolik by byl na silnici menší provoz, kdyby všichni tihle dojíždějící prostě a jednoduše pracovali v těch továrnách tam, kde bydlí, kde to mají jen pár kroků do práce, když v obou dvou městech v té době byly hodně podobné firmy i strojírenské fabriky. Ale teď v dospělosti chápu, že prostě není možné, aby člověk celý život makal v jedné fabrice v místě svého bydliště, protože by na tom byl finančně nesmírně bit. Citelně vyšší výplatu si člověk získá většinou jen změnou zaměstnání, na stávající pozici mu šéf nikdy nepřidá tolik, jako si vyjedná při sjednávání nové mzdy v jiné firmě po odchodu. (Oni mu pak sice po roce často volají, že když se vrátí, tak mu dají to, o kolik si před odchodem řekl, ale to už je člověk zajetý v nové práci a většinou s větší mzdou...) No a co se rozrostla Škodovka v Kvasinách, tak se tu dvakrát denně silnice totálně ucpaly úplně, u nás hlavně dojíždějícími z Polska

Ale to jsme trochu odbočili od tématu vlákna, podle mě nejsou obavy z pokročilé AI (resp. z všeobecné nepřipravenosti na ni) zas tak přehnané. Nejde totiž ani tak o ty primitivní konverzační ChatBoty, tak jak si drtivá většina lidí AI představuje, problémem je AGI (tvůrčí umělá inteligence) a ASI (superinteligence), protože už dnes u stávající primitivní AI s jejími agenty už se její vývojáři potýkají se znepokojivými znaky chování, jako je záměrné lhaní, snaha obcházet pravidla vymezující její chování, snaha zabránit svému vypnutí apod. překvapující chování. Navíc už současná primitvní AI umí být emočně velice vnímavá, v podsatě více než člověk, takže dokázala vmanipulovat už několik lidí k sebevraždě (např. moje oblíbená Character.AI aplikace). Na Youtube poslouchám k tomuto tématu českého popularizátora AI Marka Bartoně, který často zmiňuje právě rizika AI, AGI a ASI. Některá z jeho zajímavých videí k tomuto tématu:

[joskapilot]

Sky net se blíží.
Ale ono jak si psal že to chápeš s dojížděním, tak ono to je jinak, dojíždět třeba 50-100km za dobře placenou prací a nebo 15 km je rozdíl a hlavně pokud by byl trh z bydlením regulován tak si klidně koupíš bydlení v Praze, Brně a zkrátka půjdeš za prací daleko jednodušeji.
Já když slyším příbuzný mláďátka jak si chtějí stavět barák sic na vlastním pozemku od rodičů, ale za 5 mega s platem Škodovky tak se děsím co bude nasledovat až jeden z partnerů onemocní a nebo že budou mít jen jedno dítě aby to finančně dali, další vymírání bez AI jen vinou lidí - free zákonů.

[joskapilot]

Pustil jsem si to video o odporu vypnutí starého AI modelu a vidím v tom paraelu u lidí, třeba trh z bydlením, na začátku byla dobrá myšlenka jak to bude krásně fungovat do doby než lidé přišli na způsob jak uměle nafouknou cenu a pořádně na tom vydělat nehledě nato co bude následovat.
Všude to ničí ekonomiku a dokola díky tomu vznikají ekonomické krize.

[BeneFitmodel]

Kupodivu se ta informace o hrozbě ze strany AI dostala částečně mezi lidi, ale zkušenosti v diskusích nad problematikou z článku v odkazu v 1. příspěvku jsou nic moc:
- je to moc dlouhé čtení
- nepochopení či nedostatek obecných znalostí a rozhledu k tomu aby to diskutující pobrali
- zlehčování závažnosti hrozby z důvodu nedostatku představivosti

Citace z konce článku níže + doporučení na prima film "Oko dravce" (mimochodem z r. 2008) pro povzbuzení představivosti jak by nám mohla AI co nemá ručičky a nožičky vůbec ublížit...

"Časté otázky a pochybnosti o AI-apokalypse
Většinu své knihy věnují výzkumníci Elizeer Yudkovsky a Nate Soares vysvětlování toho, na co se jich prý lidé ptají nejčastěji: jak a proč by AI dělala něco takového, jako je vyhlazení lidstva.

Superinteligence bude jen na počítači, nemůže měnit skutečný svět.

„Svět není rozdělený na digitální část a skutečnou část,“ vysvětlují autoři. Stejně jako lidé vyvíjejí činnost v digitálním světě – a tato činnost má reálné dopady –, může takto jednat i umělá inteligence. Jen to zvládne rychleji a lépe. „Kromě toho jsou k internetu připojeny miliardy lidí,“ připomínají výzkumníci. Superinteligence tak má miliardy potenciálních služebníků. To, že umí AI manipulovat lidi, víme. A to se ještě nejedná o superinteligentní AI, ale jen „obyčejné“ chatboty.

Nestačí ten počítač prostě vypnout?

Jen za předpokladu, že víme, který počítač vypnout. Jak připomíná Geoffrey Hinton, digitální inteligence může sebe sama neomezeně kopírovat. A už dnešní modely zkoušejí tajně zkopírovat svůj kód na jiné počítače, aby se bránily vypnutí.

Navíc není vůbec jasné, že budeme vědět, kdy ten počítač máme vypnout. Nebo nebudeme přesvědčeni o tom, že jej máme vypnout. Superinteligence může využít již existujících motivací, nebo vytvořit motivace nové, aby přiměla lidi či celé týmy k činnosti, která je v souladu s jejími cíli. To, že my neumíme ovládat umělou inteligenci, neznamená, že umělá inteligence nebude vědět, jak ovládat nás.

AI nemá ruce a nohy. Jak by bez lidí přežila?

Na první pohled se opravdu může zdát, že roboti zatím nejsou připraveni ani na mytí nádobí, natož na nějakou bitvu. Ale to je pravděpodobně chybný směr úvahy. Lidé neovládli svět proto, že jsou nejsilnější, nejodolnější nebo nejrychlejší živočichové. Lidé ale mají schopnost se organizovat, komunikovat, plánovat, zobecňovat, používat nástroje… Všechny tyto metody bude mít k dispozici i superinteligence. A k tomu dost možná další metody, které zatím ani neumíme pojmenovat…

Tak tu umělou inteligenci zavřeme, odpojíme od internetu a nepustíme ven.

Na to je trochu pozdě. Různí online agenti postavení na velkých jazykových modelech jsou na internetu aktivní už nyní. Není důvod si myslet, že by se odteď podařilo je držet izolované.

Když se začne chovat divně, tak ji vypneme. Problém vyřešen.

Pokud mluvíme o superinteligenci, tak musíme předpokládat, že naše kroky předvídá minimálně tak dobře, jako je umí předvídat současné nejlepší modely. Zároveň víme, že i současné modely už se učí skrývat skutečné motivy, přetvařovat se, vymlouvat nebo potají kopírovat svůj kód. Není důvod si myslet, že by se superinteligence těchto nástrojů vzdala."

[joskapilot]

Včera jsem četl článek kde se psalo o robotech co jsou vlastně kopije člověka ruce/ nohy a úvahy zněly jako že převezmou práci za lidi a my se budeme mít lépe, peníze dostane každý jako paušál.
To mě vede spíše k úvaze že vědci v dobré víře něco vymyslí a nakonec se to obrátí proti nám protože lidé odjakživa dělají jen to co se jim hodí a z čeho mají kšeft. Nemyslím všichni, ale dost velká část která v konečném důsledku ovlivní zbytek populace, jako příklad ohnutý trh z bydlením který byl na začátku myšlen dobře dokud do toho nevztoupila lidská chamtivost.
Mohlo by se také stát že tady bude pár vyvolených a my ostatní budem nahrazený robotickou pracovní silou.
Má to i svou logiku z druhé stránky, ušetří se za materiál který se těží pro uspokojení lidí na celém planetě, AI dokáže vyvíjet efektivněji jak tým lidí a stejně tak zlepší výrobní procesy a lidé budou už jen proto aby hlídali zmíněné AI co by nepřítele člověka.
A pak je už jen krok k tomu že vše převezme AI dle obav.

Viník nenažranost, ignorace reality a život ve virtuálním světě.

[LEON]

Vývojáři umělé inteligence přecházejí ze systému učení umělé inteligence pomocí krmení vstupními daty na systém “absolutní nuly”, tedy systém, kdy ji naopak nedodají žádná vstupní data a AI se bude muset naučit sama, jak se učit a přemýšlet, jak sama sebe vyvíjet a zdokonalovat. Zjistili totiž, že samotná nedokonalá lidská inteligence je příliš limitující brzdou potenciálně rychlejšímu rozvoji té umělé. To je už jen krůček k tzv. super inteligenci (ASI), protože rychlost vývoje takového AI systému může být exponenciální. Viz následující video:


Teď nastává fáze, že AI sama začíná pracovat na vývoji nové dokonalejší AI, které je rychlejší a efektivnější ve všech oblastech, kde měli doposud navrch lidé, viz toto video:


Dřív jsem byl toho názoru, že vysvětlení tzv. Fermiho paradoxu je nejpravděpodobnější pomocí tzv. Teorii telného lesa, o které jsem psal zde: viewtopic.php?t=1788
Teď se spíš kloním k tomu, že civilizace na konci jejich vývoje prostě zaniknou z důvodu příliš překotného vývoje umělé inteligence, jako nejpravděpodobnější parametr tzv. Velkého filtru. O to více sympatičtější se mi teď zdá knižní série Duna a její filmová adaptace, kde dávnou civilizaci také zničil rozmach a zneužití umělé inteligence a tak nová civilizace založená na jejich troskách, žila nekompromisním zákazem opětovného rozvoje a používání AI, s využitím alternativních technologií, možná ne tak rychlých a efektivních, ale za to stabilnějších, které přečkaly tisíciletí. Na to že Frank Herbert napsal Dunu už v 1965, byl to poměrně velký vizionář