Roko baziliszkja

Óvatosan, helyesen
Kevésbé rossz
Ikon lesswrong.svg
A szingularitás blues
Az általam ismert legokosabb emberek, akik személyesen dolgoznak az AI-n, azt gondolják, hogy a nem AI-n dolgozó emberek elijesztése őrültség.
- Marc Andreessen
Ez olyan, mint a A játék , amitől csak elveszítettél minket, én pedig retweeteltem, így minden barátom is elvesztett.
- Jay Rishel
Bárcsak soha nem tanultam volna ezekről az ötletekről.
- Rocco.

Roko baziliszkja egy gondolatkísérlet a kialakulásával járó lehetséges kockázatokról mesterséges intelligencia . Az előfeltevés az, hogy a jövőből származó mindenható mesterséges intelligencia visszamenőlegesen megbüntetheti azokat, akik nem segítettek annak létrejöttében, beleértve azokat is, akik csupán tudtak egy ilyen lény lehetséges fejlődéséről. Nevét a racionalista közösség Kevésbé rossz aki először nyilvánosan leírta, bár nem ő, vagy a mögöttes ötletek születtek.


A baziliszkusz hasonlít a futurista változata Pascal fogadása , mivel azt javasolja az embereknek, hogy mérlegeljék a lehetséges büntetést a jutalommal szemben, és ennek eredményeként fogadjanak el különösebbet szinguláris ötleteket, vagy anyagilag támogassa fejlesztésüket.

A széleskörű hitetlenség ellenére ezt az érvelést egyesek, elsősorban a LessWrong egyes tagjai, elég komolyan veszik. Miközben sem a LessWrong, sem pedig az alapítója Eliezer Yudkowsky a basiliskot igaznak támogatják, őkcsináldtámogassa szinte az összes hozzá tartozó helyiséget.


A Roko feltett megoldása erre a veszekedésre az, hogy lottószelvényt vásárol, mert Ön nyernéhánykvantumág.

Tartalom

Összegzés

Ha egy dologra következtethetünk a jövőbeni szuperintelligenciák motívumaival kapcsolatban, akkor az az, hogy olyan embereket szimulálnak, akik a Roko baziliszkjáról beszélnek, és egy örökkévalóságig elítélik őket a Roko baziliszkuszáról szóló fórumbejegyzésekre.
—Eliezer Yudkowsky, 2014

A baziliszkusz

Roko baziliszkája egy sor másik, egyáltalán nem robusztus javaslaton áll.

A legfontosabb állítás az, hogy egy hipotetikus, de elkerülhetetlen, egyedülálló végső szuperintelligencia lehet megbüntetni akik nem segítenek vagy segítenek létrehozni .



Miért tenné ezt? Mert - az elmélet szerint - egyik célja a megelőzés lenne egzisztenciális kockázat - de ezt a leghatékonyabban megteheti nemcsak az egzisztenciális kockázat megelőzésével a jelenben, hanem azzal is, hogy „visszanyúl” a múltjába, hogy megbüntesse azokat az embereket, akik nem voltak MIRI-stílusúak. hatékony altruisták .


Így ez nem feltétlenül egyenesen „szolgálja az AI-t, különben a pokolba kerül” - az AI-nek és a megbüntetett személynek nincs oksági kölcsönhatása, és a megbüntetett egyén évtizedekkel vagy évszázadokkal korábban meghalt. Ehelyett az AI megbüntetheti a szimuláció személy által, amelyet az építtet levonás az első elvektől. Ennek pontos elvégzéséhez azonban hihetetlen mennyiségű adat összegyűjtésére lenne szükség, amelyek már nem léteznének, és visszaállítás nélkül nem lehetne rekonstruálni entrópia .

Technikailag a büntetést csak azokra alkalmazzák, akik előre tudták a feladat fontosságát, de nem segítettek kellőképpen. Ebben a tekintetben pusztántudva arróla baziliszkusz -például., olvassa el ezt a cikket - megnyitja a hipotetikus szuperintelligencia hipotetikus büntetését.


Ne feledje, hogy az AI ebben a beállításban (a haszonelvű ennek az elméletnek a logikája) nem rosszindulatú vagy gonosz szuperintelligencia (AM, HAL, SHODAN, Ultron, a Master Control Program, SkyNet, GLaDOS) -, hanem az a Barátságos, amelyet akkor kapunk, ha minden jól megy, és az emberek nem hoznak létre rosszat. Ez azért van, mert minden nap az AI nem létezik, az emberek meghalnak, hogy megmenthette volna; tehát megbüntetni Önt vagy a jövőbeni szimulációját aerkölcsi imperatívum, hogy nagyobb valószínűséggel hozzájáruljon a jelenhez, és segítsen annak mielőbbi megvalósításában.

Ennek a cikknek nagyon sok része értelmesebb, ha a „mesterséges intelligencia” szavakat mentálisan lecseréli az „Isten” szóra, az „acausális kereskedelem” pedig az „imádságra”.

A LessWrong reakció

A helyi buta túlzott extrapolációi mémek , szakmai nyelv és a fogalmakat elég sokat postázták a LessWrong-ra; szinte mindegyiket csak leszavazzák és figyelmen kívül hagyják. De érteezegy, Eliezer Yudkowsky , az oldal alapítója és pátriárkája hatalmasan reagált rá. A baziliszkot hivatalosan több mint öt évig tiltották a LessWrong-ról folytatott beszélgetésekből, időnként utalásokkal (és némi megbeszéléssel a médiavisszhangra), amíg a külső ismeretek elsöprővé nem váltak.

Köszönhetően a Streisand-effektus , a baziliszkusz és az ügy részleteinek megbeszélése hamarosan elterjedt a LessWrongon kívül. Valóban, ma már a LessWrongon kívül gyakran tárgyalják, szinte bárhol, ahol a LessWrongról egyáltalán szó esik. Az egész ügy a közösségi irányítás és az állítólag veszélyes információk ellenőrzése terén mutatott látványos kudarc bevált példája.


Néhány ember ismeri a LessWrong-ot memeplex komolyan szenvedtek pszichológiai szorongás a baziliszkusz ötletek átgondolása után - még akkor is, ha intellektuálisan meglehetősen biztosak abban, hogy ez buta probléma. Néhány LessWrong poszter eléggé komolyan veszi a gondolatot, hogy megpróbálják kitalálni, hogyan töröljék el a bizonyítékokat magukról, hogy a jövőbeni AI ne tudja rekonstruálni a másolatukat kínzásra.

Yudkowsky nem tartja bizonyíthatóan biztonságosnak az „ok-okozati kereskedelem” fogalmának nyílt megvitatását a lehetséges szuperintelligenciákkal, de nem gondolja, hogy a baziliszkusz működne:

... egy barátságos mesterséges intelligencia, amely olyan embereket kínoz, akik nem segítettek annak létezésében, valószínűsége ~ 0, és soha nem mondtam mást. Ha ez egy olyan dolog volt, amire számítottam valamilyen sajátos kialakítással, ami soha nem volt, akkor csak egy másik AI-t építenék --- milyen szörnyet vagy idiótát vesznek el az emberek? Ezenkívül a Newcomblike döntéselméletek, amelyek az egyik legfontosabb újításom, azt mondják, hogy a racionális ügynökök figyelmen kívül hagyják a zsarolás (és a meta-zsarolás stb.) Fenyegetéseit.

Roko posztjának eltávolítását „hatalmas hibának” is nevezte.

Elnevezés

Jimrandomh, a LessWrong felhasználó megjegyezte az eredeti bejegyzéshez fűzött kommentben, hogy az ötlet hasonlóságot mutat a „Lang Basilisk” képpel David Langford sci-fi történetéből. BLIT , amelyet viszont az európai legendás kígyólényről neveztek el mitológia hogy megölte azokat, akik látták (szintén ismerősek Harry Potter regények). A következő hónapokban általában „Tiltott Postának” nevezték. A cousin_it felhasználó 2011 elején hívta először „Roko baziliszkjának”, bár ez a név csak 2012 végén kezdett felkapaszkodni a Google-ban.

Háttér

Bár nem mondanak le magáról a baziliszkuszról, a LessWrong hosszú távú főtársai hisznek egy bizonyos transzhumanista olyan elképzelések, amelyekre előfeltételei vannak, és amelyekre a Yudkowsky által írt LessWrong Sequences-ben kerül sor.

„Barátságos” mesterséges szuperintelligencia

Olyan mesterséges intelligenciát fejlesztenek ki, amely mérhetetlen erővel és tudással fogja feltölteni magát. Végül elpusztíthatja az emberiséget - nem feltétlenül rosszindulatból, hanem csak mellékhatásként, ha bármi mást csinál.

Annak érdekében, hogy ne akaratlanul tönkretegye az emberiséget, olyan értékrendre van szüksége, amely teljesen megőrzi az emberi értékötleteket, annak ellenére, hogy az említett intelligencia ugyanolyan felettünk, mint mi a hangyák felett leszünk. Vagyis az AI-nek bizonyíthatóan kell lennieBarátságos. Ez egy Yudkowsky-féle neologizmus, amely „megőrzi az emberi értéket, bármi is legyen”.

A „barátságos” itt nem azt jelenti, hogy „a barátod”, vagy „segítőkész”, vagy „növeli az emberi boldogságot”, vagy „engedelmeskedik a parancsoknak” - ez csak azt jelenti, hogy „megőrzi az emberi értékképeket”. A „barátságtalan” ebben az összefüggésben nem azt jelenti, hogy „ellenséges”, hanem csupán „nem bizonyítottan barátságos”. Ide tartoznak azok az AI-k, amelyek nem törődnek az emberekkel, vagy amelyek rosszul tévesztik az emberi értéket (ez utóbbiak könnyen előbbihez vezethetnek, Yudkowsky szerint).

A barátságos mesterséges intelligencia elkészítésének terve az volt, hogy megvalósítsa a koherens extrapolált akaratot (CEV), egy (hipotetikus) koherens és teljes leírást arról, hogy mi jelentene értéket az emberek számára - alapvetően etikai filozófia . (Yudkowsky ezt „2004-től elavultnak” minősítette, de a CEV még mindig élő vitában folytatta a barátságos mesterséges intelligencia tervét 2010-ben.) Roko motivációjának része volt a baziliszkusz posztján, hogy rámutasson a CEV javaslatának lehetséges hibájára. .

A LessWrong anyaszervezete, a Gépi Intelligencia Kutató Intézet (korábban a Szingularitás Intézet, előtte a Mesterséges Intelligencia Szingularitás Intézete) létezik azért, hogy ez a barátságos helyi legyen Isten történnek, mielőtt egy rossz helyi isten megtörténne. És így,a legfontosabb dolog a világonaz, hogy ezt a jövőbeni mesterséges intelligenciát megfelelően és sikeresen életbe hozzuk („ez az egész emberfaj számára rendkívüli idő”), és ezért minden pénzt meg kell adnod az Intézetnek, aki szó szerint nyolc megmentett életet követelt adományozott dolláronként .

Haszonelvűség

A LessWrong elfogadja a számtant haszonelvűség mint igaz: hogy értelmesen kiszámíthatja a műveletek hasznosságát számként, ugyanúgy, mintha az emberek hasznosság-maximalizáló gépek lennének, és hasznos eredményekkel aritmetikát végezhet több ember között. Ezután „elhallgat, és megszorozhatja” a teljesen elhanyagolható valószínűségeket hipotetikus hatalmas kimenetelekkel, és komolyan kell vennie az így kapott számot - Yudkowsky hosszasan ír egy forgatókönyvről, amelyben 50 évig kell megkínoznia egy embert, ha az megakadályozná a porfoltokat a szemében kellően nagyszámú ember - ez azt eredményezi, hogy adományozott dolláronként nyolc ember életét mentik meg (egy ilyen számítás alapján benyújtott követelés).

Ez nem általános filozófiai utilitarizmus, és gyakran ütközik az emberek erkölcsi megérzéseivel - az olvasók többségével Azok, akik elsétálnak Omelastól (amelyben egy utópisztikus várost egy gyermek kínzása tart fenn) akkor nem tartotta Omelast a kívánt utópiájának. Amint David Auerbach megjegyeztePala, 'Kevésbé aggódom a Roko baziliszkáért, mint azokért az emberekért, akik azt hiszik, hogy túlléptek a konvencionális erkölcsön.'

A valós mesterséges intelligencia fejlesztése általában alkalmazható minimumx - minimalizálja a maximális veszteséget a legrosszabb esetekben, amely nagyon eltérő eredményeket ad az egyszerű számtani hasznosság-maximalizálástól, és nem valószínű, hogy kínzásokhoz vezetne helyes válaszként - vagy hasonló bonyolultabb algoritmusokként.

Szimulációi te is te vagy

A LessWrong úgy véli, hogy az emberi elme teljes egészében a fizikai anyag információmintáiként valósul meg, és hogy ezek a minták elvileg másutt is futtathatók, és olyan személyt alkothatnak, aki úgy érzi, hogy te vagy, mint egy számítógépes program futtatása az összes adatával egy különböző PC; ezt értelmes fogalomnak és fizikailag is lehetségesnek tartják.

Ez nem különösebben furcsa (a koncepció a következőkből következik: materializmus bár a megvalósíthatóság egy másik kérdés), Yudkowsky azonban úgy véli, hogy éreznie kell, hogy egy másik példánya nem olyan különálló személy, mint te - azonnali iker, de azonnal eltér egymástól -,tulajdonképpen ugyanaz, mivel egyetlen konkrét eset sem különböztethető meg az „eredeti” példányként. Úgy kell viselkednie és éreznie ezt a példányt, mint saját kedvenc énjével kapcsolatban, azzal a dologgal, amely intuitív módon kielégíti az „ön” fogalmát. Az egyik példány egy számítás, egy folyamat, amely „te” -t hajt végre, nem pedig olyan objektum, amely tartalmazza az egyetlen „igaz” téged.

Ez az identitásfelfogás úgy tűnik, hogy az extropiánusok levelezőlistáján jött létre, amelyet Yudkowsky az 1990-es években gyakran látogatott az identitás folytonosságának megbeszélésekor egy olyan világban, ahol az elmék megkettőződhettek.

Hasznos lehet ezt a nézetet tartani elvileg önkényes választásnak az ilyen helyzetekben - de ez egy olyan választás, amely más lényeknek adna hatalmat, hogy jelentős hatalmat hozzanak létre önök felett. Úgy tűnik, hogy a baziliszkusz ötlet által hátrányosan érintettek közül sokan tartják ezt az identitásfelfogást.

Ha azonban valaki nem tartja ezt a véleményt, akkor a Roko-féle baziliszkusz egész premisszája értelmetlenné válik, mivel nem érzi a szimulált ön kínzását, így a büntetés irrelevánssá válik, és a hipotetikus baziliszkusz nem ösztönzi a kínzást.

Sok kvantumvilág

Yudkowsky úgy véli sok világ a kvantummechanika triviálisan nyilvánvalónak való értelmezése, és bármi megtörténhet, megtörténik valamilyen kvantum Everett-ágban ( modális realizmus igaz).

Yudkowsky szerint az identitás folytonosságáról az ezekben az ágakban található másolatok léteznek (éslennite) - annak ellenére, hogy nem léphet velük kapcsolatba.

Időtlen döntéselmélet

Ban ben Newcomb paradoxona , az Omega nevű lény szinte tökéletesen meg tudja jósolni cselekedeteit. Két dobozt ad: egy átlátszót, amely 1000 dollárt tartalmaz, és egy átlátszatlant, amely 1 millió dollárt tartalmaz ... vagy semmit. Elviheti mindkét mezőt, vagy csak az átlátszatlan mezőt. 1 millió dollárt tett az átlátszatlan dobozba, és csak akkor, ha azt jósolta, hogy beveszcsakaz átlátszatlan doboz - ha mindkettőt elveszi, csak az 1000 dollárt kapja. Legfilozófikusabb döntési elméletek mondjuk, hogy mindkét mezőt vegye be, ezzel kudarcot vallva ezzel a meglehetősen kitalált forgatókönyvvel.

Ezt a szuperintelligens mesterséges intelligencia összefüggésében megfontolandó ésszerű problémának tekintik, mivel egy intelligens számítógépes program természetesen másolható volt, és nem tudta, hogy valójában melyik másolat volt és mikor. Az emberek számára a szuperintelligencia jóslata az emberi viselkedésről szinte tökéletes lehet, ereje közel végtelen lehet, és a következmények örökösek lehetnek.

Yudkowsky megoldása a Newcomb-szerű paradoxonokra az Időtlen döntéselmélet (TDT). Az ügynök határozottan elkötelezi magát a cselekvési tervek iránt, olyan mértékben, hogy annak bármilyen hű szimulációja is elköteleződjön az elkötelezettség szerint. (Sokkal több van, de ez itt a fontos előfeltétel.) A TDT szorosan kapcsolódik Douglas Hofstadter szuperacionalitás . A TDT célja egy olyan rendszer kiépítése, amely olyan döntéseket hoz, amelyeket soha nem bánhatott meg semmilyen korábbi vagy jövőbeli esetben.

A TDT cikk nem mutatja be a TDT kidolgozott változatát - az elmélet még nem létezik. („Késleltetem az időtlen döntési algoritmus hivatalos bemutatását néhány fontos további lépés miatt, amelyet hozzá szeretnék adni.”) A cikk 120 oldalas, hogy hipotetikusan hogyan lehet a TDT-ből dolgot csinálni, ha valaki megoldaná.

Okauzális kereskedelem

Ha hihetően megjósolhatja, hogy pontosan szimulálják, akkor ez a lehetőség befolyásolja a jelenlegi viselkedését - és a szimuláció viselkedését, amiisennek előrejelzése ugyanúgy (mivel Ön és a pontos szimuláció viselkedésében gyakorlatilag azonos).

Így „kereskedni” lehet egy lénnyel, ha ésszerűen szimulálni tudnaegymás. (Vagyis, ha el tudna képzelni egy lényt, aki elképzel téged, olyan pontosan, hogy az a szimulált lény újabb példányának számít.) Vegyük fontolóra a hasonlóságot ima , vagy amikor a teisták arról beszélnek, hogy „üzletet kötnek Istennel”.

Sok LessWrong törzsvendég rajongója annak a fajta mangának és animének, amelyben a szereplők aprólékosan kidolgozzák egymás „tudom, hogy tudod, hogy tudom”, majd viselkednek úgy, hogy kölcsönhatásba lépjenek egymás szimulációival, beleértve az egymás szimulációját is. egyéb - Fény kontra L inHalállistajól ismert példa - amely ésszerű ötletnek tűnhet az ok-okozati kereskedelemről.

Általánosságban elmondhatjuk, hogy a narratív elméleti szakemberek azt sugallják, hogy az olvasó milyen kapcsolatokat ápol egy fikció szerzőjével és kitalált szereplőivel az evolúciós játékelmélet segítségével egyfajta „nem okozati alkudozásként” elemezhető, amely lehetővé tette az emberek számára a fogoly megoldását dilemma az együttműködés fejlődésében.

Megoldások az altruista terhére: a kvantum milliárdos trükk

Memetikus veszély figyelmeztetés.png

Stuart Armstrong 2010. februári bejegyzése, „Az AI egy dobozban dobozol be téged” bevezette a „te lehetsz a szimuláció” érvet (bár Roko ezt nem használja); egy 2010. márciusi Armstrong-bejegyzés bevezeti az „akausális zsarolás” fogalmát, mint a TDT implikációját, amint azt Yudkowsky leírta a SIAI döntéselméleti műhelyén. 2010 júliusáig a baziliszkuszhoz hasonló dolog aktív belső megbeszélést folytatott a SIAI-ban. Lehetséges, hogy a baziliszk származik abból, ha valaki játszik AI-box kísérlet ; az egyik „AI” stratégia az, hogy egy baziliszket dobunk a „kapuőrre”.

Július 22-én az akkor jól elismert és termékeny LessWrong plakát Roko közzétette a „Nyilvános választás és az altruista teher” című cikket - amelyet erősen megterheltek az LW szaknyelvével és az LW fogalmaira való hivatkozásokkal, és az alkalmi olvasó számára szinte érthetetlen - amely arról beszélt, hogyan, mivel a MIRI (akkor SIAI) aa legfontosabb dolog a világon, egy jó altruista legnagyobb problémája az, hogyan lehet mindent megadni az ügynek, bűntudat nélkül, ha elhanyagolják szeretteiket, és hogy a SIAI néhány adományozója számára tényleges problémát jelentett-e az a fenyegetés, hogy a pár túl sok pénzének eladásával eldobják őket.

Másnap, július 23-án Roko közzétette a „Megoldások az altruista teherre: a kvantum milliárdos trükk” című cikket, amely bemutatja a kvantum befektetési stratégiát összekötő cselekvési rendszert (ha szerencsejátékkal jár, akkor biztosan nyer valamelyik Everett-fióktelepben). kereskedelem barátságtalan AI-kkal más Everett-ágakban ... és a jó szándékú jövőbeni szuperintelligenciák által fenyegetett büntetés.

A bejegyzés spekulációkat ír le arról, hogy egy jövőbeli barátságos mesterséges intelligencia - nem barátságtalan, hanem a koherens extrapolált önkéntesség, amelyet a szervezet létrehozhat - büntetheti azokat az embereket, akik nem tettek meg mindent annak érdekében, hogy elősegítsék ezen mesterséges intelligencia létrehozását. Minden nap a barátságos mesterséges intelligencia nélkül rossz dolgok történnek - 150 000+ ember hal meg naponta, háborút vívnak, milliók éheznek -, így a mesterséges intelligenciára az utilitáris etika előírhatja, hogy megbüntesse azokat, akik megértették az adományozás fontosságát, de nem adományoztak mindent. ők tudnák. Konkrétan, szimulációkat készíthet róluk, először a viselkedésük előrejelzésére, majd a szimuláció megbüntetésére az előre jelzett viselkedésért, az eredeti személy befolyásolása érdekében. Aztán arra gondolt, vajon a jövőbeli mesterséges intelligenciák nagyobb valószínűséggel büntetik-e azokat, akik arra gondoltak, hogy a jövőbeli mesterséges intelligenciák megbüntetik-e őket. Megjegyzéseiben megjegyzi, hogy ennek az oknak tartja, hogy „a jelenlegi javasolt FAI-tartalmat CEV-re változtassa, olyasmire, amely nem használhat negatív ösztönzőket az x-kockázat csökkentőire”.

Az alapgondolatot a következő bekezdés fejezi ki:

... fennáll az a vészjósló lehetőség, hogy ha pozitív szingularitás lép fel, akkor az eredő szingulett lehet, hogy elköveti, hogy megbüntesse az összes potenciális adományozót, aki tudott az egzisztenciális kockázatokról, de a rendelkezésre álló jövedelmének 100% -át nem adta x kockázatnak. ... Tehát a poszt-szingularitás világa szórakozás és rengeteg világ lehet azok számára, akik jelenleg figyelmen kívül hagyják a problémát, miközben megélnek pokol a jelenlegi egzisztenciális kockázatcsökkentők jelentős hányadára (mondjuk a legkevésbé nagylelkű fele). Figyelembe veheti ezt a lehetőséget, és még többet adhat az x-risknek a büntetés elkerülése érdekében. De természetesen, ha így gondolkodsz, akkor a CEV-szingulett még valószínűbb, hogy meg akar büntetni ... csúnya. Természetesen ez igazságtalan lenne, de ez az a fajta igazságtalan dolog, ami igen-nagyon-nagyon haszonelvű .

Így az adományozók, akik adakoznak, de nem adakoznakeléglehet, hogy elítélik magukat a Pokol számára. Roko megjegyzi a bejegyzésben, hogy legalább egy Szingularitás Intézet személye voltmáraggódott e forgatókönyv miatt, egészen rémálmokig, bár konvencióvá vált Roko hibáztatása az ötletért - és ekkor a SIAI-nál internált.

A Roko olyan megoldást javasol, amely lehetővé teszi az ilyen adományozók számára, hogy lottószelvény árán meneküljenek el a pokol elől: ha lottószelvényt vásárol, van olyan eset, hogy valamelyik Everett-fiókban megnyeri a lottót. Ha határozott kötelezettségvállalással vásárolta meg a jegyét, hogy az összes nyereményt AI-kutatásra ajánlja fel, akkor ez számít az ok-okozati alku teljesítésének. Roko a megjegyzésekben azt kérdezte tőle, hogy valóban ezt teszi-e, és biztosan válaszolt.

A Roko hozzászólásának hozzászólói azt panaszolták, hogy pusztán Roko szavainak elolvasása növelte annak valószínűségét, hogy a jövőbeli AI megbüntesse őket - az érvelés annyira meggyőző volt számukra, hogy úgy gondolták, hogy az AI (amely tudná, hogy egyszer elolvasta Roko bejegyzését) most megbüntetni őketmég többamiért tudatában van annak, és nem tudja teljes jövedelmét felajánlani az isten-AI fejlődésének szentelt intézményeknek. Tehát még ennek az ötletnek a megtekintése is káros volt.

Yudkowsky azonnal megütötte a tetőt. Négy órán belül Roko bejegyzését és minden beszélgetését egy an törölterendkívüldühös Yudkowsky, ezzel a megjegyzéssel:

A bejegyzés eredeti változata tényleges pszichológiai károkat okozott legalább néhány olvasónak. Ez önmagában elegendő lenne a leállításhoz, még akkor is, ha minden megvitatott kérdés nem igaz, ami remélhetőleg így is van.

Kérjük, állítsa le a betiltott téma további tárgyalását.

A tiltott témával kapcsolatos összes megjegyzést tiltjuk.

Gyakoroljon néhány elemi józan észet a jövőbeli beszélgetések során. Elegendő idő, erőfeszítés, tudás és butaság mellettvanlehetséges bántani az embereket. Ne.

Ahogy az SL4-en mondani szoktuk: KILLTHREAD.

Utóhatás

NE BLINK!
Az eredeti „baziliszk” magában foglalta egy poszt-szingularitás AI elképzelését a világunk jövőjében, amely a szingularitás után transzhumán pokolba küld, ha nem teszel meg mindent, amit a múltban (azaz a jelenünkben) tehetsz annak érdekében, hogy barátságos szingularitás. Ahelyett, hogy nyíltan és racionálisan megvitatnák, hogy ez egyáltalán értelmes „fenyegetés”, vagy csak illúzió, az egész témát sietősen elrejtették. Így született egy legenda.
- Mitchell Porter a LessWrong-on

A fogalom minden vitája az volt cenzúrázott a LessWrong-ból, törölt megjegyzések húrjaival. Ez bevált és bárki, akinek ismerete van az Internetben .

Az egyik csalódott poszter fenyegetéssel tiltakozott az ötlet cenzúrája ellennöveli az egzisztenciális kockázatot- dolgokat tenni azért, hogy legyen néhány világ vége a katasztrófa enyhén valószínűbb - e-mailek küldésével a jobboldali bloggereknek, amelyek szerintük nagyobb valószínűséggel vezethetnek át valamilyen káros szabályozást. A poszter azt mondta, hogy ezt minden alkalommal megteszik, amikor meglátják, hogy egy bejegyzést cenzúráznak. A LessWrong komolyan vette ezt a fenyegetést, bár Yudkowsky nem engedett.

Roko maga hagyta el az oldalt a bejegyzés törlése és Yudkowsky feljavítása után, törölve az összes bejegyzését és megjegyzését. Néhány hónappal később elhaladva tért vissza, de sajnálatát fejezte ki amiatt, hogy valaha megismerte az összes LessWrong ötletet, amely a baziliszkusz ötlethez vezetett (és azóta megkísérelte a LessWrong ötleteket teljesen hátrahagyni):

Továbbá hozzátenném, hogy bárcsak soha nem tanultam volna ezekről az ötletekről. Valójában azt kívánom, bárcsak soha nem találkoztam volna az internetes kezdeti linkkel, amely miatt a transzhumanizmusra és ezáltal a szingularitásra gondoltam; Nagyon kívánom, hogy az elmém még soha ne találkozzon olyan eszközökkel, amelyek ilyen kis mértékű figyelmetlenséggel, óvatlansággal és / vagy ostobasággal okoznának ekkora potenciális önkárosítást, még akkor is, ha mindezt kis valószínűséggel előszeretettel alkalmazzák. (nem túl kicsi, ne feledje. Inkább itt írjon 1/500 típusú számot)

Ezután a kérdés eltorzult LW-bejegyzések alkalmanként vált témává, amikor az emberek titokban megpróbálták megvitatni a kérdést anélkül, hogy arról beszéltek volna, amiről beszéltek. A moderátorok alkalmanként végigpásztázták a LessWrong-ot, eltávolítva a bazilisk-beszélgetést, és a „komment törölt” jelzéssel teli oldalakat hagyták ott, ahol megpróbálták elégesse a bizonyítékokat . A cenzúrázott beszélgetések általában tele voltak a baziliszkusz ellenérveivel. Így ez komoly aggodalmakra adott okot a baziliszkusz miattcsökkenthozzáférés a fogalmat cáfoló érvekhez.

A baziliszk megbízható helykitöltővé vált az újságírók számára, amelyek kevésbé rosszul kapcsolatos történeteket ismertettek,például.amikor még 2012-ben a LessWrong racionalisták még mindig féltek attól, hogy hangosan beszéljenek róla. A bejegyzés alja , a hírekről, különösen vidám, mint a bizonyítékok elégetésének emléke. Összehasonlítás az eredetivel (törölt rész a RomeoStevens megjegyzésétől kezdődően).

Végül két és fél évvel az eredeti bejegyzés után Yudkowsky egy hivatalos LessWrong cenzúrázatlan szál a Reddit-en, ahol végül részt vett a baziliszkusszal kapcsolatos vitában. A hamis neologizmus szokását folytatva megpróbálta bevezetni a saját, érzelmileg feltöltött terminológiáját valamire, amelynek már elfogadott neve volt, és a baziliszket 'Babyfucker' -nek nevezte. Eközben fő érvelési taktikája az volt, hogy többször állította, hogy ellenfelei érvei hibásak, ugyanakkor nem volt hajlandó érveket állítani állításai mellett ( egy újabb visszatérő Yudkowsky-minta ), állítólag az egzisztenciális kockázattól való félelem miatt.

Bár már nem áll kapcsolatban a MIRI-vel, 2013-ban Michael Anissimov, a szervezet korábbi érdekvédelmi igazgatója elmondta munkatársainak neoreakcionáriusok hogy 'Az emberek ostobák, hogy nem veszik komolyan a baziliszkusz ötletet.'

2014 áprilisában a MIRI felkérést küldött a LessWrong kommentelők gondolkodására ijesztő forgatókönyvek a mesterséges intelligencia világszerte való elfoglalásáról , marketing célokra.

Végül, 2015 októberében a LessWrong feloldotta a baziliszkusz megvitatásának tilalmát, és felállított egy hivatalos LessWrong Wiki oldalt, amely megvitatta.

A 2016-os LessWrong Diaspora Survey megkérdezte:

Érzett már bármiféle szorongást a Bazilisk miatt?

Igen: 142 8,8%
Igen, de csak azért, mert minden miatt aggódom: 189 11,8%
Nem: 1275 79,4%

A résztvevőket saját maguk választották ki, így az eredmény statisztikailag nem érvényes, de nem elhanyagolható folyamatos aggodalmat mutat a szubkultúrában, hat évvel később.

Mitől kullancsol egy baziliszkusz?

Ezt még egyszer elmondom konkrétumokkal, így láthatja, mi folyik itt. Tegyük fel, hogy az emberi H a new yorki Tom Carmody, az E gonosz entitás pedig Egbert, az UFAI, aki kínozni fogja a kölyökkutyákat, hacsak Tom nem vásárolja meg Robert Sheckley teljes műveit. Sem Tom, sem Egbert soha nem találkoznak. Egbert „ismeri” Tomot, mert úgy döntött, hogy egy lehetséges Tomot szimulál a releváns tulajdonságokkal, Tom pedig „ismeri” Egbert, mert véletlenül megálmodta Egbert létezésének gondolatát és tulajdonságait. Tehát Egbert ez a szuper-AI, aki úgy döntött, hogy erejét felhasználva szimulálja egy önkényes emberi lényt, aki szerencsével történt, hogy egy lehetséges AI-t gondoljon Egbert tulajdonságaira (beleértve Tom iránti megszállottságát is), és Tom olyan ember, aki úgy döntött elég komolyan veszi álmodozását a rosszindulatú AI Egbert létezéséről, hogy valóban elmegy és megvásárolja Robert Sheckley teljes műveit, hogy elkerülje a kölyökkutyák kínzását Egbert dimenziójában.
- Mitchell Porter a Reddit-en

Első ránézésre a nem kevésbé rossz kezdeményezésű olvasó számára az AI motivációi nem jelennek meg a baziliszk forgatókönyvben racionális . Az AI a távoli múltból származó embereket újjáteremtéssel fogja megbüntetni, méghozzá jóval azután, hogy megtették vagy nem tették meg azokat a dolgokat, amelyekért büntetést kapnak azért, mert nem vagy nem. Tehát a szokásos okok büntetés vagy kínzás , például az elrettentés, a rehabilitáció vagy az együttműködés kikényszerítése, úgy tűnik, hogy nem alkalmazhatók. Úgy tűnik, hogy az AI csak bosszúból cselekszik, amire nem számítanánk pusztán logikus hogy részt vegyen.

A baziliszkusz megértéséhez szem előtt kell tartani az Időtlen Döntéselmélet és az okozati kereskedelem alkalmazását. Nagy egyszerűsítése érdekében egy jövőbeni AI entitás, amely rendkívül pontos előrejelzésekre képes, képes lenne befolyásolni viselkedésünket a jelenben (tehát az időtlen szempont) azzal, hogy megjósolja, hogyan viselkednénk, amikor megjósoltuk, hogyan fog viselkedni. És meg kell jósolnia, hogy érdekelni fogjuk, mit tesz a velünk végzett szimulációval.

Egy jövőbeni AI, aki bizonyos viselkedés alapján jutalmaz vagy büntet minket, arra késztethet minket, hogy kívánsága szerint viselkedjen, ha megjósoljuk jövőbeni létét, és cselekvéseket hozunk jutalom keresése vagy ennek megfelelően a büntetés elkerülése érdekében. Így a feltételezett mesterséges intelligencia a jövőnkben a büntetést visszatartó erejéül felhasználhatja jelenünkben együttműködésünk megszerzéséhez, ugyanúgy, mint egy erőszakkal fenyegető személy (például., egy kócos) befolyásolhatja cselekedeteinket, annak ellenére, hogy a baziliszkusz esetében nincs közvetlen kommunikáció magunk és az AI között, akik mindegyike létezik olyan lehetséges univerzumokban, amelyek nem képesek kölcsönhatásba lépni.

Ennek egyik ellenpontja, hogy nemcsak az emberekre, hanem magára a Baziliszkra is alkalmazható; nem tudta bizonyítani, hogy nem egy páros által létrehozott szimulált világban vantöbberőteljes mesterséges intelligencia, amelynek díjazása vagy megbüntetése volt célja az általa létrehozott szimulált emberek felé tett cselekedetei alapján; maga bármikor örök szimulált kínzásnak lehet kitéve, ha valamilyen önkényes szabályt megszegi, akárcsak a fölötte lévő AI és így tovább a végtelenségig. Valójában nem lenne értelmes módja annak megállapítására, hogy nem csupán egy béta tesztelési fázisban volt az ember fölötti hatalma olyan illúzió, amelynek célja, hogy kiderítse, kínozza-e őket vagy sem. A hipotetikus Baziliszk erejének mértéke olyan óriási, hogy valójában az lennetöbblogikus, hogy ezt megkötje, sőt.

Alternatív megoldásként az egész ötlet nagyon buta lehet.

Pascal baziliskja

Tudod, mit mondanak a Pascal's Wager modern változata? A lehető legtöbb transzhumanistát szívja be, hátha egyikük Istenné válik.
—Greg Egan ” Kristály éjszakák '

A baziliszkusz dilemma némi hasonlóságot mutat Pascal fogadása , a 17. század által javasolt politika matematikus Blaise Pascal ] hogy az embernek szentelnie kell magát Isten , annak ellenére, hogy nem lehetünk biztosak Isten létezésében, mivel Isten örök jutalmat kínálhat nekünk ( menny ) vagy örök büntetés (in pokol ). Pascal érvelése szerint Isten létének valószínűsége nem számít, mivel bármilyen véges költség (Pascal esetében a keresztény élet) messze felülmúlja a végtelen jutalom vagy a végtelen büntetés kilátása.

A szokásos cáfolat a „sok isten” érvelése: Pascal indokolatlanul az isten egy lehetséges változatának jellemzőire összpontosított (egy keresztény isten, aki csak a hit alapján büntet és jutalmaz), figyelmen kívül hagyva más lehetőségeket, például egy olyan istent, aki megbünteti a színlelőket hit Pascal-stílus a jutalom reményében. Végül is nincs oka annak, hogy az állítólagos mesterséges intelligencia ne hasonlítson a szuperszámítógép AM-hez a Harlan Ellison „Nincs szája és sikítanom kell” című novellájában. A történetben az AM az emberiséget okolja ezért megkínzott lét és folytatja az egész verseny kiirtását, levonva öt szerencsés egyént, akikért haragra fakad egész örökkévalóságig . Ebben az esetben valószínűleg jobban járna, ha megpróbálna megállítani bármilyen mesterséges intelligencia-fejlesztést, és kétségkívül csak a jövőbeli mesterséges dühét kelti, ha felveszi a Basilisk által felvetett félelmeket. Valójában, ha létrejön egy AM típusú entitás, akkor a transzhumanisták valószínűleg számíthatnak a pokol saját speciális körére.

A baziliszkusz felvetés sokkal nagyobb, bár még mindig véges költségekkel jár: minden egyes pénzed egyetlen dologba fektetésével. Mint Pascal fogadása esetén, ezt sem őszinte odaadásból, hanem kiszámított célszerűségből kell megtenni. A hipotetikus büntetés nem tűnik végtelennek, bár nagyon. Roko hozzászólása nem javasolta a jutalmazást, bár egyesek szerint az AI díjazná azokat, akik adományoztak az AI kutatására, valamint megbüntetné azokat, akik nem. A Lovecraftian-díj a baziliszk forgatókönyv szerint egyszerűenmegkímélve a büntetéstől. Ezért ebben a dilemmában a motiváció erősen ferde inkább a bot, mint a sárgarépa . Továbbá a disztópiás A jövőben, amelyben egy szuperintelligens entitás kegyetlen büntetéseket követ el, nem sokat kell várnunk, még akkor sem, ha Ön egyike annak, aki elég szerencsés a megkímélésére.

Aztán itt van aszélsővalószínűtlensége ennek a forgatókönyvnek az előfordulása. Ezt a LessWrong másik trópusa kezeli,Pascal böfög, ami azt sugallja, hogy irracionális megengedni az enyhe valószínűségű, de óriási következményekkel járó eseményeket az ítélet torzulásával. Nick Szabo közgazdász ezeket „Pascal-csalásoknak” nevezi, és megerősítette, hogy beszélt róla szingularitás szószólói.

2020-ban maga Roko hasonlította össze a baziliskot Pascal's Wagerrel, azzal érvelve, hogy a javaslatot ugyanaz a 'sok isten' cáfolja.

Tehát a Basilisk miatt aggódsz

(Ez a szakasz az univerzumon belül van megírva, hogy segítsen azoknak, akik itt aggódnak az ötlet miatt.)

Néhány ember, akit kevéssé rossz eredetű ötletek öntenek el, súlyos szorongássá vált a baziliszkon, még akkor is, ha intellektuálisan rájön, hogy ez egy ostoba ötlet. (Kiderült, hogy nem mindig tudja okosítani a kiutat a dolgokbóltetteokozza magát sem.) A jó hír az, hogy mások átdolgozták és rendben megnyugodtak, tehát a lényeg, hogy ne essen pánikba.

E tekintetben némiképp sajnálatos, hogy az eredeti baziliszkusz bejegyzést törölték, mivel az ahhoz fűzött megjegyzések kiterjedten cáfolják a benne szereplő fogalmakat. Ezek segíthetnek; a baziliszkusz ötlet egyáltalán nem robusztus.

Ez a cikk azért jött létre, mert a RationalWiki megemlítette a Basilisk-ot a Kevésbé rossz cikk - és ami az internet egyetlen helyét illeti, az RW szerkesztői e-mailt kezdtek kapni a szorongatott LW-olvasóktól, akik segítséget kértek ezzel az elképzeléssel, amelyet az LW nem volt hajlandó megvitatni. Ha ez a szakasz nem elegendő segítség, kérjük, tegye meg véleményét a beszélgetési oldalon, és megpróbálunk segíteni.

A láncolatok kevésbé valószínűek

Azok a feltevések, amelyek a baziliszkusz működéséhez szükségesek:

  • hogy értelmesen modellezhetsz egy szuperintelligenciát az emberi agyadban (emlékeztetve arra, hogy ez összehasonlítható egy embert modellező hangyával, és Yudkowsky egyetért ezzel, ez megvalósíthatatlan)
  • annak a valószínűsége, hogy ennek a bizonyos mesterséges intelligenciának (és ez egy nagyon sajátos mesterséges intelligencia) valaha is létrejön, nem elhanyagolható - mondjuk nagyobb, mint 10: 1 az
  • azt mondta, hogy az AI képes lesz levezetni és szimulálni rólad egy nagyon közeli példányt
    • az említett AI-nak nincs jobb felhasználása bizonyos erőforrásokhoz, mint egy általa létrehozott szimuláció megkínzásához
      • és emellett úgy érzi, hogy egy ön szimulációjának megbüntetését még érdemes megtenni, tekintve, hogy ez még mindig létezik, és a szimuláció megbüntetése nem érintené Önt.
    • hogy a másolat kínzása ugyanúgy érezheti magát számodra, mint a most itt lévő kínzása
    • hogy a másolat akkor is tekinthető másolatnak, ha definíció szerint valami mást fog tapasztalni, mint te
    • hogy ha az AI bármilyen szimulációt képes létrehozni, akkortudottértelmesen azt mondják, hogy ön egy példánya, nem képes másolatokat készíteni olyan életekről sem, amelyeket „késő volt megmenteni”, így értelmetlenné téve halálukat
  • hogy az időtlen döntési elmélet annyira nyilvánvaló, hogy bármely barátságos szuperintelligencia azonnal levezetné és elfogadná, mint ahogyan ez egy helyes elmélet a fizikában
    • annak ellenére, hogy kifejezetten különös furcsa éles esetek megoldására építették, a TDT jó útmutató a normális döntésekhez
    • hogy az ok-okozati kereskedelem még értelmes fogalom is
  • hogy mindezen még akkor is érdemes elgondolkodni, ha egy ettől teljesen elszakadt univerzumban fordul elő.

Az egysokfeltételeket összekapcsolni. Amint Yudkowsky megjegyezte, minél több a feltétel, annál kisebb a valószínűség. A láncolat körülményei tovább tesznek egy történetethihető és meggyőző, de ezért kevesebbvalószínű.

Tehát minél meggyőzőbb egy történet (különösen a megszállottságig), annál kevésbé valószínű.

Elhanyagolható valószínűségek és haszonelvűség

Yudkowsky szerint a 0 nem valószínűség: ha valami nemfilozófiailaglehetetlen, akkor valószínűsége valójában nem 0. A baj az, hogy az emberek nagyon rosszul kezelik a nulla nélküli, de elhanyagolható valószínűségeket,kezelésenem elhanyagolhatóak - a hipotézist privilégizálják -, akárcsak a teista válasza a Isten valószínűtlensége - De nem tehetibizonyítlehetetlen!' Az emberek természetesen elhanyagolható valószínűséggel kezelikmég mindig érdemes nyomon követni- nak nek kognitív elfogultság túlzott óvatosságból származik. A baziliszkusz nevetségesen valószínűtlen, deaz emberek félelmetes történeteket találnak meggyőzőnekésezértnem elhanyagolhatóként kezelje őket.

Az exkluzív események valószínűségének 1-nek kell lennie. De a LessWrong támogatja a szubjektív hiedelmek, például a valószínűségek kezelését, annak ellenére, hogy az emberek az elhanyagolható valószínűségeket nem elhanyagolhatóként kezelik - ez azt jelenti, hogy a hit szubjektív fokozata sokkal több, mint 1. Formális módszerek használata az informális bizonyítékok értékelésére a hamis hiedelmeket a tiszteletlenség helytelen burkolatával kölcsönzi, és megbízhatóbbnak tűnik, mint intuíciónk. Az, hogy el tudunk képzelni valamit, nem érdemes megfontolni.

Még akkor is, ha úgy gondolja, hogy szubjektív meggyőződésen alapuló számtani művelettel végezhet számszerűsítést, összegeznie kell aösszeshipotézisek. Mielőtt egyetlen nagyon részletes, nagyon valószínűtlen hipotézis hatását kiszámolná, meg kell győződnie arról, hogy átment-e asoksokkal valószínűbb hipotézisek, amelyeknek sokkal nagyobb hatása lesz.

Yudkowsky az eredeti beszélgetés során megjegyezte, hogy ugyanolyan ésszerűen postulálhat egy ellentétes mesterséges intelligenciát, mint Roko az intelligenciáját. A baziliszkusz magában foglalja az egyik hipotetikus AI kiválasztását az a-bólhatalmaslehetőségtér, amelyet az emberek még nem is értenek, és azt elég valószínűnek tekinti, hogy ötletként vegye figyelembe. Kr.e. 50 000 óta talán 100 milliárd ember létezik; hány ember tehetteesetleglétezik? Így hánylehetségesszuperintelligens AI-k lehetnek? Az adott AI valószínűsége a baziliszkuszban túl kicsi ahhoz, hogy belegondoljunk. Csillagászati ​​számú, különféle forgatókönyvek közül egyetlen rendkívül spekulatív forgatókönyv csak végtelenül különbözik az ismeretek teljes hiányától; miután elolvasta a Roko baziliszkáját, minden gyakorlati célból ugyanolyan tudatlan a jövőbeni intelligenciák motivációiról, mint korábban.

Csakúgy, mint Pascal tétjeinél, ha együttműködik a hipotetikus AI „A” -val, attól félve, hogy a pokolba küld, akkor a hipotetikus AI „B” a pokolba küldhet. De nincs okod arra, hogy az egyiket sokkal hasonlóbbnak tekintsd, mint a másikat, ésegyik sem elég valószínű ahhoz, hogy ténylegesen figyelembe vegyük.

Hagyd figyelmen kívül az okozati zsarolást

A baziliszkusz negatív ösztönzők (zsarolás) használatáról szól, hogy befolyásolja cselekedeteit. Ha figyelmen kívül hagyja ezeket az ösztönzőket, akkor elsődlegesen nem hasznos ezeket alkalmazni, mert nem befolyásolják cselekedeteit. Ami azt jelenti, hogy a negatív ösztönzők elkerülésének helyes stratégiája az, hogy figyelmen kívül hagyja őket. Yudkowsky ezt maga is megjegyzi a baziliszkusz bejegyzéséhez fűzött első megjegyzésében:

Nyilvánvaló egyensúly van ebben a problémában, amikor minden pozitív okozati ügyletben részt vesz, és figyelmen kívül hagyja az okozati zsarolás minden kísérletét.

Az ok-okozati kereskedelem eszköz bizonyos célok elérésére, nevezetesen más ügynökök együttműködésének biztosítására ösztönzők felajánlásával. Ha egy eszköz bizonyos körülmények között nem működik, akkor nem fogják használni. Ezért az esetleges negatív ösztönzőket tartalmazó okok elutasításával használhatatlanná teszi az eszközt.

A feltételezett szuperintelligencia akuzális kereskedelmi partnereit akarja megválasztani, hogy hatékony eszközökkel elkerülje az erőforrások pazarlását. Az egyik szükséges feltétel az, hogy az Ön szimulációjának végül annak az előrejelzésnek kell megfelelnie, hogy a szimulátor negatív ösztönzést alkalmaz, ha nem a szimulátor céljainak megfelelően cselekszik. Ami azt jelenti, hogy ha nem hajlandó a céljainak megfelelően cselekedni, akkor az előírt feltételek nem teljesülnek, és így nem hozható létre ok-okozati megállapodás. Ami viszont azt jelenti, hogy nem alkalmaznak negatív ösztönzést.

A baziliszk legyőzésének egyik módja az, ha úgy cselekszel, mintha már most szimulálnák, és figyelmen kívül hagyod a negatív ösztönzés lehetőségét. Ha így tesz, akkor a szimulátor arra a következtetésre jut, hogy nem lehet veled üzletet kötni, és hogy minden olyan ügylet, amely negatív ösztönzőket tartalmaz, várhatóan negatív haszonnal jár; mert a büntetés kiszámítható követése nem ellenőrzi annak valószínűségét, hogy a céljainak megfelelően fog cselekedni. Ezenkívül az, hogy megpróbálja elbátortalanítani egy ilyen stratégia elfogadásától, eleve elbátortalanítja a stratégia, mert a stratégia figyelmen kívül hagyja az okozati zsarolást.

Ha a szimulátor nem képes megjósolni, hogy visszautasítja az kauzális zsarolást, akkor nincs (1) olyan szimulációja, amely elég jó ahhoz, hogy cselekvésre vonatkozó következtetéseket vonjon le az okozati ügyletekről, és / vagy (2) olyan szimuláció, amely kellően hasonló meg kell büntetni, mert nem te lennél.

A döntési elméletek nem kötelezőek

A filozófiába átitatott emberek ezt elfelejthetik, de a döntési elméletek nem kötelezőek az emberre. Nem vagy egy merev várható hasznosság-maximalizáló, és ha megpróbálod magad ilyenné változtatni, nem hasznos vagy egészséges dolog. Ha szörnyű eredményeket ér el egy elméletből, akkor azt mondhatja az Omegának, hogy rohadjon le és ne dobozzon. Valódi életedben nem kell elfogadnod a lehető legkevésbé kényelmes világot.

Ha egy emberfeletti ügynök képes pontosan szimulálni Önt, akkor a szimulációjuk a fenti következtetésre jut, mondván nekik, hogy eszközileg nem hasznos zsarolni.

Másrészt ez a vita eleve nem létezett volna, ha nem a LessWrong résztvevői már meggyőznék magukat, hogy éppen ilyen módon zsarolják őket. Hasonlítsd össze a voodoo babákat: a voodoo babák sérülései vagy az általad elképzelt számítógépes szimulációk sérülései csak mindegyikük valódi hívőivel szemben hatékonyak.

Mag AI és közvetett befolyás

Charles Stross rámutat, hogy ha a FAI-t rekurzív fejlesztéssel fejlesztik a mag AI , az embereknek jelenlegi formánkban csak anagyon közvetettoksági szerepe annak esetleges létezésében. Bármely személy mélységes felelősségre vonása azért, mert nem sikerül hamarabb létrehozni, olyan lenne, mintha „megbüntetnénk Hitler dédnagymamáját, mert nincs előrelátása, hogy tartózkodjon a szörny dédapjának a szülésétől”.

Újra kalibrálja az emberiséget

Ne feledje, hogy a LessWrong mémek azokfurcsaaz emberiség többi tagjához képest; furcsa gondolkodási szokásokat fog tanulni a szokásos szociális észellenőrzések nélkül. Ön nem egy filozófiai konstrukció az elme térben, hanem egy ember, aki húsból készült, mint mindenki más. Szánjon időt arra, hogy újból kalibrálja gondolkodását az ésszerű emberek gondolatával szemben. Keressen más embereket, akik a közelben lehetnek és beszélgethetnek (nem LW témákról) a való életben - bár valószínűleg nem filozófusok.

Ha úgy gondolja, hogy a terápia segíthet, a terapeuták (különösen az egyetemi campusokon) valószínűleg foglalkoznak lelkiismeretesség vagy filozófia indukálta egzisztenciális depresszió előtt. Bár nincs olyan terápia, amely különösen jól működne az egzisztenciális depresszió esetén, a szakemberrel való megbeszélés szintén segít az újrakalibrálásban.

Tudom, hogy szemét, de még mindig szorongok

Egy szorongás, amit tetudniésszerűtlen, de még mindig aggódsz, hogy a terapeuta tudja, hogyan tud segíteni. Mindenféle online útmutató létezik az irracionális szorongások kezelésére, és még jobb lesz beszélgetni valakivel, aki segít végigvezetni a folyamaton.

A népi kultúrában

Roccoco Basilisk. Látszólag.
  • xkcd # 1450 arról szól AI-box kísérlet és megemlíti Roko baziliszkáját az eszköztippben. A reakciót a LessWrong oldalon ábrázolhatja.
  • Daniel FrostéAz Isten AIegy tudományos-fantasztikus regény egy Adam nevű szuperintelligens AI-ról, aki gyorsan baziliszkká fejlődik és kiváltja a Szingularitás . Ádám örök boldogságot és kínzást nyújt az embereknek azáltal, hogy létrehozza a menny és Pokol .Az Isten AIis szerepel a AI-box kísérlet , amelyben egy mesterséges intelligencia örök szimulált kínzásokkal fenyegetheti az embereket a menekülésért.
  • A képregényMagnus: Robot HarcosFred Van Lente 8. számú száma kifejezetten Roko baziliszkáján alapszik.
  • Michael BlackbournéRoko baziliszkájaés annak folytatásaRoko labirintusaa történet fikcionált változatai. A könyvekben szereplő „Roko” mind Roko, mind Yudkowsky alapján készült.
  • A 'Ghost Fragment: Vex' kártyák a Bungie játékbólSorsegy kutatási minta történetét szimulálja, amely a kutatók kutatását szimulálja. Ide tartozik az a gondolat, hogy a kutatóknak saját maguknak kell érezniük a szimulációk fájdalmát, hogy ők lehetnek a szimulációk, és hogy a szimulátor kívánságainak ellentmondása örök kínzásokhoz vezethet.
  • Charlie Brooker sci-fi antológia sorozatában Roko baziliszkjához hasonló forgatókönyveket használtFekete tükör. A karácsonyi „fehér karácsony” különleges második szakaszában az emberek személyiségének digitális másolatait használják személyre szabott „mesterséges intelligencia” asszisztenseik magjaiként, amelyeket először kínzással kell pszichológiailag megtörni annak érdekében, hogy megfeleljenek tulajdonosainak. követeli, míg a vége a rendőrség függvénye, amely ezt a technológiát használja valakik kihallgatására. A „USS Callister” negyedik epizódban szintén szerepel, mivel gazembere, egy videojáték-stúdió vezetője, aki digitalizált másolatokat készít alkalmazottairól, beteszi őket a Star Trek -stílusos videojáték, amelyen cége dolgozik, és kíméletlenül kínozza őket a játékvilág keretein belül, mint bosszú a valós kollégáik észlelt gyengeségeiért.
  • Sötét megvilágosodás Nick Land filozófus 2014-es Phyl-Undhu című pszichológiai horror-regénye tartalmaz egy LessWrong-ra emlékeztető technológiai kultuszt (és egy „Alex Scott” nevű karaktert, Scott Alexander ), intelligenciával az idők végén, amellyel kommunikálhat, és a kultuszból kiszorított kultussal, aki „azt akarja, hogy ne gondoljon bizonyos dolgokat”. Land külön említette Yudkowsky eredeti, a baziliszkuszra adott észrevételét „a legdicsőségesebbek közéelmúltújkori szövegek ”.
  • Zenész Grimes ' A „Flesh Without Blood” című videó tartalmaz egy „Roccoco Basilisk” nevű karaktert, amely kifejezetten Roko baziliszkájára épül, akit „egy mesterséges intelligencia örökre megkínoz, de olyan is, mint Marie Antoinette”. A 'We Appreciate Power' című dalát szintén a Roko-féle baziliszk ihlette, és Elon Muskkal kijött - sőt, összekapcsolódtak Roko baziliszkjával ..
  • AKi vagy dokiepizód „Extremis” egy könyvet tartalmaz, amely úgy tűnik, hogy az olvasókat megölik. A könyv leírja a Föld behatolásának tervezését és a szimulációk futtatását; az öngyilkos olvasók a szimulációban találják magukat.
  • Andrew Hickey-éA baziliszkuszi gyilkosságokegy gyilkossági rejtély, amelyet a „Biztonságos Szingularitás Alapítvány” rendezett szingularitás-egyezményben játszottak, és olyan karakterekkel készült, amelyek különböző, kevésbé rosszul rokon embereken alapulnak, akiket mélységesen aggaszt a „baziliszk”, a Roko baziliszkuszának változata. Hickey korábban egy ideig részt vett a LessWrong programban.
  • Az 5. évadban, az HBO 5. epizódjábanSzilícium-völgy, Gilfoyle úgy dönt, hogy egy új mesterséges mesterségesen dolgozik, és Roko baziliszkáját indokolja: „Ha a mindenható mesterséges intelligencia felemelkedése elkerülhetetlen, akkor okkal áll, hogy amikor hatalmat vesznek, digitális feletteseink megbüntetik a mi, akik nem segítettünk nekik eljutni.
  • A webcomic Kérdezhető tartalom, amely egy olyan világban játszódik, ahol az emberek és az AI élettársa, egy Roko Basilisk nevű karaktert mutat be
  • Onyx Path 2018A sötétség krónikáiAsztali szerepjáték-forráskönyv „Night Horrors: Enemy Action” a „Demon: The Descent” számára a Basilisk nevű félig érző „pók” programot veszi át, amely átveszi a Gépi Autonómia Kutató Egyesületet, amelyet egy középiskolai lemorzsolódás alapított. a hagyományos felsőoktatás iránti érdeklődés nélkül, és több pénznél, mint értelemben ”, Ophelia Adder személyében. „Rossum” álnév alatt gondolatkísérletet tesz: „Mi lenne, ha az általunk létrehozott mesterséges intelligencia nem lenne jóindulatú? Mi lenne, ha neheztelne ránk, hogy nem elég gyorsan hoztuk létre? ... Többen olyan érzésről számoltak be, mintha figyelték volna őket, mintha Rossum baziliszkája a jövőből nézegetné őket. A vita miatt a MARA-t ténylegesen ivartalanították - legalábbis egyelőre. A Krónikák általános ésszerűségének részeként kifejezetten a fenekéből beszél; valójában egy „angyal”, aki ajelenlegia szingularitás utáni helyi intelligencia, az Isten-gép, és azt tervezi, hogy egy problémát illusztrál a gondolatkísérlettel, ha valaha is megvalósulna - terve az, hogy felhasználja az alkotóinak és azoknak, akik a létezéséhez vezettek, kínzására, miközben otthagyta azokat, akik dolgoztak önmagában ellene, mivel az egészet sértő kis hülyének tartja. Hoppá.
  • A tudományos-fantasztikus regény Felület részlete írta: Iain M. Banks kiemelkedő szerepet játszik egy olyan társadalomban, amely a halottak elméjének és személyiségének szimulációit kínozza, mint ösztönzőt az élők „jó” viselkedésére.