Roko baziliszkája / Eredeti poszt

Ez Kevésbé rossz Roko felhasználó eredeti bejegyzése, amely az ötletet javasolja Roko baziliskja ”. Ide kerül hivatkozás céljából. Felhasználó: David Gerard azt állítja, hogy ez a kiküldetés az Egyesült Államok törvényei szerint oktatási célokra méltányos használat. Lekért http://web.archive.org/web/20141013084601/http://kruel.co/lw/r02.txt .



Helló Nézőpont olvasók! A Roko eredeti posztjának sokkal hűségesebb példánya található itt: https://basilisk.neocities.org , és ne felejtsd el elolvasni a mi oldalunkat Roko baziliskja cikk!


Ez a Google gyorsítótára http://lesswrong.com/lw/2hw/solutions_to_the_altruists_burden_the_quantum/ . Pillanatkép az oldalról, amint 2010. július 24-én 06:35:15 GMT-ben megjelent.


A Less Wrong egy közösségi blog, amelynek célja az emberi racionalitás művészetének finomítása. További információkért látogasson el a Névjegy oldalunkra.

Tartalom

Megoldások az altruista terhére: a kvantum milliárdos trükk

Roko 2010. július 23, 12:30

Feltételes fogalmak: Nem technikai bevezetés az AI elrettentési problémájába, és a nyertes: Sok-sok világ!

Folytatás: Az altruista terhe


Az altruista teherproblémájának leküzdésének egyik módja az, ha abbahagyja az altruista létet, újra megfogalmazza impulzusait, hogy a távoli másokat inkább elfogultságként, mint előnyben részesítse. Egzisztenciális kockázatok esetén ennek további okai vannak: először is, hogy az emberek, akik segítenek neked, megegyeznek azokkal, akik megbüntetnek. (Nem ez a helyzet a fejlődő világnak nyújtott támogatással). Ez személy szerint nem tetszik.

Egy másik tökéletesen érvényes reakció az, ha csak magadra fogadod a találatot, és elfogadod, hogy altruistaként kihasználják, de megéri. Ez szintén nem olyan lehetőség, amelyet én személy szerint szeretek.


Ebben a tekintetben fennáll az a baljóslatú lehetőség, hogy ha pozitív szingularitás mégis bekövetkezik, akkor az eredő szingulett elkövetheti, hogy megbüntesse az összes potenciális donort, aki tudott az egzisztenciális kockázatokról, de a rendelkezésre álló jövedelem 100% -át nem adta x-risk motivációnak. . Ez ösztönzésként szolgálna arra, hogy az emberek többet adakozzanak az egzisztenciális kockázat csökkentése érdekében, és ezáltal növeljék a pozitív szingularitás esélyét. Úgy tűnik, hogy ezt teheti a CEV (az emberiség koherens extrapolált akarata), ha ok-okozati döntéshozó lenne. [1] Tehát a poszt-szingularitás világa szórakozás és rengeteg világ lehet azok számára, akik jelenleg figyelmen kívül hagyják a problémát, miközben a jelenlegi egzisztenciális kockázatcsökkentők jelentős részének (mondjuk a legkevésbé nagyvonalú fele) élő pokolnak számítanak. Figyelembe veheti ezt a lehetőséget, és még többet adhat az x-risknek a büntetés elkerülése érdekében. De természetesen, ha így gondolkodsz, akkor a CEV-szingulett még valószínűbb, hogy meg akar büntetni ... csúnya. Természetesen ez igazságtalan lenne, de az a fajta igazságtalan dolog, ami nagyon hasznos. Konkrét példa arra, hogyan fordulhat vissza az igazságos világ tévedése az egzisztenciális kockázat szempontjából, különösen azok ellen, akik hallgatólagosan vagy kifejezetten valamilyen jutalmat vártak erőfeszítéseikért a jövőben. És még ha csak azt gondolja is, hogy ennek a valószínűsége 1%, vegye figyelembe, hogy annak valószínűsége, hogy a CEV ezt egy olyan véletlenszerű emberrel teszi, aki véletlenül elhúzná az egzisztenciális kockázatokról szóló beszédet, mint „nonszensz”, lényegében nulla.

A probléma leküzdésének izgalmasabb (és véleményem szerint előnyösebb) módja az, hogy gyorsan olyan gazdaggá válik, hogy a jótékonysági tevékenységet üzleti tevékenységgé változtathatja, ha egyedül megváltoztatja a nagy hatású iparágak arcát. Erre valószínűleg Elon Musk a legjobb példa. Esküszöm, hogy az ember egyedül fogja gyarmatosítani a marsot, valamint olcsó, megbízható elektromos járműveket hoz a fogyasztóhoz. És ugyanabban az időben fogja megtenni, mint még több pénzt keresni. Ennek a taktikának a kulcsa a méretarány. Nem járulhat hozzá az űr kolonizálásához vagy az egzisztenciális kockázatok csökkentéséhez és a jutalom 0,00001% -ának megszerzéséhez szükséges erőfeszítések 0,00002% -ához: 0 vagy akár negatív jutalmat kap, ha hozzájárulása valamilyen küszöb alatt van.

A kvantum milliárdos trükk

De hogyan végezheti el az Elon Musk az egzisztenciális kockázatot? Nem mindenki elég jó vállalkozó ahhoz, hogy abbahagyja a diplomát, és 300 millió dolláros indítással jöjjön létre, mielőtt osztálytársai még PhD-t is megszereznének. Nos, van egy másik módja annak, hogy 300 000 000 dollárt keressen. Kezdjen 30 000 dollárral, és egy kvantum véletlenszám-generátort használva játssza el a forex piacokon 10 000: 1 arányban. Ezután azokban a fióktelepekben, ahol megtérül a szerencsejáték, alapítson egy AGI céget, vegyen fel a legjobb embereket és építsen maga egy FAI-t. Felveheti a létező kockázatú jótékonysági szervezeteket tanácsadóként, amikor szolgáltatására van szüksége. Növelheti a siker esélyét legalább néhány ágban, ha egy kvantum érmével dobja meg a legfontosabb döntéseket. Elveheti mondjuk az univerzum 50% -át magának, a másik 50% -ot pedig az emberiségnek ajánlhatja fel. A felében sok független mentési szimulációt hozhat létre magáról 2010 augusztusáig (vagy más időpontig), akiket aztán megmentenek és optimalizált utópiába küldenek.

Erőforrásait arra is felhasználhatja, hogy okozott kereskedelmet folytasson egy CEV-szerű szinglettel, amely egyébként megbüntetheti, mert részleges x-kockázat csökkentő volt, amint azt korábban említettük.


Erőforrásokat arra is felhasználhat, hogy okkereskedéssel kereskedjen [2] minden lehetséges barátságtalan mesterséges intelligenciával [3], amelyek épülhetnek, erőforrások cseréjével olyan fiókokban, ahol sikerrel jár, hogy az uFAI megkímélje az életét, és az univerzum csekély hányadával „nyugdíjazzon”. ágakban, ahol fel van építve. Tekintettel arra, hogy a barátságtalan mesterséges intelligencia számos szakértő szerint az emberiség mesterséges intelligenciával végzett kísérletének legvalószínűbb eredménye ebben a században, egy ilyen mentőcsónak megléte nem kis előny. Még akkor is, ha Ön nem ok-okozati döntéshozó, és ezért nincs értéke a mentési szimulációknak, sok uFAI ok-okozati döntéshozó lenne. Bár úgy tűnik számomra, hogy a legtöbb ember egy dobozba helyezi a Newcomb problémáját, és a mentési szimulációk elméletileg a Newcomb-nal egyenértékűnek tűnnek.

Win-win megoldás

Ami a legjobban tetszik ebben a lehetőségben, hogy ez egy win-win interakció közted és az egész emberiség között, nem pedig egy win-win interakció. Az emberiség számára előnyös, ha sokkal nagyobb esélye van a túlélésre a hullámfüggvény 10 000-ből 1 ágában, és előnye, ha megszerzi a mentőcsónakot, megszünteti a büntetés lehetőségét és megkapja a mentési szimulációkat. Elkerüli az első lehetőségben rejlő keserűséget, a másodikban pedig a szívósságot. Az, hogy korábban senki sem gondolt az egzisztenciális kockázat mindkét fél számára előnyös megoldásokra, a nulla összegű elfogultság bizonyítéka lehet.

1: Azt gondolhatnánk, hogy a CEV emberek megbüntetésének lehetőségét senki nem tudja elég komolyan venni, hogy valóban motiválja őket. De valójában a SIAI-ben egy embert ez komolyan aggasztott, egészen rettenetes rémálmaikig, bár névtelenek akarnak maradni. Az a tény, hogy legalább egy emberen dolgozott, azt jelenti, hogy csábító politikát kellene elfogadni. Azt is gondolhatnánk, hogy a CEV inkább pozitív, mint negatív ösztönzést ad az egzisztenciális kockázatcsökkentőknek az egzisztenciális kockázatok csökkentésére. De ha a poszt-pozitív szingularitás világa már optimális, akkor az egzisztenciális kockázatcsökkentők számára csak úgy tehetsz jobbá, ha mindenki más számára rosszabbá teszed. Ez nagyon költséges lenne a CEV szempontjából, míg a részleges x-kockázat csökkentők megbüntetése nagyon olcsó lehet.

2: Az ok-okozati kereskedelem némileg spekulatív: az az elképzelés, hogy befolyásolhatja a multiverzum ok-okozati szempontból leválasztott részeit azáltal, hogy szimulálja őket. Annak egyszerűbb magyarázata, hogy miként befolyásolhatja az uFAI-t ily módon, az, ha Nick Bostrom szimulációs érvére gondolunk az uFAI szempontjából. Ha történelmileg játszott egy kvantum lottót, amely a hullámfüggvény egyes ágaiban mindenképpen megtérült, akkor az uFAI bizonyos valószínűséget fog rendelni az Ön által futtatott szimulációhoz, ha ezt előre elkötelezte magát (és ha valóban követi előzetes kötelezettségvállalásán keresztül: az uFAI ezt tesztelheti az Ön szimulálásával).

3: Ez az ötlet részben annak köszönhető, hogy Rolf Nelson azt az elképzelést alkalmazza, hogy a szimulációs hipotézist az uFAI-k okozta kereskedelemre használja. További információért olvassa el a blogját.

Címkék: quantum_billionaire_trick önzetlenség

Megjegyzések (117)

Eliezer_Yudkowsky 2010. július 24., 05:35:38 3 pont

Azt gondolhatnánk, hogy a CEV büntetésének lehetőségét senki nem tudja elég komolyan venni, hogy valóban motiválja őket. De valójában a SIAI-ben egy embert ez komolyan aggasztott, egészen rettenetes rémálmaikig, bár névtelenek akarnak maradni. Nem szoktam így beszélni, de kivételt teszek erről az esetről.

Nagyon figyelj rám, idióta.

NEM GONDOLKOZIK ELLENŐRZŐ RÉSZLETEK A SZUPERELLIGÁNYOKRÓL, MELYEK MEGFELELŐEN VAGY FEKETTEK NEM. Ez az egyetlen lehetséges dolog, amely motívumot ad nekik, hogy kövessék a feketelevelet.

Nyilvánvaló egyensúly van ebben a problémában, amikor minden pozitív ok-okozati ügyletben részt vesz, és figyelmen kívül hagy minden, az okozati zsarolásra irányuló kísérletet. Amíg nem rendelkezünk a TDT jobban kidolgozott verziójával, és ezt hivatalosan be tudjuk bizonyítani, csak FELTÉTELES lehet, hogy NEM TELJES GONDOLKODÁSBAN GONDOLKODNI A TÁVOLSÁGOS BLACKMAILEREKRŐL, hogy indítékuk van TÉNYLEG BLACKMAIL.

Ha ennek az ok-okozati kereskedelemnek van olyan része, amely pozitív összegű, és amelyet valóban érdemes megtenni, akkor pontosan ezt hagyja egy FAI-nak. Valószínűleg a FAI-nak is meg kell tennie olyan intézkedéseit, amelyek kiküszöbölik a valódi, nem pedig a képzelt zsarolás által motivált bárkinek a hatását, hogy megsemmisítsék a zsarolásra irányuló szuperintelligenciák indítékát.

Eközben betiltom ezt a bejegyzést, hogy (a) ne rettenetes rémálmokat okozzon az embereknek, és (b) a távoli szuperintelligenciáknak ne adjon motívumot, hogy kövessék a zsarolást olyan hülye emberek ellen, hogy elég részletesen gondolkodjanak róluk, bár szerencsére Kétlem, hogy bárki is elég buta ehhez, tudja a kellő részletességet. (Nem vagyok biztos benne, hogy tudom a kellő részletességet.)

Valóban ügyesnek kell lenned ahhoz, hogy valóban veszélyes gondolattal állj elő. Elkeserítettem, hogy az emberek elég okosak lehetnek ehhez, és nem elég okosak ahhoz, hogy a nyilvánvaló dolgot megcsinálják, és IDEJES SZÁMAIT KAPCSOLJÁK róla, mert sokkal fontosabb, hogy intelligensnek tűnjön, amikor beszélget a barátaival. HÜLYE volt ez a bejegyzés.

(Azoknak, akiknek fogalmuk sincs arról, miért használok nagybetűket valamihez, ami csak véletlenszerűen őrült ötletnek tűnik, és attól tartanak, hogy ez azt jelenti, hogy ugyanolyan őrült vagyok, mint Roko, annak lényege az volt, hogy ő csak olyat tett, ami potenciálisan fokozott motívumot ad a rendkívül gonosz cselekedetekre, hogy megpróbáljon zsarolni minket. Ez az a fajta dolog, amellyel rendkívül konzervatívnak akar lenni, ha nem csinál.)


Vladimir_Nesov 2010. július 23., 20:21:39 9 pont

A bejegyzéssel kapcsolatos probléma az őrületbe keveredik, még akkor is, ha az Ön által bemutatott következtetések védhetőek. Nem állíthat csak abszurd dolgokat, amelyek nincsenek egyértelműen megmagyarázva, nem arról van szó, hogy nem mondja el azt, amit igaznak gondol, hanem racionális kommunikációs módot. Az embereknek nem szabad hinniük abszurd dolgokban, még kevésbé zavaros jelentésű kijelentésekben, hacsak nem írják le az összes lépést (vagy ha nem hajlandók időt tölteni a kutatással).

Rendben van, ha kommentárokban megvitatjuk az ilyen dolgokat olyan emberekkel, akik ismerik a szükséges hátteret (ahogyan néhány hete ugyanebben a témában tettem), de egy felső szintű bejegyzés sokkal több háttérépítő munkát igényel.


Mitchell_Porter 2010. július 24., 12:16:24 2 pont

A bejegyzés problémája tomboló őrültséget mutat be

Az én szemszögemből nézve a kiállítás közvetlensége erény, de ez azért van, mert szórakoztató csodálattal olvasom. Roko ... haver ... Azt mondanám, hogy az itt szereplő fogalmi összetevők több mint fele nem vonatkozik a valóságra, de tiszteletben kell tartanom a képességedet, hogy így összeköthesd őket. És nem csak akaratlan tudományos-fantasztikus gyakorlatként olvasom.

Valójában azt vártam, hogy mi lesz a nagy új ötlet az MWI / copy / etc bejegyzéssorozat végén, és ezt kiváló kifizetésnek tartom. Ez nem csupán egy elvont új cselekvési elv, amely egy adott ontológiához igazodik, hanem egy nagyszerű gyakorlati séma, amely kvantum befektetési stratégiát, más Everett-ágak barátságtalan mesterséges ügyekkel való okkereskedelmét, a jó szándékú jövőbeni szuperintelligenciákkal járó büntetés fenyegetését tartalmazza ... mindez egy olyan filozófia, amellyel megpróbálhat itt élni a nappali valóság világában. Üdvözlöm, hogy mennyire változtattad meg magad egy futurista úttörő kognitív reaktorrá. Ez az egyik legőrültebb a jó módban bejegyzés, amit itt olvastam. Természetesen az úttörő azt jelenti, hogy az elsők között fedezed fel az új terület buktatóit, hibáit és zsákutcáit.

Megpróbálok valami konstruktívabbat mondani, ha befejeztem az élvezetet.


Eliezer_Yudkowsky 2010. július 24., 05:24:30 1 pont

Hűha ... ez olyan, mint egy ilyen hátsó bók, ami megfordul, és ismét elölről bók válik.


Roko 2010. július 23., 20:27:58 * 2 pont

Nos, az a kérdés, hogy most, amikor valóban bemutattam az anyagot, hol vannak a legnagyobb hiányosságok, amelyekre szükség van? Iteratív módon az ilyen hézagokat a megfelelő anyaggal való összekapcsolással lehet megszüntetni. Nagyra értékelném a javaslatokat.


RobinZ 2010. július 23., 20:42:20 5 pont

Egy pontot észrevettem, hogy a hozzászólásod elhagyja azt a matematikai demonstrációt, amely szerint az előzetes kötelezettségvállalás valószínű. Az emberek sok lehetetlen dologról rémálmok.


Roko 2010. július 23. 22:22:20* 1 pont

Nem kell valószínűnek lennie. Csak nem lehet kozmikusan valószínűtlen. Még 0,01% is nagyon rossz lenne.


RobinZ 2010. július 24. 12:25:34 1 pont

Honnan tudja, hogy ez kozmikusan valószínűtlen? Ön nem adott okot arra, hogy ne kezelje ezt ugyanúgy, mint Pascal fogadásait.


timtyler 2010. július 23. 09:47:07 0 pont

Ez ésszerűtlen kérésnek tűnik számomra. Az ösztönzés létrehozásának elkötelezettsége egy dolog - de nem számíthat arra, hogy „matematikailag demonstrálják” azt az elképzelést, hogy a fenyegetések megtételének valószínűleg nettó pozitív hatása lesz. Túlságosan függ a körülményektől.


RobinZ 2010. július 23. 09:59:31 2 pont

Nem követelek teljes bizonyítékot - erre a célra elegendő lenne egy olyan számítás, mint amilyen a jimrandomh, az egyes kifejezések indoklásával kiegészítve. Roko azt mondta:

Ebben a tekintetben fennáll az a baljóslatú lehetőség, hogy ha pozitív szingularitás valósul meg, akkor az eredő szingulett elkövetheti, hogy megbüntesse az összes potenciális adományozót, aki tudott az egzisztenciális kockázatokról, de a rendelkezésre álló jövedelem 100% -át nem adta x kockázatnak . Ez ösztönzésként szolgálna arra, hogy az emberek többet adakozzanak az egzisztenciális kockázat csökkentése érdekében, és ezáltal növeljék a pozitív szingularitás esélyét. Úgy tűnik, hogy ezt teheti a CEV (az emberiség koherens extrapolált akarata), ha egy ok-okozati döntéshozó lenne.

... a hipotézis felkutatásához használt bizonyítékok nélkül is. Kicsit késő kérni ezeket az adatokat, de ismerve azokat a bizonyítékokat, amelyek meggyőzték Rokót, hasznosak lennének.


LucasSloan 2010. július 23. 11:05:43 PM* 4 pont

Félig komoly kérdés:

Vállalnunk kell-e olyan emberek kínzását, akik olyan információkat adnak nekünk, amelyek nagyobb valószínűséggel kínoznak minket az AGI-k által? Ezt kell visszamenőleg alkalmaznunk?

Komolyabban, valószínűleg valamivel kiszolgáltatottabb vagyok az ilyesmivel szemben, most már tudom. Biztos vagyok benne, hogy örülök, hogy tudok, de jó ötlet lehet megkérdezni az embereket, hajlandóak-e olyan információkat kapni, amelyek kiszolgáltatottá teszik őket az örök kínzásokkal szemben.


jimrandomh 2010. július 23., 20:04:36 6 pont

Ebben a tekintetben fennáll az a baljóslatú lehetőség, hogy ha pozitív szingularitás mégis bekövetkezik, akkor az eredő szingulett elkövetheti, hogy megbüntesse az összes potenciális donort, aki tudott az egzisztenciális kockázatokról, de a rendelkezésre álló jövedelem 100% -át nem adta x-risk motivációnak. . Ez ösztönzésként szolgálna arra, hogy az emberek többet adakozzanak az egzisztenciális kockázat csökkentése érdekében, és ezáltal növeljék a pozitív szingularitás esélyét. Úgy tűnik, hogy ezt teheti a CEV (az emberiség koherens extrapolált akarata), ha egy ok-okozati döntéshozó lenne.

A következtetési távolság túl nagy ahhoz, hogy ez a hipotézis odafigyeljen a figyelmünkre. Az AI A szingularitás megnövekedett esélyének várható nyeresége, ha X embert megkínozunk X

(P (X úgy véli, hogy A kínozni fog | A megkínozni fog) - P (X úgy véli, hogy A kínozni fog | A nem fog kínozni)) (a)
* (E [a releváns munka / adomány mennyisége | X úgy véli, hogy A kínozni fog] - E [a releváns munka / adomány mennyisége | X nem hiszi, hogy A kínozni fog]) (b)
* (a munka határértéke X-vel) (c)

(a) rendkívül közel áll a 0-hoz (10 ^ -9 vagy kevesebb), és bevallottan korlátozott pszichológiai megértésem arra utal, hogy (b) negatív, nem pozitív. Sőt, függetlenül az utilitariánus számításoktól, egyetlen AI-t sem tartanék barátságosnak, legalább néhány deontolológiai biztosíték nélkül, amely megakadályozná az emberek kínzását.


Roko 2010. július 23., 20:30:53 * 2 pont

(a) rendkívül közel van a 0 10 ^ -9 vagy annál kisebb értékhez

Miért ilyen kicsi? Továbbá, még ha ez olyan kicsi is, a csillagászati ​​szempontból nagy nyereségtényező az egzisztenciális kockázat minden egyes% -ának csökkenésére 10 ^ -9-re képes. 10 ^ 50 élet forog kockán.


jimrandomh 2010. július 23. 09:18:03 0 pont

A fő kérdés az, hogy X jóslata nem kifejezetten az A-ra vonatkozik, sokkal inkább az összes lehetséges barátságos mesterséges intelligencia terének óriási terére, és A csak annak apró töredékét befolyásolja. X-nek pontosan meg kellene modelleznie az AI-t, annak ellenére, hogy nagyságrendekkel összetettebb, mint bármi, amit X valaha modellezett, és az AI által javasolt eredmény az, hogy X helytelen előrejelzést ad.


Roko 2010. július 23., 22:40:12 * 1 pont

X-nek pontosan meg kellene modelleznie az AI-t, annak ellenére, hogy nagyságrendekkel összetettebb, mint bármi, amit X valaha modellezett, és az AI előnye, hogy X helytelen előrejelzést ad.

Egyetértek a kifejtett érvével. De az a mesterséges intelligencia, amely valójában nem hajtja végre az összes fenyegetését (néha tettetõ mesterséges intelligencia), úgy tûnik, hogy gyengíti alkupozícióját más, hatalmasabb ügynökökkel szemben, legalábbis egy mindig a fenyegetés teljesítõjéhez képest. Ha megszegsz apró ígéreteket és fenyegetéseket, akkor kevésbé bíznak benned a nagyokban.

Fenyegetett már minket a CEV? Ha Eliezer megfogadta Rolf nyílt ígéretét, akkor a CEV már megfenyegetett minket.

Az a tény, hogy még nem gondolt erre az érvre, elgondolkodtatja Önt, milyen más érvekre nem gondolt. Ez viszont legalább néhány százalékra növelheti annak valószínűségét, hogy a CEV kínozza Önt, ami egyetértésbe hozhatja álláspontommal, miszerint intézkedéseket kell hozni annak megakadályozására, hogy a CEV-t a jelenlegi formájában futtassák.


JGWeissman 2010. július 23. 11:02:53 PM 0 pont

Fenyegetett már minket a CEV? Ha Eliezer megfogadta Rolf nyílt ígéretét, akkor a CEV már megfenyegetett minket.

A nyílt ígéret tartalmazza:

A CP teljesítése szintén nem követel meg tőlünk semmit, amit a szingularitás utáni társadalom kirívóan etikátlannak tart
Ha a szingularitás utáni társadalom nem tartja nyilvánvalóan etikátlannak az örök kínzást, akkor elvesztettük a szingularitást.

Roko 2010. július 23., 23:21:09 PM 0 pont

elvesztettük a szingularitást

vegye figyelembe a mi kétértelműségét - érted alatt érted az „egész emberi fajt”? Vagy erre az apró racionalista / liberális / nyugati / fehér / férfi közösségre gondolsz? A kettő érdekei eleve különböznek egymástól. Ami pontosan az én véleményem. A győzelem felfogása, amely a mi kevéssé tartozik, itt különbözik a CEV által alkotott győzelem felfogásától. A CEV azt gondolhatja, hogy teljesen jogosan érdemelünk örök kínzást.

Úgy gondolom, hogy Eliezer mindannyiunkat zavarba ejtő zűrzavarba vetett egy félreérthető „mi” és kétértelmű „barátságos” kifejezéssel.


jimrandomh 2010. július 23., 23:27:19 PM 0 pont

Azt mondanám, hogy ebben az esetben az egész emberi faj veszíteni fog. Szinte mindenki, aki ma él, egyetértene abban, hogy az ok-okozati kereskedelemért elkövetett kínzások kirívóan etikátlanok, tehát ha a szingularitás utáni társadalom nem ért egyet, az azt jelentené, hogy az emberi erkölcsben nagyon lényeges (és valószínűleg nem elszigetelt) módosítás történt.


LucasSloan 2010. július 23. 23:40:38 3 pont

Szinte mindenki, aki ma él, egyetértene abban, hogy az ok-okozati kereskedelemért tett kínzások nyilvánvalóan etikátlanok

Igen, és szinte mindenki, aki ma él, azt mondaná, hogy valakinek 50 éven át tartó kínzása rosszabb, mint 3 ^^^ 3 porszem. Ha a szingularitás utáni emberek szaporodni tudnak, ez nem jelenti azt, hogy erkölcsük megváltozott.


jimrandomh 2010. július 24., 12:22:44 0 pont

A kínzások és a porfoltok esetében bizonyíték van arra, hogy az extrapoláció megváltoztathatja az emberek megítélését: egyesek, akik alaposan átgondolták, valójában megváltoztatták álláspontjukat. Tudomásom szerint ebben az esetben nincs ilyen bizonyíték.


Roko 2010. július 23., 23:38:00 * 1 pont

Azt hiszem, hogy a liberális nyugati erkölcsöt olyan kultúrákra vetíti ki, amelyek egymillió mérföldnyire vannak attól, amit ismer.

Ezen kívül van még az extrapoláció által kiváltott diszperzió és nemlinearitás.

- Valami az emberiség szingularitás utáni jövőjében elborzaszt majd minket. Képzelje el a kulturális sokkot, ha a 18. század egy pillantást vet a 20. századra. Mi van a 10. századdal? És ez nem sok hiányosság; mindenki akkor és most ember volt.


JGWeissman 2010. július 23., 23:31:44 0 pont

Azt mondanám, hogy ebben az esetben az egész emberi faj veszíteni fog.

Határozottan egyetértek.


Roko 2010. július 23. 23:39:15* 1 pont

Ugyanez: a liberális nyugati erkölcs vetítése. Nem ismered az emberi fajt. Még soha nem találkoztál velük.


jimrandomh 2010. július 23., 22:56:41 0 pont

intézkedéseket kell hozni annak megakadályozására, hogy a CEV a jelenlegi formájában működjön.

Nem vagyok biztos benne, hogy pontosan helyes-e azt mondani, hogy a CEV-nek aktuális formája van, de egyetértek ezzel, amennyiben egyetért azzal az álláspontommal, miszerint 'én nem tartanék semmilyen mesterséges intelligencia-barátnak legalább néhány deontológiai biztosíték nélkül, amelyek megállíthatnák azt az emberek kínzásától.

Nem vagyok biztos benne, hogy az alkupozíció logikája érvényes a gyenge partnerekkel folytatott okozati kereskedelemre. Hitelességének megőrzése érdekében a mesterséges intelligenciának csak olyan fenyegetéseket kell végrehajtania, amelyeket valóban bejelentett.


Roko 2010. július 23., 23:33:05 PM 1 pont

Nem vagyok biztos benne, hogy pontosan helyes-e azt mondani, hogy a CEV-nek aktuális formája van, de egyetértek ezzel, amennyiben egyetért azzal az álláspontommal, miszerint 'én nem tartanék semmilyen mesterséges intelligencia-barátnak legalább néhány deontológiai biztosíték nélkül, amelyek megállíthatnák azt az emberek kínzásától.

A deontológiai biztosítékok nem részei a jelenlegi előírásoknak. Eliezer ezt írja:

'A FAI programozói közönségesek, és eleve nem érdemlik meg, hogy bárki másnál nagyobb szavazatot adjanak.'
...
- De vajon a múltnak legyen vétójoga a jövőre nézve? ... Valami az emberiség szingularitás utáni jövőjéről rémületet fog okozni. Garantált, függetlenül attól, hogy milyen jó dolgok alakulnak ... Ha a FAI elmélete megköveteli az utolsó bírót, azt tanácsolom azoknak az al-Kaida terroristáknak, hogy hozzanak létre sok biztosítékot. Nem akarom, hogy felfedezzék, hogy mindannyian ateisták leszünk; Azt akarom, hogy diadalmasan gondoljanak az iszlámra, és ne csábítsák őket a beavatkozásra.

Roko 2010. július 23. 22:20:20* 1 pont

Tehát ami a döntési elméletemet illeti, csak azt kell megjósolnom, hogy nem elhanyagolható esély van arra, hogy az AI (bármilyen okból is) a büntetés végrehajtása mellett dönt. Az a konkrét érv, amelyet adsz, nem elegendő ahhoz, hogy 10 ^ 10-ből 1-nél kevesebb valószínűségre tegyek, ami az a küszöb, ahol abbahagynám az ilyen büntetés megakadályozását. A büntetés nagyon rossz.


timtyler 2010. július 23., 08:56:07 PM* 1 pont

Szerintem ez nem helyes. Isten megkísérelheti a menny kialakulását katalizálni a hitetlenek örök kárhozatának fenyegetésével. Úgy hívják, hogy „istenfélelmet adjon beléjük” - és ez az egyik legrégebbi trükk a könyvben.


Mass_Driver 2010. július 24. 03:20:11 1 pont

Abbahagytam az olvasást, miután az első három bekezdés úgy nézett ki, mint a posztmodern kálvinizmus, mindenfajta felelősségvállalás nélkül. Nem büszke erre, de megtettem.


dclayh 2010. július 23., 19:43:25 PM 3 pont

Ebben a tekintetben fennáll az a baljóslatú lehetőség, hogy ha pozitív szingularitás mégis bekövetkezik, akkor az eredő szingulett elkövetheti, hogy megbüntesse az összes potenciális donort, aki tudott az egzisztenciális kockázatokról, de a rendelkezésre álló jövedelem 100% -át nem adta x-risk motivációnak. .

vs.

Ebben a tekintetben fennáll az a baljóslatú lehetőség, hogy ha mégis bekövetkezik egy Armageddon, akkor az ebből fakadó Messiás kötelezheti el, hogy megbüntesse minden lehetséges keresztényt, aki tudott Jézus Krisztus üdvözítő erejéről, de lelkének 100% -át nem adta át Neki.

Úgy gondolom, hogy ez valójában a gideonok álláspontja, ezért mindenhová beteszik a Bibliákat, hogy csökkentsék azok számát, akik nem tudnak Krisztusról.


Nisan 2010. július 23., 07:57:07 PM 0 pont

Jobb. A különbség Armageddon és a szingularitás között az, hogy a szingularitás sokkal valószínűbb. Fontos, hogy Armageddon annyira valószínűtlen, annyira valószínűtlen, mint az Armageddon-ellenes, amelyben a Messiás-ellenes megbünteti azokat a keresztényeket, akik alávetették magukat Jézusnak - és ezért Armageddonnak nem szabad befolyásolnia döntéseinket. Ez a trükk nem működik Roko érvelésére.

(Stealth szerkesztve.)


dclayh 2010. július 23., 20:13:48 PM 1 pont

Biztos. Nem igazán próbáltam reducto ad absurdumot készíteni; csak az jutott eszembe, hogy a Szingularitás az eschaton egyik formája (bár racionális alapokkal), és ez a bizonyos mondat nyilvánvalóbbá teszi, mint általában.


Nisan 2010. július 23., 20:31:48 0 pont

Egy jó pont.


joeteicher 2010. július 23., 05:50:36 4 pont

- Nos, van egy másik módja annak, hogy 300 000 000 dollárt keressen. Kezdjen 30 000 dollárral, és egy kvantum véletlenszám-generátort használva játssza el a forex piacokon 10 000: 1 arányban. Ezután azokban a fióktelepekben, ahol megtérül a szerencsejáték, alapítson egy AGI-vállalatot, vegyen fel a legjobb embereket, és maga építsen egy FAI-t ”

Ez kissé el van simítva, de szerintem egyáltalán nem működik. Azt hiszem, ezt akarja tenni:

  1. készítsen 10 000 ügyletet, amelyek mindegyike kifizeti a 10 000: 1 értéket, és ezek együttesen lefedik egyes devizapárok összes lehetséges jövőbeni lehetséges árát, így bármi is, egyikük megtérül.
  2. dobj egy kvantum kockát, hogy eldöntsd, melyikre fogadsz.
  3. tegye meg a fogadást és dőljön hátra, hogy összegyűjtse kvantum nyereményét.

Ha erre gondolt, akkor téved. Bizonyos esetekben 10 000: 1 vagy annál nagyobb kifizetéssel fogadhatsz forex opciókkal, néhány forgatókönyv esetén, de valószínűleg mindezek a forgatókönyvek sokkal kevésbé valószínűek, mint 10 000-ből 1, mert épeszű emberek nem fogadják el a fogadások másik oldalát, mint pl. hogy sok él nélkül. És semmiképpen sem tehet olyan fogadásokat, amelyek az elfogadhatóbb forgatókönyveknél érvényesülnek. Például hogyan fogadna, ha az EUR / USD (vagy bármilyen keresztet szeretne) nem mozog a következő évben, vagy a következő években? Eladhatna egy csomó fojtogatót vagy támasztékot, de senki nem engedi eladni 300 millió dolláros fojtogatót, csak 30 ezer tőkével, mert bármilyen mozgás (vagy csak egy kedvezőtlen elszámolás) minden tőkéjébe és pokolian sokkal többe kerül.


timtyler 2010. július 23. 22:40:44* 6 pont

A rulettkerék három pörgetésének meg kell tennie. (1/60) ^ 3 értéke 1/216 000. (59/60) ^ 3> 0,95 - tehát a kaszinó csökkentése 5% körül lenne. Lehet, hogy több kaszinót kell meglátogatnia, de a díjak nem okoznak nagy kárt a projektben. Mindez kezelhetőnek tűnik - tehát állítása hihetetlennek tűnik.


joeteicher 2010. július 24. 00:41:51 2 pont

egyetért. tipikusan a rulett kerekei 35-től 1-ig fizetnek 37 vagy 38 ponttal, de ez nem változtatja meg pontosságának érvényességét. Az egyetlen nehézség egy olyan hely megtalálása, ahol ilyen hatalmas tétet tehet a rulettre. Nem hiszem, hogy létezik olyan kaszinó, ahol akár 1 millió dolláros tétet is megtehetne egyetlen számra. Elvileg nem látok okot arra, hogy indokolatlanul nehéz legyen kvantummilliárdossá válni, egyszerűen nem gondoltam, hogy a Roko által bemutatott konkrét terv működni fog, bár amikor jobban kifejtette, számomra hihetőbbnek tűnt. És úgy gondolom, hogy ehhez tisztességes mennyiségű várható értéket kell feladnia. Lehet, hogy a powerballnak át kellene térnie egy kvantummechanizmusra a számok kiválasztásához, hogy még több világ hívőjét vonzza!


Roko 2010. július 23., 22:45:14 * 1 pont

Jó ötlet. Bárcsak gondoltam volna erre! A kaszinók tökéletes helyek olcsó és gyors, nagy kockázatú, szinte tisztességes fogadásra. Tim, szeretlek<3


Roko 2010. július 23., 18:06:28 * 1 pont

Használjon tőkeáttételt és ismételje meg a fogadásokat. A GBP / JPY napi 2-3% volatilitással rendelkezik. A tőkeáttétel 25-szöröse, és egy héten belül megsemmisül a fióktelepek felében, a másik felében pedig megduplázta a pénzét. Ha nyersz, ismételd meg. Ha veszít, fejezze be. 14 alkalommal iterál.

Az eToro vagy számos, nagy népszerűségnek örvendő online kereskedési program bármelyike ​​megkönnyíti ezt, bárki megteheti. Még 25% ingyenes bónuszpénzt is adnak, így várható értéke pozitív. Vannak olyan webszolgáltatások, amelyek ingyen adnak qbiteket.


andreas 2010. július 23. 06:49:37 1 pont

Ezt csinálod? Ha nem, miért ne?


Roko 2010. július 23., 06:52:40 0 pont

Biztos.


joeteicher 2010. július 23., 20:03:40 2 pont

Te tényleg? Kíváncsian várom a tapasztalatait. Milyen széles piacot kínál az eToro GBP / JPY-ben? Ez nem egy hatalmas kereszt, így azt hiszem, legalább 4 bites lenne. Ezenkívül milyen hordozást kell fizetnie? Azt hiszem, az lenne, hogy a költségek meg fognak ölni, ha nem csak egy kedvezőtlen piaci lépés akadályoz meg benneteket. Összességében úgy gondolom, hogy mindenképpen meggazdagodhatna ezzel a tervvel, de nem tudom elképzelni, hogy valóban pozitív EV-je van


Roko 2010. július 23., 20:26:26 * 1 pont

Sajnálom, nyilván többet tudsz erről, mint én. Mit értesz „Milyen széles piacot kínál az eToro GBP / JPY-ben?” Alatt, és mit jelent az, hogy „Ez nem egy hatalmas kereszt, tehát azt hiszem, legalább 4 bip lenne”. Mi az a 4 bip? Ez másodpercenként bázispont? Tudsz egy ingatagabb eszközt tartani?

Az x25 tőkeáttétellel elért ajánlati árrész néhány százalék, így ez nem tűnik olyan rossznak. És vegye figyelembe, hogy 25% -kal több pénzt adnak Önnek.


joeteicher 2010. július 24. 01:35:46 0 pont

bocs, a pip nem bipre gondoltam. 4 pip alatt csak a bid-ask méretét értettem. mint például a piac 134,88 @ 134,92 lehet.

Úgy gondolom, hogy a láncolt tét dolognak alapvetően van értelme, csak szerintem ez nettó pénzbe fog kerülni.


Gabriel 2010. július 23., 18:41:15 3 pont

Nem értem, miért akarja a FAI megbüntetni az embereket, mert nem járultak hozzá többet. Az elkötelezettséget egyfajta kifinomult jelként értem - ez lehetővé teszi, hogy meggyőzze a forráskód olvasására képes entitásokat arról, hogy nem blöfföl a fenyegetések (vagy ígéretek vagy bármi más) miatt. Nincs értelme büntetni az embereket az AI létrehozása előtt történt cselekedetekért. Még akkor is, ha életképes stratégiának tekinti a fenyegetéseket, „megbocsáthat” mindent, ami az aktiválása előtt történt, majd önállóan módosíthatja, hogy a jövőben csak komoly fenyegetéseket tegyen.

Más kérdés, hogy a fenyegetések veszélyesek. Ez a fenyegetett fél engedelmességét eredményezheti, de azt is eredményezheti, hogy a kezeltek teljes mértékben arra összpontosítanak, hogy összetörjék Önt az alkotó atomjainál kisebb részekre, mielőtt túl erőssé válna. Ezért nagyon óvatosnak kell lenned azzal kapcsolatban, hogy milyen fenyegetéseket teszel a jövőbeli AI-k nevében. És azt gondolom, hogy „FAI-t fogunk építeni, amely optimálisan félelmetes létet biztosít az egész emberiség számára. Kivéve téged, mert meséltünk neked erről, és most minden erőforrásoddal hozzá kell járulnod a projekt segítéséhez, különben a FAI felépítése után megkínoznak. arra ösztönözné az embereket, hogy egy vérszomjas gömbölyű csőcseléket hozzanak létre, amely megrohamozza a SIAI kapuit, és nem több pénzzel járulna hozzá.


timtyler 2010. július 23., 09:07:57 PM 1 pont

Re: 'Nincs értelme büntetni az embereket azokért a cselekedetekért, amelyek az AI létrehozása előtt történtek.'

Biztos van - kívánatos lehet büntetéssel fenyegetni őket -, és ezeknek a fenyegetéseknek a lehető leghitelesebbnek kell lenniük. A legjobb hitelességet gyakran az igazmondás adja. Ha hazudsz, az emberek a jövőben kevésbé fognak bízni benned.


Gabriel 2010. július 23., 23:47:40 0 pont

De az AI nem fenyegetett senkit a létrehozása előtt, így nincs mit hazudnia. Az AIbuilder fenyegethetett volna, de az az ötlet, hogy az AI önállóan áll elő a kínzásokkal.


timtyler 2010. július 23., 11:51:14 PM* 1 pont

Ha azt mondja, hogy megkínozza ellenfeleit, majd szabadon engedi őket, akkor hazudott. Ha azt akarod, hogy bárki megbízhasson benned, jobb, ha betartod az ígéreteidet.


Roko 2010. július 23. 06:51:20 1 pont

arra ösztönözné az embereket, hogy egy vérszomjas gömbölyű csőcseléket hozzanak létre, amely megrohamozza a SIAI kapuit, és nem több pénzzel járulna hozzá.

Rendben, én pedig a csőcső mellett állok. Úgy gondolom, hogy jó ötlet lenne megváltoztatni a jelenlegi FAI-tartalmat CEV-ről olyanra, amely nem használhat negatív ösztönzőket az x-kockázat csökkentőire.


JGWeissman 2010. július 23., 19:05:48 4 pont

Úgy gondolom, hogy jó ötlet lenne megváltoztatni a jelenlegi FAI-tartalmat CEV-ről olyanra, amely nem használhat negatív ösztönzőket az x-kockázat csökkentőire.

Mivel úgy tűnik, hogy ez az általános reakció az okozati negatív ösztönzők lehetőségére, nem kellene-e a CEV-nek arra a következtetésre jutnia, hogy ez nem hatékony stratégia?


Roko 2010. július 23., 20:39:44 * 0 pont

Talán a liberális nyugatiak körében gyakori. De a CEV 80% -a olyan országokból származik, ahol te és én soha nem jártunk, és 99% -a olyan emberekből áll, akik kevésbé liberálisak, mint mi. A CEV nem mi vagyunk. A CEV más emberek, akiknek valódi motivációja nagyon kellemetlen meglepetést okozhat nekünk. Ez nem azt jelenti, hogy gonosznak kell lennünk velük szemben! épp ellenkezőleg. Légy kedves velük, adj nekik méltányos részt a jövő fénykúpjából.


JGWeissman 2010. július 23. 09:15:57 1 pont

Az volt a véleményem, hogy az a fajta folyamat, amely ok-okozati negatív ösztönzőket eredményez, csökkentené annak valószínűségét, hogy egy FAI létezik (és eléri az értékeit), ezért ezt nem tenné meg.

Némi szimpátiám van az esetleges kellemetlen meglepetésekkel kapcsolatos álláspontja iránt, mivel külön érvként emlegeti a CEV-t.


Roko 2010. július 23., 21:24:31 * 1 pont

Az volt a véleményem, hogy az a fajta folyamat, amely ok-okozati negatív ösztönzőket eredményez, csökkentené annak valószínűségét, hogy egy FAI létezik (és eléri az értékeit), ezért ezt nem tenné meg.

És az a véleményem, hogy nem vagy elég biztos ebben az érvben. Még 1% esély is arra, hogy örök kínzást kapjon, érdemes keményen dolgozni a megelőzés érdekében.


Roko 2010. július 23., 18:51:09 * 1 pont

Nincs értelme büntetni az embereket az AI létrehozása előtt történt cselekedetekért.

Ez egy ok-okozati döntés elméleti szakember számára helyes, de egy ok-okozati esetében helytelen. Olvassa el az okozati döntés elméletét. Különösen olvassa el Rolf Nelson bejegyzését.


Gabriel 2010. július 23., 23:29:27 PM 0 pont

Elolvastam az elrettentésről szóló bejegyzést, de nem tudom, hogyan alkalmazható itt. Az elrettentési forgatókönyvben az előzetes kötelezettségvállalás megtörtént, mielőtt a döntést befolyásolni kívánják. Nagyra értékelném, ha részletesebb magyarázatot adna az érintett érvelésről (vagy legalább további hivatkozásokat adna). Ez az én szavazatom arról is, hogyan lehetne jobbá tenni a bejegyzést.

Szeretném tudni, hogy mi is pontosan az ok-okozati döntés-elméleti szakember (bárki, aki nem alkalmaz ok-okozati döntési elméletet? Ha pénzt adok át ellentétes bögrében, vajon ebből válok-e?).

Továbbá, ha az AI valóban megkínozza az embereket, vajon az, hogy képtelen vagyok megjósolni és megérteni ezt a viselkedést, biztonságossá tesz?


timtyler 2010. július 23., 09:13:55 0 pont

Úgy tűnik, hogy a hivatkozás nem említi az „acausal” szót.


timtyler 2010. július 23., 22:22:28 0 pont

Re: 'Más kérdés, hogy a fenyegetések veszélyesek. Ez a fenyegetett fél alávetését eredményezheti, de azt is eredményezheti, hogy a kezeltek összpontosítanak arra, hogy teljesen összetörjenek benneteket az alkotó atomjainál kisebb részekre, mielőtt túl erőssé válnának.

Van egy „természetes” fenyegetés, amelyet a gépi intelligencia valószínűleg jelent azok számára, akik rivális gépi intelligencia projekteket vezetnek. Minden projekt meg akarja szüntetni versenytársait - hacsak másként nem mondják. Az ilyen viselkedést valószínűleg kellemetlennek tekintik. A tervezőknek fokozott óvatossággal kell eljárniuk, hogy ne tűnjenek fenyegetőnek ezen a területen, az IMO-ban. Senki sem szereti, ha megszakad a légellátás.


orthonormal 2010. július 23. 03:44:34 5 pont

Ebben a tekintetben fennáll az a baljóslatú lehetőség, hogy ha pozitív szingularitás mégis bekövetkezik, akkor az eredő szingulett elkövetheti, hogy megbüntesse az összes potenciális donort, aki tudott az egzisztenciális kockázatokról, de a rendelkezésre álló jövedelem 100% -át nem adta x-risk motivációnak. . Ez ösztönzésként szolgálna arra, hogy az emberek többet adakozzanak az egzisztenciális kockázat csökkentése érdekében, és ezáltal növeljék a pozitív szingularitás esélyét.

Nos, ez a kreatív ötlet az egyetlen gondolat, amely visszatartott ettől a poszttól. De a döntéselméletem miatt ez nem aggaszt túlzottan. Ha (mint a TDT-ben) egyszerűen megtagadom a zsarolást (és ebben az esetben ezt könnyű megtenni, mivel a veszélyek, amelyekről beszélsz, érzelmileg nem kiemelkedőek), akkor egy ilyen Pascal Retroactive Mugger tudná, hogy esélyei nem lennének esetemben javult ez az elkötelezettség, annál inkább, mint ha javítottak volna azzal, ha olyan embereket kínoztunk meg, akik nem tudnak semmit az AI-ről.

És komolyan, Roko, a státusz tudatos megszállottsága valószínűleg jobban káros társadalmi sikereire, mint „furcsa” altruista okai. Az „Altruista terhe” inkább ürügyként szolgál az elutasításokra, mint valódi okra.


Vladimir_Nesov 2010. július 23., 20:35:18 PM 3 pont

Ha (mint a TDT-ben) egyszerűen megtagadom a zsarolást (és ebben az esetben ezt könnyű megtenni, mivel a veszélyek, amelyekről beszélsz, érzelmileg nem túl hangsúlyosak), megismétlem magam, de a tudomásul kell venni, hogy a A „zsarolásnak” nincs értelme, mert nincs olyan alapértelmezett jószágszint, amely alapján meg lehetne különböztetni a feltételes jót a feltételes ártól, a különbség mind a keretezésben van, nem pedig a területen. Ha sziklává változik, csak kifejezetten megfogalmaz egy adott szintű teljesítményt. De az eredmény egyébként „rögzített”, így a hatékony játék csak annyit jelent, hogy nagyon jó rockzá változtatja magát. Ha valóban nyerő sziklává tudod tenni magad, minden erő neked szól!

Azt sem látom, hogy a TDT hogyan utal erre, annak ellenére, hogy Eliezer ragaszkodik ahhoz az intuícióhoz, hogy egy racionális játékosnak képesnek kell lennie figyelmen kívül hagyni a fenyegetéseket.


Roko 2010. július 23., 20:57:54 * 2 pont

mert a jónak nincs alapértelmezett szintje, amely alapján meg lehetne különböztetni a feltételes jót a feltételes ártól

Egyetért. Úgy tűnik, az emberek meglehetősen jól teljesítenek a társadalmi konvencióból, ha úgy tesznek, mintha lenne.


Roko 2010. július 23., 03:51:03 PM 2 pont

Ha (mint a TDT-ben) egyszerűen megtagadom a zsarolást

Tehát úgy tűnik, hogy ha nem hajlandó zsarolni azzal az elvárással, hogy ez azt jelenti, hogy nem kap büntetést, akkor (mindaddig, amíg a büntetés gyakorlatilag ingyenes), a visszamenőleges bunkó számára az optimális lépés az, hogy továbbra is megbüntet.

Gondolj arra, mintha csirkével játszanál, ha valaki távirányítós autót vezet. Sokkal többet kell veszítenie, mint nekik ütközés esetén, és rettenetesen sokat kell nyerniük, ha megfordul. Még ha száz trillióból egy ortonormális is megadja magát, akkor is jó üzlet a CEV számára, annak a hatalmas összegnek a miatt, amelyet a CEV elveszít az egzisztenciális győzelem csökkent valószínűségének minden egyes dp-jére.


orthonormal 2010. július 23., 16:02:06 PM -1 pont

Itt nem posztolunk mesterséges intelligenciát emberi bosszúcsíkkal: amint rámutattatok, az az oka, hogy az AI nem bünteti az átlagos Joe-t azért, mert nem segített, az az, hogy ez nem okoz okot okot. Azt mondom, hogy a zsarolás megtagadása ilyen helyzetben ugyanolyan dinamikát eredményez.


Roko 2010. július 23., 16:23:09 2 pont

Igaz, és azt mondom, hogy annak az embernek az oki okozta büntetése, aki még csak nem is tud az okozati büntetésről, nulla hatékonysággal rendelkezik, az ortonormális büntetés pedig nulla közeli.

Be kell vallanod, hogy a jövőbeni ágak nem csillagászati ​​szempontból kis hányadában ez az érv arra késztetheti Önt, még tudat alatt is, hogy adjon még egy kicsit többet a SIAI-nek. Ez elég ahhoz, hogy igazolja örök kínzását a CEV szemszögéből (nyilván attól függően, hogy a CEV mennyire haszonelvű: ha inkább igazságszolgáltatás-orientált lenne, akkor talán úgy döntene, hogy egyáltalán nem követi ezt az utat.)


Nisan 2010. július 23., 20:20:34 0 pont

Azt is el kell ismernünk, hogy kicsi a valószínűsége annak, hogy az érv befolyásolja az orthonormált adományozatlanná a SIAI számára. (Pl. Egy ugh mezőn keresztül.) Jimrandomh valami hasonlót mond megjegyzésében.

Roko, az érvelésednek nem kell helytállónak lennie ahhoz, hogy tudat alatt befolyásolja az ortonormált.


Roko 2010. július 23. 03:46:33* 2 pont

És komolyan, Roko, a státusz tudatos megszállottsága valószínűleg jobban káros társadalmi sikereire, mint „furcsa” altruista okai. Az „Altruista terhe” inkább ürügyként szolgál az elutasításokra, mint valódi okra.

Egyetértek azzal, hogy az állapottal való foglalkozás alacsony státuszt jelez egy adott közösségen belül. Szóval, egyszerűen átveszem a státusz találatot az LW közösségen belül. Érdemes kompromisszumnak tűnik a valós eredmények jobb eredményeiért cserébe, mivel az LW közösség státusza valójában semmit sem használ.


orthonormal 2010. július 23., 16:05:21 4 pont

Gyanítom, hogy az emberi társadalom iránti keserű nézetének át kell terjednie. Valójában másképp gondolkodik a való világban, vagy éppen a státuszi cinizmusát próbálja elrejteni? Ez utóbbi jelentős alacsony állapotú jel lehet.


Roko 2010. július 23. 16:10:20 1 pont

Nem mondanám, hogy keserű: ezért foglalkozom olyan win-win ügyletek megtalálásával, amelyeket én és mások a társadalom többi részével megtehetünk az egzisztenciális kockázatcsökkentésben.

Csakúgy, mint aki sült babos vagy szupravezető mágneseket készít, olyan áron értékesíti, amely mindenki számára előnyös. Keserű mérnökként bérért dolgozni, ahelyett, hogy az összes rendelkezésre álló jövedelmét visszaadná a cégnek?


JoshuaZ 2010. július 23., 16:03:53 2 pont

mivel az LW közösségen belüli státus tulajdonképpen nem használható.

Biztos vagy ebben? Úgy tűnik, hogy az egzisztenciális kockázati problémákat súlyosabbnak tartja, mint az LW közösség nagy részét. Ha státusza növekszik, feltehetően könnyebben rá tudja hívni az embereket arra, hogy meghallgassák, mit mondanak az egzisztenciális kockázatról.


Roko 2010. július 23., 16:31:27 1 pont

Igaz, de miért kellene befolyásolnia a státusznak azt, hogy az emberek elfogadják-e az én általam megalapozott érvelést?


JoshuaZ 2010. július 23., 16:44:12 3 pont

Mivel tökéletlen racionalisták vagyunk, ezért az emberek nagyobb valószínűséggel hallgatnak magasabb státuszú embereket. Az LWians racionálisabb, mint az általános népesség, ezért azt gondolnám, hogy némi nehézséget okoz az LWians hallgatásra késztetése, de miután hallgatnak, nagyobb valószínűséggel figyelnek racionális érvekre.


Roko 2010. július 23., 16:49:42 1 pont

ok, nos, ezennel vállalom, hogy elmondom az igazat, függetlenül attól, hogy ez negatívan befolyásolja-e az LW-közösség állapotomat. Ez a bejegyzés egy sajátos eset: tudtam, hogy elveszít engem Karma, de fontos, így is mondtam.


timtyler 2010. július 23., 09:50:52 0 pont

Még mindig „figyelmen kívül hagyja a fenyegetést”, amikor az ellenfél „csirke” játékos kidobja a kormányt az ablakán? Ilyen fenyegetésekre kell gondolnia.


orthonormal 2010. július 24., 04:30:48 0 pont

Ha a másik játékos rájön, hogy megvalósítom ezt a stratégiát, akkor eleve nem játszanak ellenem csirkét. Ezért érdemes követnem a megfélemlítésem megtagadását abban az ellentétes helyzetben, amikor csirkét játszok egy intelligens ügynök ellen, aki nyerni próbál. Természetesen, ha ki tudják dobni a kormányt, mielőtt megismernék a stratégiámat, akkor hagynám, hogy nyerjenek. Az „első lépés” nagy hatással van az ilyen játékokra.

A vitatott esetben úgy tűnik, hogy nekem van az első lépésem, mivel a feltételezett AI nem tud információt elküldeni nekem úgy, ahogyan tudom.


CronoDAS 2010. július 23., 06:06:56 PM* 3 pont

Tényleg nem hiszem, hogy egy FAI a Pokolba küldi az embereket.


Ismeretlen 2010. július 23., 06:59:32 5 pont

A Roko által említett megfontolások mellett (okok, amelyekért ezt megteheti), az is tény, hogy a történelem során a legtöbb ember, és a mai napon nagyon sok ember, talán még mindig a legtöbb, támogatta az emberek pokolba küldését. Tehát nem lenne hihetetlenül meglepő, ha a CEV is pokolba küldené az embereket.


PeerInfinity 2010. július 23. 09:10:24 PM* 1 pont

figyelmeztetés: lehet, hogy értelemszerűen vitatkozol.

Természetesen a FAI nem küldene embereket a pokolba, de a FAI definíciója megegyezik azzal, hogy egy CEV valójában milyen lenne, ha megvalósítanák?

Ezenkívül milyen meghatározást használ a FAI-hoz? A definíció néhány homályos részét a saját megérzése tölti ki?

Roko 2010. július 23., 18:16:47 * 1 pont

Milyen valószínűséggel? Még 1% -os valószínűséggel is érdemes lenne komolyan aggódni.

NancyLebovitz 2010. július 23., 19:27:40 3 pont

Egy százalék borzasztóan magasnak tűnik. Másrészt sok ember van, aki úgy gondolja, hogy a büntetés értékes eszköz arra, hogy az embereket arra tegyék, amit te akarsz (vagy legalábbis nem azt csinálsz, amit nem akarsz), és nem vagyok biztos abban, hogy a preferencia rendkívül valószínű, hogy kiesik a CEV-ből. Biztos vagyok benne, hogy vannak olyan emberek, akik úgy gondolják, hogy nem elég szigorúan hajtanak végre elég szabályt.

Szerinted hogyan nézne ki egy igazi CEV?


NancyLebovitz 2010. július 23., 21:33:39 2 pont

Bővítés azzal az elképzeléssel kapcsolatban, hogy az egy százalék szörnyen magasnak tűnik: Bármely olyan leírás, amely a FAI viselkedésének sajátos jellemzője, nagyon valószínűtlennek tűnik, kivéve a jól definiált egzisztenciális fenyegetések elhárítását.


Roko 2010. július 23., 20:20:44 * 2 pont

Jobb megkérdezni, hogy milyen a valószínűségi eloszlás, hogy nézne ki egy CEV, honnan ered a bizonytalanság:

  • bizonytalanság a CEV verbális koncepciójának algoritmikus gyorsítótárazásával kapcsolatban,
  • a tényleges erkölcsi elvekkel kapcsolatos empirikus bizonytalanságot jelenleg idegen kultúrából származó emberek támogatják. A következő országok: Kína, India, Afrika, Indonézia, Brazília, Pakisztán, Banglades, Nigéria, Oroszország, Japán, Mexikó, Fülöp-szigetek, Vietnam, Irán, Törökország, Thaiföld, Mianmar, Ukrajna, Kolumbia, Argentína, Irak, Nepál, Peru, Afganisztán, Venezuela, Malajzia, Üzbegisztán, Szaúd-Arábia, Észak-Korea alkotják a világ népességének több mint 80% -át, így lényegében lényegtelen, hogy mit akarnak a nyugatiak, ha ez a tétel blokkként működik. Vegye figyelembe azt is, hogy a világ legtöbb emberének nagyon nem liberális, nem ateista, nem progresszív értékei vannak.
  • logikus bizonytalanság arról, hogy mi történik, ha hamis tényeken és a megszakadt ontológián alapuló, kifejezetten jóváhagyott erkölcsi elveket extrapolálnak.

Nick_Tarleton 2010. július 23., 09:18:00 PM 2 pont

logikus bizonytalanság arról, hogy mi történik, ha hamis tényeken és a megszakadt ontológián alapuló, kifejezetten jóváhagyott erkölcsi elveket extrapolálnak.

Vagy csak arról, hogy az erkölcsi elvek hogyan kerülnek extrapolálásra, pont. Lehet, hogy a Parfit-típusú szimmetriai érvek, vagy több olyan szempontból történő ismerete, amely magában foglalja annak tudását, milyen másnak lenni, mindenkit az önzetlenség felé taszítana. Lehet, hogy a büntetés vágya az evolúció és a játékelmélet teljes megértésével teljesen kényszertelenné válik, mint végső érték. Vagy pesszimistán talán sok ember rábukkan a tiszta egoizmus meggyőződésére, és a játékelmélet nem akadályozza meg őket abban, hogy rosszul bánjanak az újonnan létrehozott emberekkel. A lehetséges CEV-kimenetelen belüli megoszlásom valóban rohamosan széles.


Roko 2010. július 23. 09:26:57 2 pont

Egyetértett abban, hogy az embernek a CEV kimenetelén belüli eloszlásának nagyon szélesnek kell lennie, és szeretném felhívni a figyelmet arra, hogy a CEV közműveken való elosztásának ennek megfelelően szélesnek kell lennie.


NancyLebovitz 2010. július 23., 09:11:47 PM* 1 pont

Nem valószínű, hogy blokkként fog működni - fogadok, hogy nem csak nem liberálisak, nem ateisták és nem progresszívek akarnak lenni. (Sokan közülük) meg akarják őrizni saját kultúrájuk lényeges aspektusait, amelyek egymástól meglehetősen eltérnek.

Nincs nagy bizonyosságom arról, hogy a CEV hogyan játszana még a modern amerikaiak, vagy akár a modern amerikai sf rajongók körében - ez utóbbi az a szubkultúra, amelyet a legjobban ismerek.

Az emberek nem sokat beszélnek a magukról alkotott legjobb álmaikról.

Az utolsó szempont nagyon jó.


Roko 2010. július 23. 09:15:39 2 pont

Nem valószínű, hogy blokkként fog működni

Elég rossz, ha viszonylag koherens blokkként viselkednek, miközben az olyan emberek, mint te és én, viszonylag elterjedtek a véleményünkben.



PeerInfinity 2010. július 23., 05:32:57 2 pont

Ezeket az aggályokat megosztottam Roko-val a gmail csevegésén keresztül, de még mindig úgy dönt, hogy nem törli ezt a bejegyzést, ezért folytatom és itt teszem közzé ezt a megjegyzést:

Az első reakcióm erre a bejegyzésre ... EEEEEEW !!! AZONNAL TÖRÖLJE EZT LW-BŐL !!! RÉMETTEN ROSSZ MEMETIKA !!! Ennek két külön bejegyzésnek kell lennie. Egy bejegyzés a Quantum Billionaire Trickről és egy bejegyzés arról a ... csúnya dolgokról ...

Komolyan, ez RÉMETTEN rossz memetika ...

Roko online a gchat-ban. Ezt az üzenetet küldtem neki:

Most olvastam az LW bejegyzésedet. Szerintem ennek két külön bejegyzésnek kell lennie. egyet a kvantummilliárdos trükkről, egyet pedig ... minden más cuccról. a kvantum milliárdos trükkről szóló rész jó, de a többi ... nagyon rossz memetika, és szerintem azonnal törölje az LW-ről. az az ötlet, hogy bárki büntetéséről egyáltalán beszéljünk, miután a szingularitás csak ... annyira teljesen rosszul érzi magát, hogy ... nos, ez nagyon erős negatív érzelmi reakciót vált ki. és gyanítom, hogy ez hasonló reakciókat váltana ki másokban, és esetleg kikapcsolná őket a segítség teljes gondolatából, és esetleg az embereket utálni fogja.

Még nem végeztem. Még mindig részletesebben meg kell magyaráznom ...

egy csípő: 'az emberek, akik segítenek neked, ugyanazok, mint akik megbüntetnek'. Ez a mondat megzavart. Először azt hittem, hogy ez elgépelési hiba volt, és „azoknak kellett volna lenniük, akiknek segítenek, ugyanazok, mint akik megbüntetnek”. De miután újraolvastam, nem vagyok biztos benne, mit akart ezzel mondani. És az utána következő mondat ugyanolyan zavaros. Ezeket a pontokat vagy jobban ki kell dolgozni és jobban meg kell magyarázni, vagy ki kell vágni.

az 1. lábjegyzet olvasása ... AAAAAAAAAARGH !!! Erősen elutasítom azt a stratégiát, amely szerint az embereket rettenetes rémálmokkal késztetik a nagyobb munkára !!! Ez nagy valószínűséggel kiégésig taszítja őket. És ... hmm ... mielőtt túl sokat panaszkodnék emiatt, talán tényleg el kellene végeznem a matematikát arról, hogy mekkora a kiégés veszélye elfogadható, cserébe a hatékonyság növekedésének mekkora fokáért ... vagy talán Megkérhetném Rokot, hogy végezzen matematikát, úgy tűnik, hogy az ilyesmiben jó ... és egyáltalán miért kellenek büntetések ??? miért ne adhatna extra jutalmat azoknak az embereknek, akik a leginkább segítőkészek voltak? de még ez is elég ellentmondásos.

Számomra elegendő büntetés és motiváció lenne, ha állandóan nyilvántartanám a „pontszámomat”, jól láthatóan megjelenítve valahol a nyilvánosság előtt, világosan kiemelve a legrosszabb választásaimat.

vissza a fő bekezdéshez ... AAAAAAARGH !!! Az „élő pokol” szavakat használta ... ez csak ... teljesen elfogadhatatlan. Bármely jövő, amelyet bárki számára „élő pokolnak” lehetne mondani, véleményem szerint kudarc. Vagy legalábbis borzalmasan nem optimális, még mindig nem vagyok döntő azokról a forgatókönyvekről, amelyekben néhány embernek szenvednie kell a sok jó érdekében ...

Komolyan, de MIÉRT KELL egyáltalán a Büntetésről Beszélned ?????? Nem ugyanazok a haszonelvű érvek lennének érvényesek, ha extra jutalmat adna a segítőkészebb embereknek, ahelyett, hogy megbüntetné azokat az embereket, akik szándékosan nem segítenek?

Talán hiányzik a lényeg. Lehet, hogy a lényeg az volt, hogy bár NAGYON ERŐSEN nem értek egyet azzal a gondolattal, hogy az egyediség után egyáltalán megbüntessek bárkit is, főleg addig a pontig, hogy életüket „pokollá tegyék”, talán az emberiség CEV-je valójában ezt választja ...

AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAASDLKFJ; ALSDKJF; ALSKDFJ; AL; LDKASJF; ALSKDJF; ALKSJDA !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

Arra akartam mondani, hogy „az a lehetőség, hogy a CEV megbüntet bárkit, aki kevesebb, mint 100% -ot adott, arra ösztönöz, hogy most öljem meg magam, hogy elkerüljem ezt a sorsot, ahelyett, hogy keményebben dolgoznék azért, hogy a sorsom kissé kevésbé kellemetlen legyen” ... de akkor rájöttem, hogy olyan entitással van dolgunk, amely képes „mentőszimulációk” létrehozására ... ami ... ugh ... erre már korábban rájöttem, de blokkoltam a gondolatot, mert egyszerűen túl szörnyű ezt szemlélni ... ezeket ” mentőszimulációk 'is felhasználhatók annak megakadályozására, hogy az öngyilkosság a büntetés elől meneküljön ...

[expletive] ... Azt hittem, hogy végre megszabadultam a rémálmaktól, ahol valamiféle poszt-szingularitás poklába kerülök ... de most Roko-nak el kellett mennie, és homályosan elfogadható érvet kellett létrehoznia, amiért ez mégis megtörténhet .. .

ugh ... további rossz memetika ebben a bejegyzésben: 'Elvehetné mondjuk az univerzum 50% -át magának, és a másik 50% -ot felajánlhatná az emberiségnek.' ... ... ... Az adakozásról beszélsz szörnyű büntetések az embereknek azért, mert erőforrásaik kevesebb mint 100% -át szentelték az x-kockázat csökkentésére ... és ugyanabban a bejegyzésben arról beszélsz, hogy az univerzum 50% -át magadnak veszed? nem tűnik kissé képmutatónak?

és akkor felmerül a kérdés, hogy ... hogyan juthatna egy ember arra a hatalomra, hogy kiválassza, mit kezdjen az egész univerzummal? És ez a forgatókönyv valahogy magában foglalja a CEV-t is? Ennek semmi értelme ...

'Erőforrásait arra is felhasználhatja, hogy okkereskedéssel kereskedjen egy CEV-szerű szinglettel, amely egyébként megbüntetheti Önt azért, mert részleges x-kockázat csökkentő volt, amint azt korábban említettük.' ... ... ... Ennek semmi értelme. Hogyan kerülhetne olyan helyzetbe, ahol személy szerint rendelkezik erőforrásokkal a CEV kereskedelméhez? ugh ... és ennek a következő bekezdésnek sincs értelme. Nem értettem egyiket sem.

Szóval, hm, igen, ez a bejegyzés egyáltalán nem jó. Javaslom a teljes törlését. Ehelyett írjon egy új bejegyzést, csak a kvantum milliárdos trükkről, a többi hülyeség nélkül.

Hmm ... talán jobban kellene tisztáznom, hogy mire haragszom annyira. Leginkább az, hogy dühös vagyok azon a gondolaton, hogy az emberiség CEV-je úgy dönt, hogy megbünteti az embereket, a Szingularitás után, egészen addig a pontig, hogy életüket 'élő pokolivá' tegye ... Ez a gondolat mindenféle negatív reakciót vált ki. .. düh, félelem, undor, kilátástalanság, szánalom, pánik, hitetlenség, öngyilkossági gondolatok, csalódottság, bűntudat, szorongás, szomorúság, depresszió, sikoltási és elfutási vágy, törés és sírás iránti vágy, attól tartva, hogy ezen gondolkodik még rosszabbul fogja meggondolni az agyamat, mint amilyen már megtört ... félelem a valószínűleg rémálmaktól ... attól tartok, hogy ez valóban megtörténik ...

ó, egy másik dolog, amit meg akartam említeni ... ennek a forgatókönyvnek az a gondolata, hogy igazán kísértésbe esem a negatív utilitáriusok legszélsőségesebb csoportja mellett, azoknak, akiknek feladata az univerzum minden szenvedésének megszüntetése ... az egész élet megszüntetésével az univerzumból ...

de valószínűleg túlreagálom. Már tudom, hogy a haszonelvű tennivaló az lenne, ha csak elfogadom a sorsomat, és folytatom a munkát az univerzum nettó hasznosságának maximalizálása érdekében, még akkor is, ha a CEV sikeres megvalósítása is sok szenvedést eredményezne magamnak.

de valószínűleg még mindig túlreagálom. Van még egy részlet, hogy máris megpróbálok 100% -osan hatékony lenni az egzisztenciális kockázat minimalizálásában. Már sokat írtam arról, hogy a jelenlegi problémám az, hogy annyira félek pénzt költeni magamra, hogy olyan dolgokra sem költök pénzt, amelyek valójában hatékonyabbá tennék az x-kockázatok csökkentését.

ow ... az elmém csak még egy kicsit összetört ... most azon aggódom, hogy a CEV megbüntet, amiért nem találtam meg az optimális egyensúlyt a közvetlen x-kockázatcsökkentésre fordított pénz és a saját magamra költött pénz között ...

amúgy azt akarom mondani, hogy tudom, hogy nem szabad haragudnom Roko-ra, amiért megemlíti annak lehetőségét, hogy a CEV borzasztóan bünteti az embereket a szingularitás után.

de ... még mindig úgy gondolom, hogy ezt a bejegyzést törölni kell az LW-ből. Nem csak azért, mert memetikailag veszélyes ötletet emlegetett, hanem azért, mert nagyon rossz munkát végzett az ötlet kifejtésében és megvitatásában. A poszt tele van hülyeségekkel. Kérem, törölje, Roko. Ha továbbra is szeretne erről a témáról írni, kérjük, írjon egy új cikket a semmiből. A cikk, mint most, rosszabb, mint használhatatlan. Komolyan. Törölje most. Kárt okoz. Vagy legalábbis azt feltételezném, hogy kárt okoz ...


Roko 2010. július 23., 05:35:46 0 pont

amit azt akarok mondani, hogy tudom, hogy nem szabad haragudnom Roko-ra, amiért megemlíti annak lehetőségét, hogy a CEV szörnyen megbünteti az embereket a szingularitás után.

Jobb! Lehet, hogy az őrületet produktívan a CEV-nél kicsit biztonságosabb valami megvalósítására kell irányítani?


Nisan 2010. július 23., 19:30:38 * 2 pont

biztonságosabb, mint a CEV

Mi az alternatívája a CEV-vel szemben? 1000 ember CEV-je, akik osztják erkölcsi értékeinket?


red75 2010. július 23., 20:01:35 * 1 pont

AI, amely előszeretettel segíti az emberiséget a CEV megtalálásában és megvalósításában (esetleg kijavítja a CEV-t folyamat közben).


Roko 2010. július 23., 20:46:31 * 0 pont

Nos, logikailag szólva az adott ember kedvenc célrendszere az, amely extrapolálja egyéni akaratát. Ellentmondásos, ha egy teljesen racionális ügynöknek van bármi más, kivéve a célrendszert, amely extrapolálja egyéni akaratukat (vagy valamilyen célrendszert, amely ugyanarra a célra szolgál), mint azt, amelyet legszívesebben megvalósítanának.

Azonban 1000 ember, akik hozzávetőlegesen osztják az értékeit, valószínűleg jó második. Még az 1.000.000 vagy 100.000.000 olyan ember is, aki hozzávetőlegesen osztja az értékeit, még mindig nagyon jó.


timtyler 2010. július 23., 20:09:03 PM 1 pont

A nagy mennyiségű fogadások hosszú szorzók esetén általában nagyon rossz dolog a kereskedő számára - a pénz csökkenő haszna miatt. Az alkalmi nagy győzelem nem képes kompenzálni az összes veszteséget.

Nagyon világos, miért gondolná bárki, hogy a jövőbeni körülmények változása valószínűleg kevésbé ostobává teszi az ilyen kockázatkereső magatartást.


Ibolya 2010. július 23. 14:02:11 3 pont

Mit szólnál ahhoz, ha egyszerűen rendelkezel egy belső baráti körrel, amely megosztja az egzisztenciális kockázatcsökkentés preferenciáit? Ne az átlagot választja, hanem inkább egy rést, ahol boldogulni fog.

Nagyobb környezetben az emberek nem tudják, kinek adományozol, így ebből semmi furcsaságjelzés nincs.

Ami az ufai-t illeti, van-e valamilyen adata arról, hogy ez valószínű eredmény? Ésszerűtlen félelem helyett. Az ufai-nak nincs oka arra, hogy ne kínozzon akkor is, ha az összes jövedelmét feláldozta annak létrehozására. Miért kell törődnie azzal, hogy kik segítettek az egzisztenciális kockázatok enyhítésében jövedelmük 0, 10 vagy 95% -ával?


Roko 2010. július 23. 14:17:26 1 pont

'Erőforrásokat arra is felhasználhat, hogy okkereskedéssel kereskedjen az összes lehetséges barátságtalan mesterséges intelligenciával, cserélje ki az erőforrásokat olyan fiókokban, ahol sikerrel jár az uFAI számára, megkímélve az életét, és' nyugdíjba vonulva 'a világegyetem kis hányadával olyan ágazatokban, ahol van épült.'


Roko 2010. július 23. 14:16:23 0 pont

Ami az ufai-t illeti, van-e valamilyen adata arról, hogy ez valószínű eredmény?

Mit értesz az adatok alatt?

A SIAI konszenzus szerint a P (uFAI)> P (FAI). Az indoklás az, hogy az uFAI-t sokkal könnyebb elkészíteni.


timtyler 2010. július 23., 08:47:16 PM 0 pont

A SIAI abból finanszírozza, hogy meggyőzte az embereket arról, hogy a vég valószínűleg közel van - és hogy egy lehetséges megoldáson dolgoznak. Ez nem az a típusú szervezet, amelyben megbízhat abban, hogy objektív legyen egy ilyen kérdésben - nyilvánvaló érdekeik vannak.


timtyler 2010. július 23., 08:43:20 PM 0 pont

Re: 'Az indoklás az, hogy az uFAI-t sokkal könnyebb elkészíteni.'

Naiv érvelésnek tűnik. Sokkal könnyebb véletlenszerű rendetlenséget okozni az ASCII-ben, amely összeomlik vagy hurkokba ütközik - és a szoftvercégeknek mégis sikerül szállítani működő termékeket.


éger 2010. július 24., 05:31:42 0 pont

A szoftvercégek általánosan * barátságtalan szoftvereket is szállítanak, ahol barátságtalanul azt értem, hogy „bizonytalan és könnyen kihasználható”.

(A biztonság biztos elengedhetetlen előfeltétele a barátságosságnak. A FAI nem lehet F, ha az első vírus vagy trójai lobotomizálja, vagy gemkapcsokká változtatja.)

* Kivéve azoknak a társaságoknak az eltűnően ritka példáit, amelyek hivatalos rendszerbe írják kódjukat, például Isabelle vagy Coq.

Ibolya 2010. július 23. 14:24:54 0 pont

Úgy értettem, hogy „olyan ufai, hogy ilyen szelektív módon büntet”.


Roko 2010. július 23. 14:28:42 0 pont

Arra gondolsz, hogy a CEV megbünteti?


SarahC 2010. július 23., 15:00:19 2 pont

Ha önzetlenséged jelentősen árt neked személyesen, jó eséllyel túl sokat vagy rosszul csinálsz belőle.


Roko 2010. július 23. 17:58:09 1 pont

Vagy lehet, hogy a helyes megoldás a win-win üzlet a win-win megállapodás helyett?


EStokes 2010. július 23., 18:39:18 * 1 pont

Ebben a tekintetben fennáll az a baljóslatú lehetőség, hogy ha pozitív szingularitás mégis bekövetkezik, akkor az eredő szingulett elkövetheti, hogy megbüntesse az összes potenciális donort, aki tudott az egzisztenciális kockázatokról, de a rendelkezésre álló jövedelem 100% -át nem adta x-risk motivációnak. . Ez ösztönzésként szolgálna arra, hogy az emberek többet adakozzanak az egzisztenciális kockázat csökkentése érdekében, és ezáltal növeljék a pozitív szingularitás esélyét. Úgy tűnik, hogy ezt teheti a CEV (az emberiség koherens extrapolált akarata), ha egy ok-okozati döntéshozó lenne. Tehát a szingularitás utáni világ szórakozás és rengeteg világ lehet az emberek számára, akik jelenleg figyelmen kívül hagyják a problémát, miközben élő pokol a jelenlegi egzisztenciális kockázatcsökkentők jelentős részének (mondjuk a legkevésbé nagylelkű fele).

Zavarban vagyok - csak nem kínozhatná meg az embereket? A kínzás negatív hasznot jelentene, de ha valaki teljes mértékben adományozna, az plusz lenne. De ha az illető már teljes mértékben adományozott, vagy nem, akkor ez csak egy mínusz hasznosság, és ez nem egy iterált fogoly dilemma ... Csak akkor működne, ha az emberek már tudnák, hogy megbüntetik őket, és ebben esetben nem csaltál el minket azzal, hogy ezt közzétetted?


Ismeretlen 2010. július 23., 19:58:10 1 pont

Legalábbis biztosan növelte annak esélyét, hogy jelentősen megkínozzanak minket.


ata 2010. július 24., 05:52:06 AM* 0 pont

Ebben a tekintetben fennáll az a baljóslatú lehetőség, hogy ha pozitív szingularitás mégis bekövetkezik, akkor az eredő szingulett elkövetheti, hogy megbüntesse az összes potenciális donort, aki tudott az egzisztenciális kockázatokról, de a rendelkezésre álló jövedelem 100% -át nem adta x-risk motivációnak. . Ez ösztönzésként szolgálna arra, hogy az emberek többet adakozzanak az egzisztenciális kockázat csökkentése érdekében, és ezáltal növeljék a pozitív szingularitás esélyét. Úgy tűnik, hogy ezt teheti a CEV (az emberiség koherens extrapolált akarata), ha egy ok-okozati döntéshozó lenne. Tehát a poszt-szingularitás világa szórakozás és rengeteg világ lehet azok számára, akik jelenleg figyelmen kívül hagyják a problémát, miközben a jelenlegi egzisztenciális kockázatcsökkentők jelentős részének (mondjuk a legkevésbé nagyvonalú fele) élő pokolnak számítanak.

Úgy hangoztatja a CEV-t, mint Jahve őrültebb változata. Homályosan látom, hogyan működne, ha lenne valamilyen módja ennek az eredménynek az elkötelezettségére (bár nem lenne nagyszerű PR, ha a SIAI bejelentené: 'Mindazokat, akik nem segítenek nekünk, amennyire csak tudnak, örökre kínozni fogják!' .. és még ha lenne is, azt gondolom, hogy rossz ötlet lenne), de minden kötelezettségvállalás hiányában az az érv, amint megértem, az az, hogy a CEV a következőket határozza meg az intelligens szingularitás előtti emberekről, tudott az x-kockázatról és a CEV-ről:

  • Gondolni fognak erre a lehetőségre
  • Elég jól képesek lesznek modellezni a CEV-t ahhoz, hogy előre láthassák az erre adott választ
  • Ennek megfelelően frissítik viselkedésüket, ha tudják, mi a jó nekik

Leginkább azért utasítanám el, mert nem várható el tőlünk, hogy a CEV-t majdnem elég jól modellezzük ahhoz, hogy ezt igaznak várjuk, vagy akár elhanyagolható valószínűségnél többet is rendeljünk hozzá. Ha van valami, a CEV csak azért gondolja ezt, mert az emberek beszéltek róla, és elhanyagolható valószínűségnek hitték, ebben az esetben valószínűleg azonnal meg kell állnunk. (Edit: Amit Eliezer mondott.)

(Ráadásul, mivel nincs tényleges kötelezettségvállalás, úgy tűnik, az egyetlen következményes előny abban rejlik, hogy az embereket meggyőzi mostanában, hogy ezt a lehetőséget érdemes komolyan venni; ha a CEV bármi hasonló következményistát produkál, akkor nem zavarja a büntetés tényleges átélését. A hipotetikus megbízhatóság elvesztése nem jelent problémát, mert ez az a fajta fenyegetés, amelyet a történelem során csak egyszer kell komolyan venni.)

Figyelembe veheti ezt a lehetőséget, és még többet adhat az x-risknek a büntetés elkerülése érdekében. De természetesen, ha így gondolkodsz, akkor a CEV-szingulett még valószínűbb, hogy meg akar büntetni ... csúnya. Természetesen ez igazságtalan lenne, de az a fajta igazságtalan dolog, ami nagyon hasznos.

Ez még őrültebb. Még ha feltételeznénk is, hogy a korábbi érvelés helyes volt, milyen következményekkel járna az az ember büntetése, aki többet járul hozzá a büntetés elkerülésének vágyából? Még mindig többet járultak hozzá. Valójában azt hittem, hogy ez a lényeg - használja ezt a furcsa, az előfeltételezés előtti megállapodást arra, hogy az x-kockázat csökkentőket többre kényszerítse. „Ösztönzés arra, hogy az emberek többet adományozzanak az egzisztenciális kockázat csökkentésére”. Még akkor is, ha elegendő információnk lenne ahhoz, hogy megalapozottan elhihessük, hogy ez komoly lehetőség, mi értelme lenne kínozni az embereket, akik elismerik ezt a fenyegetést, és így úgy döntenek, hogy többet adnak?


Roko 2010. július 23. 09:03:30 PM 0 pont

Úgy tűnik tehát, hogy konszenzus az, hogy ebben a bejegyzésben tisztázatlanul és túl röviden ismertettem elképzeléseimet. Nagyra értékelném, ha az emberek kommentárként tudnának hozzászólni ehhez a megjegyzéshez, amely szerintük rosszul magyarázható.

Az emberek javasolhatják az anyag lebontásának jó módját is. Nincs jó ötletem arról, hogy milyen dolgok köztudomásúak itt, szemben azzal, hogy milyen dolgokat vettem fel különféle kevésbé nyilvánosságra hozott fórumokon.

Együtt hozzájárulhatunk e bejegyzés továbbfejlesztett változatának elkészítéséhez, talán sorozatként.