7. téma: Növekszik az algoritmikus műveltség, az átláthatóság és a felügyelet iránti igény

A válaszadással foglalkozó válaszadók sokféle ötletet kínáltak arra vonatkozóan, hogy az egyének és a tágabb kultúra hogyan reagálhatnak az élet algoritmusának kidolgozására. Megjegyezték, hogy azok, akik algoritmusokat készítenek és fejlesztenek, nincsenek elszámoltatva a társadalom előtt, és azt állították, hogy léteznie kellene valamilyen módszernek. Azt is állították, hogy nagy szükség van az algoritmus-műveltség oktatására, és hogy azoknak, akik algoritmusokat terveznek, etikai képzésben kell részesülniük, és meg kell követelniük a társadalmi hatásokat figyelembe vevő kód megtervezését, mivel ez hatékonyságot eredményez.


Glenn Ricart, Az Internet Hall of Fame tagja, az US Ignite technológusa, alapítója és vezérigazgatója megjegyezte: 'A veszély az, hogy az algoritmusok' fekete dobozként 'jelennek meg, amelyek szerzői már döntöttek a pozitív és negatív hatások egyensúlyáról - vagy talán nem is gondolták az összes lehetséges negatív hatáson keresztül. Ez szándék nélkül felveti a hatás kérdését. Felelős vagyok-e az általam hivatkozott algoritmus, vagy a szolgáltatásom megválasztása érdekében a nevemben hivatkozott algoritmusok összes hatásáért? Hogyan érhetjük el az algoritmus átláthatóságát, legalább a felelős meghíváshoz szükséges szinten? Pozitívumként: hogyan segíthetünk mindenkinek jobban megérteni az általuk választott és használt algoritmusokat? Hogyan segíthetünk az embereknek az általuk választott és használt algoritmusok személyre szabásában?

A visszalépés elkerülhetetlen, de szükséges lesz, és hosszú távon mindannyiunk számára előnyösebb egyensúlyt eredményez.
Scott McLeod


Scott McLeod, a denveri Colorado Egyetem oktatási vezetői docense reméli, hogy a nyilvánosság nagyobb irányítást fog szerezni. 'Bár vannak veszélyek azzal kapcsolatban, hogy ki hozza létre és irányítja az algoritmusokat' - mondta -, végül olyan mechanizmusokat fogunk kifejleszteni, amelyek nagyobb kontrollt biztosítanak a fogyasztóknak, amelynek nagyobb megértést és bizalmat kell eredményeznie. Jelenleg a technológiák messze felülmúlják egyéni és társadalmi képességeinket, hogy megértsük a történteket, és a vállalati és kormányzati szervezetek kihasználják ezeket a fogalmi és ellenőrzési hiányosságokat. A visszalépés elkerülhetetlen, de szükséges lesz, és hosszú távon mindannyiunk számára előnyösebb egyensúlyt eredményez ”.

Az algoritmustudással kezdődik - ez meghaladja az alapvető digitális műveltséget

Mivel az algoritmusok általában láthatatlanok - még gyakran „fekete dobozos” konstrukcióknak is nevezik őket, mivel a felhasználói felületeken nem nyilvánulnak meg, és a kódjukat általában nem hozzák nyilvánosságra - a legtöbb ember, aki naponta használja őket, sötétben van arról, hogyan működik és miért fenyegetést jelenthetnek. Néhány válaszadó szerint a lakosságot jobban kell oktatni velük kapcsolatban.

Hacsak nincs nagyobb erőfeszítés arra, hogy a valódi információs műveltség az alapképzés részévé váljon, lesz egy olyan osztály, amely képes használni az algoritmusokat, és egy osztály, amelyet az algoritmusok használnak.
David Lankes

David Lankes, a Dél-Karolinai Egyetem Könyvtártudományi és Információtudományi Karának professzora és igazgatója ezt írta: „Egyszerűen nem kétséges, hogy az algoritmusok automatizálásának és nagyszabású alkalmazásának összességében nettó pozitív hatása van. Az emberek termelékenyebbek lehetnek, többet tudhatnak meg, mint eddig bármikor, felismerhetik a hatalmas adathalmok trendjeit, és jobban megismerhetik a körülöttük lévő világot. Mindazonáltal, hacsak nem fokozott erőfeszítéseket teszünk arra, hogy a valódi információs műveltség az alapképzés részévé váljon, lesz egy olyan osztály, amely képes használni az algoritmusokat, és egy osztály, amelyet az algoritmusok használnak ”.


Az MIT egy névtelen professzora megfigyelte: '(Az algoritmusok által előterjesztett kihívás) az összes legnagyobb kihívás. A legnagyobb azért, mert annak kezelése nemcsak technikai kifinomultságot igényel, hanem a társadalmi hatások megértését és érdeklődését is. Az „érdeklődés” kulcsfontosságú. A vállalati világnak nemcsak a hatások iránt kell érdeklődnie, hanem a fogyasztóknak is tájékozottnak, képzettnek és aktivistának kell lenniük valami finom felé orientálódásukban. Erről szól a számítógépes műveltség a 21. században ”.

Trevor Owens, a Múzeumi és Könyvtári Szolgáltatások Intézetének vezető programtisztje egyetértett, és így írt: „Az algoritmusoknak mindegyiküknek megvan a maga ideológiája. Ahogy a számítási módszerek és az adattudomány egyre inkább az életünk minden aspektusának részévé válnak, elengedhetetlen, hogy elkezdődjön a munka annak érdekében, hogy szélesebb körű műveltség álljon fenn e technikák iránt, és hogy az őket körülvevő etikai kérdések kiterjedten és mélyen részt vegyenek. '.


Daniel Menasce, a George Mason Egyetem informatikai professzora azt írta: „Az algoritmusok már régóta léteznek, még a számítógépek feltalálása előtt. Csak egyre gyakoribbá válnak, ami az egyéneket és az egész társadalmat jobban tudatosítja létezésükben a mindennapi élet eszközeiben és alkalmazásaiban. A legnagyobb gondot az okozza, hogy az eszközök és alkalmazások sokaságába beágyazott algoritmusok átláthatatlanok az egyének és a társadalom számára. Vegyük például a jelenleg fejlesztés alatt álló önvezető autókat. Minden bizonnyal rendelkeznek ütközés-elkerülési és kockázatcsökkentő algoritmusokkal. Tegyük fel, hogy egy gyalogos keresztezik a járműve előtt. A beágyazott algoritmus dönthet úgy, hogy eltalálja a gyalogost, nem pedig a jármű fának döngölését, mert az első választás kevesebb kárt okozhat a jármű utasainak. Hogyan döntheti el az egyén, hogy jól van-e az algoritmusokba ágyazott számtalan döntési szabály, amelyek irányítják az életedet és viselkedésedet anélkül, hogy tudnák, mit fognak dönteni az algoritmusok? Ez nem triviális probléma, mert sok jelenlegi algoritmus gépi tanulási technikákon alapul, és az általuk használt szabályokat idővel megtanulják. Ezért, még ha a beágyazott algoritmusok forráskódját is nyilvánosságra hozzák, valószínűtlen, hogy az egyén tudja a futáskor meghozandó döntéseket. Összefoglalva, az eszközök és alkalmazások algoritmusainak vannak nyilvánvaló előnyei, de komoly kockázatokat rejtenek, amelyeket mérsékelni kell ”.

Egy névtelen szakpolitikai tanácsadó elmondta: 'Szükség van algoritmikus műveltségre, és kritikusan értékelni kell például a gépi tanulás eredményeit, és nem utolsósorban azt, hogy ez hogyan kapcsolódik a képzési adatok torzításához. Alapvető fontosságú egy olyan keretrendszer megtalálása, amely lehetővé teszi az átláthatóságot és az eredmények értékelését. Szükség van az algoritmikus „értéklánc” széleskörű megértésére is, és hogy az adatok a legfontosabb hajtóerők és ugyanolyan értékesek, mint az általuk képzett algoritmusok ”.

Alexander Halavais, az Arizonai Állami Egyetem szociális technológiák mesterképzésének igazgatója szerint ezeknek az összetett fogalmaknak az oktatása 'forradalmi' oktatási erőfeszítéseket igényel. 'Az egész társadalom számára az algoritmikus rendszerek valószínűleg megerősítik (és esetleg kalcifikálják) a meglévő ellenőrzési struktúrákat' - magyarázta. 'Bár a társadalomnak lesznek olyan szektorai, amelyek továbbra is képesek lesznek kihasználni az algoritmikus irányítás felé történő elmozdulást, valószínűbb, hogy ezek az algoritmusok továbbra is a jövőben a meglévő társadalmi struktúrát írják le. Ez azt jelenti az amerikai társadalom számára, hogy azok a struktúrák, amelyek Horatio Alger történeteit olyan valószínűtlenné teszik, még kevésbé fogják őket. Ezeket a struktúrákat a természet működésének csak részeként „honosítják” meg. Ennek az eredménynek a elkerülése forradalmi jellegű oktatási erőfeszítéseket igényel, amelyeket a mai Amerikában rendkívül nehéz megvalósítani; olyan oktatás, amely nemcsak a gyerekeket tanítja „kódolni”, hanem kritikusan gondolkodni arról, hogy a társadalmi és technológiai struktúrák hogyan alakítják a társadalmi változásokat és lehetőségeket ”.

Justin Reich, az MIT Teaching Systems Lab ügyvezető igazgatója megjegyezte: 'Az algoritmusok társadalmunkban történő előrehaladó hatása új felügyeleti formákat és modelleket igényel. Ezek egy részének kibővített etikai képzést kell magában foglalnia az informatika képzési programjaiban, hogy az új programozók jobban megértsék döntéseik következményeit egy sokszínű és pluralista társadalomban. Szükségünk van a kódex felülvizsgálatának és felügyeletének új formáira is, amelyek tiszteletben tartják a vállalati üzleti titkokat, de nem engedik, hogy a vállalatok titoktartásra hivatkozjanak a nyilvános felügyelet minden formájának elkerülése érdekében. ”


Az emberek elszámoltathatósági folyamatokat, felügyeletet és átláthatóságot követelnek

2016 banner év volt az algoritmus elszámoltathatósági aktivisták számára. Bár nagyrészt homályban kínlódtak, számuk növekedni kezdett. Eközben a közvélemény érdeklődése némileg megnőtt, mivel az összes vezető globális technológiai vállalat az AI-ba fektetett nagy beruházásokkal, az autonóm járművek tervezésében és elérhetőségében elért áttörésekkel, valamint a nagy adatelemzés elterjedésével új hangsúlyt fektettek az algoritmusokkal kapcsolatos kérdésekre. A válaszadás során sok válaszadó sürgette új algoritmusok elszámoltathatósági, felügyeleti és átláthatósági kezdeményezéseinek kidolgozását és bevezetését. Miután ezt a kérdést szakértői csoportunk véleményezésre nyitva tartotta (2016. július 1–12.), Három fontos Fehér Ház jelentést tettek közzé az AI-ről, és a Partnership on AI, egy ipari központú munkacsoport, amely magában foglalja az Amazon-ot is. Bejelentették a Facebookot, a Google-t, az IBM-et és a Microsoft-ot. (Az Apple 2017 elején csatlakozott a partnerséghez.)

Az algoritmikus elszámoltathatóság egy nagy sátras projekt, amely elméleti szakemberek, szakemberek, jogászok, társadalomtudósok, újságírók és mások képességeit igényli. Sürgős, globális ügy, elkötelezett és mozgósított szakértőkkel, akik támogatást keresnek.
Frank Pasquale

Ebben a vásárlásbanFrank Pasquale, szerzőjeA Fekete Doboz Társaság: A pénzt és az információt ellenőrző titkos algoritmusokés a Marylandi Egyetem jogi professzora írta: „Az empiristákat frusztrálhatja az algoritmikus döntéshozatal„ fekete dobozos ”jellege; együttműködhetnek jogtudósokkal és aktivistákkal annak bizonyos aspektusainak megnyitása érdekében (az információszabadság és a valós adatok gyakorlata révén). Az újságírók is együttműködtek a számítógépes programozókkal és a társadalomtudósokkal, hogy felfedjék az adatgyűjtés, az elemzés és a felhasználás új, magánéletét sértő technológiáit - és a szabályozókat arra kényszerítsék, hogy visszaszorítsák a legsúlyosabb elkövetőket. A kutatók túlmutatnak a meglévő adatok elemzésén, és csatlakoznak az őrzők, az archiválók, a nyílt adataktivisták és a közérdekű ügyvédek koalícióihoz, hogy kiegyensúlyozottabb „nyersanyag” -készletet biztosítsanak az elemzés, a szintézis és a kritika szempontjából. A társadalomtudósoknak és másoknak el kell kötelezniük magukat a létfontosságú, hosszú távú projekt mellett annak biztosításáért, hogy az algoritmusok korrekt és releváns dokumentációt készítsenek; ellenkező esetben az államok, bankok, biztosítótársaságok és más nagy, hatalmas szereplők egyre hozzáférhetetlenebb adatokat fognak létrehozni és birtokolni a társadalomról és az emberekről. Az algoritmikus elszámoltathatóság egy nagy sátras projekt, amely elméleti szakemberek, szakemberek, jogászok, társadalomtudósok, újságírók és mások képességeit igényli. Sürgős, globális ügy, elkötelezett és mozgósított szakértőkkel, akik támogatást keresnek ”.

A vitatás több résztvevője szerint a törvénynek fel kell zárkóznia a valósághoz.

Lee McKnight, a Syracuse Egyetem Információtudományi Karának egyetemi docense elmondta: 'Tekintettel az emberek életének minden aspektusára gyakorolt ​​széleskörű hatásra, végül a szoftverek felelősségéről szóló törvényt el kell ismerni, hogy reformra szorul, mivel most szó szerint a kódolók megúszhatja a gyilkosságot. A komplex politikai modellek, mint például a (z) Dodd-Frank Volcker Rule tőkemegfelelési szabványok, végrehajtásának és működésének szabályozása önmagában is algoritmikusan vezérelt lesz. A szabályozási algoritmusokat, kódokat és szabványokat - valójában már most is - szolgáltatásként nyújtják. A nem szándékos következmények törvénye azt jelzi, hogy az algoritmusokban kódolt társadalmi és technikai komplexitás egyre növekvő rétege biztosítja, hogy előre nem látható katasztrofális események történjenek - valószínűleg nem azok, amelyek miatt aggódtunk ”.

A kormánynak lépnie kell, vagy az információk bizonyos felhasználásának megakadályozása, vagy az ebből eredő megkülönböztetés kompenzálása érdekében.
Mark Lemley

Mark Lemley, a Stanford Law School jogi professzora rámutatott arra, hogy sürgősen foglalkozni kell a korábban nem elérhető adatok bőségéből adódó új kérdésekkel. Kifejtette: „Az algoritmusok hatékonyabbá teszik az életet és a piacokat, és jelentős előrelépésekhez vezetnek az egészség terén. De felszámolnak számos olyan implicit biztonsági hálót is, amelyet az információhiány lehetővé tett. A kormánynak lépnie kell, vagy az információk bizonyos felhasználásának megakadályozása, vagy az ebből eredő megkülönböztetés kompenzálása érdekében ”.

Tse-Sung Wu, a Genentech projektportfólió-menedzsere, az autonóm járművekhez kapcsolódó felmerülő aggodalmakat példaként használta a jogi reform szükségességére. Azt írta: 'Talán a legnagyobb veszély az elszámoltathatóság feloszlatása, hacsak nem változtatjuk meg törvényeinket. Ki lesz felelősségre vonva, ha ezek a döntések helytelenek? Jelenleg ez egy személy - a jármű vezetője, vagy szakmai szolgáltatások esetén valaki, aki rendelkezik szakképzettséggel és / vagy képesítéssel (orvos diagnózist állít fel és kezelési tervet készít; bíró dönt; az erőforrások elosztásának módjáról stb.). Mindegyikben van egy személy, aki a végső döntéshozó, és legalább erkölcsi szinten az a személy, aki elszámoltatható (más kérdés, hogy felelősségre vonják-e őket). Felelősségbiztosítás létezik annak érdekében, hogy kezelni lehessen az egyének rossz döntéshozatali kockázatát. Hogyan foglalkozik kártérítési jogrendszerünk a döntéseket meghozó technológiákkal: Az algoritmus készítője lesz-e az eszköz végső elszámoltathatóságának személye? A tulajdonosa? Ki más? Az algoritmust korlátozzák az alkotójának feltevései, világnézete / mentális modellje és elfogultsága. Könnyebb lesz ezeket kikezdeni, nehezebb lesz-e elrejteni az elfogultságokat? Talán, ami jó lenne. Végül, bár a technológia folyamatosan javul, ismét a társadalomnak kell felzárkóznia. Az eszközök civilizációjában élünk, de egyetlen dolog, amit ezek az eszközök még nem tesznek meg, az az, hogy fontos döntéseket hozzanak. A termékfelelősség körüli jogi fogalmak szorosan meghatározzák az eszközök és fogyóeszközök meghibásodásának vagy elvesztésének felelősségét. Amint azonban az eszközök belépnek a döntéshozatal területére, ennek megfelelően frissítenünk kell társadalmi normáinkat (és ezáltal törvényeinket). Amíg nem jutunk társadalmi konszenzusra, gátolhatjuk ezen új technológiák elterjedését, és akaratlanul is szenvedhetünk tőlük ”.

Patrick Tucker, szerzőjeA meztelen jövő, írta: „Olyan törvényeket hozhatunk létre, amelyek védik az önkéntes információkat, például a genetikai információk megkülönböztetésmentességéről szóló törvény (Pub.L. 110-233, 122 Stat 881), amelyek biztosítják, hogy az embereket ne büntessék meg az általuk megosztott adatokért, amelyek aztán elkészülnek. utat egy algoritmusba. A fogyasztók számára elérhető titkosítási termékek jelenlegi csomagja azt mutatja, hogy rendelkezünk technikai eszközökkel ahhoz, hogy a fogyasztók teljes mértékben ellenőrizhessék saját adataikat, és megoszthassák azokat igényeik és igényeik szerint, és az FBI és az Apple közötti teljes vita azt mutatja, hogy erős a közérdek és támogatás az egyének azon képességének megőrzésében, hogy ellenőrizhető módon hozzanak létre adatokat és osszák meg őket. A lehető legrosszabb lépés, amelyet társadalomként most megtehetünk, az az, ha azt követeljük, hogy a technológiai fejlődés fordítsa meg önmagát. Ez hiábavaló és rövidlátó. Jobb megoldás az, ha megismerkedünk ezeknek az eszközöknek a működésével, megértjük, hogyan lehet őket jogszerűen felhasználni a köz- és fogyasztói szerepvállalás, a jobb életvitel, a tanulás és a szeretet szolgálatában, és meg kell értenünk, hogy miként élhetnek vissza ezek az eszközök ”.

Sok válaszadó egyetértett abban, hogy azonnali lépéseket kell tenni a nyilvánosság érdekeinek védelme érdekében.

Sandi Evans, a Kaliforniai Állami Műszaki Egyetem, Pomona adjunktusa azt mondta: 'Meg kell kérdeznünk: Hogyan értékeljük, megértjük, szabályozzuk, javítsuk, etikussá tegyük, igazságossá tegyük, átláthatóságot építsünk be stb.'?

Lilly Irani, a Kaliforniai Egyetem-San Diego egyetemi adjunktusa ezt írta: 'Bár az algoritmusoknak számos előnye van, a központosítás felé való hajlamukat politikával kell ellensúlyozni. Amikor algoritmusokról beszélünk, néha valójában a kódba ágyazott bürokratikus okokról beszélünk. A kódba ágyazás azonban erőteljesen kiveszi a bürokrácia végrehajtását az emberek kezéből és egy központi irányítóba - amit Aneesh Aneesh hívottalgokrácia. A második kérdés az, hogy ezek az algoritmusok olyan feltörekvő, valószínűségi eredményeket produkálnak, amelyek nem megfelelőek egyes területeken, ahol elszámoltatható döntésekre számítunk, például a joggyakorlatban.

Algoritmusainknak, csakúgy, mint törvényeinknek, nyitottnak kell lenniük a nyilvános ellenőrzésre, a tisztesség és a pontosság érdekében.
Thomas Claburn

Thomas Claburn, az InformationWeek főszerkesztője megjegyezte: 'Az algoritmusainknak, a törvényeinkhez hasonlóan, a tisztesség és a pontosság biztosítása érdekében nyitottnak kell lenniük a nyilvános ellenőrzésre'.

Az egyik névtelen válaszadó néhány konkrét javaslatot tett: „Az irányítással kapcsolatban: 1) Kezdjük azzal, hogy kötelező, hogy minden képzési készlet nyilvánosan elérhető legyen. Valójában valószínűleg csak jól képzett emberek vizsgálják felül őket, de legalább a saját érdekeit különféle kutatók vizsgálják, akiket nem tudnak ellenőrizni. 2) Mielőtt bármilyen szoftvert telepítene, alaposan tesztelni kell nemcsak a funkcióját, hanem az értékeit is. 3) Nem szabad olyan szoftvert telepíteni, amely felülvizsgálati mechanizmus nélkül befolyásolja az emberek előnyeit és megváltoztathatja azokat, ha emberek / betegek / diákok / munkavállalók / szavazók / stb. jogos aggodalma van. 4) Nem szabad halálos szoftvert telepíteni anélkül, hogy az emberi döntéshozók irányítanák őket. 5) Rendelkeznie kell legalább az operatív mulasztásokkal kapcsolatos közzétételekről, hogy az egyszerű halandók megtudhassanak valamit arról, amivel foglalkoznak ”.

A polgári jogokat vizsgáló jövőkutatási szervezet egyik névtelen vezető munkatársa megjegyezte: „Jogorvoslati eljárásoknak kell lenniük, mivel hibák történnek”.

Egy másik névtelen válaszadó ezt írta: „Három dolognak kell megtörténnie: 1) A jelszavak őskori megközelítésének 21. századi megoldása; 2) olyan eszköz, amelynek révén az egyénnek végső ellenőrzése és felelőssége van az információ felett; és 3) ezeknek az algoritmusoknak a kritikus dolgokra (például az egészségügyre és a pénzügyekre) való felhasználásának irányítása és felügyelete, az alkalmazásuk körüli nemzetközi (és nemzetközileg betartható) törvényekkel együtt. Oldja meg ezeket, és a világ az Ön kagylója (vagy valószínűbb, hogy a Google kagylója).

Robert Bell, az Intelligens Közösségi Fórum társalapítója megjegyezte: „Az átláthatóság a nagy kihívás. Mivel ezek a dolgok egyre nagyobb befolyást gyakorolnak, szeretnénk tudni, hogyan működnek, milyen döntéseket hoznak és ki a felelős. Az irónia az, hogy amint az algoritmusok összetettebbé válnak, azok készítői egyre inkább nem tudják, mi folyik a fekete doboz belsejében. Akkor hogyan lehetne javítani az átláthatóságot?

Micah Altman, az MIT Libraries kutatási igazgatója megjegyezte: „A legfontosabb szakpolitikai kérdés: Hogyan (választjuk) a kormányzati és vállalati szereplőket felelősségre vonni az algoritmusokra delegált döntésekért? Egyre jobban megértik, hogy az algoritmusok minden egyes választása sajátos választási lehetőséget testesít meg arról, hogy milyen kritériumok fontosak a probléma „megoldásához”, és mit lehet figyelmen kívül hagyni. Az algoritmusok jobb választásának ösztönzése valószínűleg megkívánja, hogy az átláthatóság biztosítása érdekében az olyan szereplők használják őket, akik kifejezetten a magánélet és a tisztesség szem előtt tartásával tervezik meg az algoritmusokat, és az algoritmusokat használó szereplőket értelemszerűen felelőssé teszik következményeikért ”.

Timothy C. Mack, az AAI Foresight ügyvezető igazgatója elmondta: 'A figyelemelemzés alkalmazása az algoritmusdinamikában egy lehetséges technika lesz a fekete dobozos döntések falának áttörésére, és ezen az arénán nagy előrelépés történik'.

A válaszadók egy sor felügyeleti mechanizmust javasoltak, köztük „az (amerikai szövetségi hírközlési bizottság) kódolóiból álló új ágát” és „valamiféle szivárványkoalíciót”, és azt mondták, hogy „emberségesen kell megalkotniuk az egyének védelmét.ésa társadalom általában ”.

A legkiemelkedőbb kérdés, amelyet mindenkinek fel kell tennie, az a felelősségre vonásról szóló klasszikus kérdés - „quis custodiet ipsos custodes?” - ki őrzi a gyámokat?
Mark Griffiths

Mary Griffiths, a dél-ausztráliai Adelaide Egyetem média docense azt válaszolta: 'A legfontosabb kérdés, amelyet mindenkinek fel kell tennie, az a felelősségre vonás klasszikus kérdése.- Ki figyeli az őröket?- ki őrzi a gyámokat? És különösen: melyik „gyám” mit csinál, kinek a hatalmas információgyűjteményt felhasználva? Ki férhet hozzá az egészségügyi nyilvántartásokhoz? Ki árul prediktív betekintést privát információk alapján harmadik feleknek, akiknek az információk tulajdonosai nem tudtak? Ki dönti el, hogy mely állampolgárok végeznek tevékenységet, és nincs szükségük további háttérellenőrzésre számos tevékenységhez? Láthatatlanul „blokkolják” a mentális egészségügyi problémákkal küzdő embereket a foglalkoztatás vagy az előléptetés előtt? Az a kérdés, amin az angliai tudós (Evelyn) Ruppert nyomán gondolkodtam, az, hogy az adatok kollektív eredmények, akkor hogyan tudják a társadalmak biztosítani, hogy a kollektíva hasznot húzzon? A felügyeleti mechanizmusok tartalmazhatnak szigorúbb hozzáférési protokollokat; aláírja a digitális menedzsment etikai kódexét és a megnevezett információkezelőket; az egyén információk újrafelhasználásának online nyomon követése; lemondási funkciók; határidők meghatározása a hozzáféréshez; harmadik fél általi értékesítés engedély nélkül. ”

Egy névtelen felhőalapú számítástechnikai építész megjegyezte: „A zárt szervezetek zárt algoritmusai negatív eredményekhez és nagymértékű kudarcokhoz vezethetnek. Ha nincs elegendő felügyelet és elszámoltathatóság a szervezetek számára, és hogyan használják algoritmusaikat, olyan forgatókönyvekhez vezethet, ahol egész intézmények kudarcot vallanak, ami széleskörű összeomláshoz vezethet. Ez sehol sem tűnik nyilvánvalóbbnak, mint a kritikus gazdasági intézményeknél. Míg ezek közül az intézmények közül sok „túl nagynak számít a bukáshoz”, rendkívül titkolózó és egyre összetettebb szabályok alapján működnek, amelyeknek eredményei csak egyetlen tényezőre - rövid távú gazdasági nyereségre - összpontosítanak. Ennek következménye, hogy gazdasági egyenlőtlenségekhez, megnövekedett hosszú távú pénzügyi kockázatokhoz és nagyobb társadalmi összeomláshoz vezethetnek. Ennek a kockázatnak a megfelelő megválaszolása azonban az algoritmusok ellenőrzésének fokozása, nyitottá tétele és az intézmények elszámoltathatóvá tétele az algoritmikus döntések tágabb társadalmi spektrumáért ”.

Egy névtelen rendszergazda megjegyezte: 'Szükségünk van valamiféle szivárványkoalícióra, hogy szabályokat dolgozzunk ki annak elkerülése érdekében, hogy a beépített elfogultság és a csoportgondolkodás befolyásolja az eredményeket'.

Maria ebéd, az The Alpha Workshop fejlesztési igazgatója azt írta: 'Talán egy felügyeleti bizottság - az FCC új kódolóiból álló ága - saját algoritmusai segítségével figyelemmel kísérheti az új adathordozókat, felvetve a gyanús programozást - egy őrző csoport a többiek megtartása érdekében közülünk biztonságosan kattintva ”.

Fredric Litto, a brazíliai São Paulo Egyetem kommunikációs emeritus professzora azt mondta: 'Ha van, beépített módon felülírható bizonyos besorolások, amelyekbe tartozik, vagyis ha kiléphet a' szoftver által meghatározott osztályozását, akkor nem látom okát annak, hogy a társadalom egésze ne használja ki. Másrészt etikai fenntartásaim vannak az európai törvényekkel kapcsolatban, amelyek lehetővé teszik az egyének számára, hogy „töröljék” a „kényelmetlen” bejegyzéseket a közösségi média fiókjaikból. A politológusokra és a jogtudósokra (például Richard Posnerre) bízom azt a kérdést, hogyan lehetne emberségesen törvényhozni mind az egyén védelmétésa társadalom általában ”.

Az egyik nagy amerikai egyetem egy anonim posztdoktori munkatársa a következõket kommentálta: 'A világunkat irányító algoritmusok és adatbázisok elfogultsága ma már vállalati. A közelmúltbeli vita arról, hogy például a Facebook News Feed algoritmusa elfogult-e az Egyesült Államok konzervatív híreivel szemben, nem sokat foglalkozik azzal az elfogultsággal, amelyet a Facebook mutat be olyan hírek bemutatásakor, amelyek valószínűleg a Facebookon tartják a felhasználókat, felhasználják és előállítják az adatokat a Facebook számára. Az online vállalatok és felhasználók közötti egyenlőtlen hatalommegosztás kezelésére irányuló demokratikus felügyeleti mechanizmus olyan rendszer lehet, amelyben az algoritmusok és az általuk támasztott adatbázisok nyilvánosak, olvashatók és szerkeszthetőek az általuk érintett közösségek által ”.

Lauren Wagnerreménykedve írt az OpenAI-ról, amely egy nonprofit mesterséges intelligencia-kutatási ügynökség, amelyet 2015 decemberében alapítottak, egymilliárd dolláros finanszírozással olyan technológusoktól és vállalkozóktól, mint Sam Altman, Jessica Livingston, Elon Musk, Reid Hoffman és Peter Thiel. 'Összességében a mesterséges intelligencia viseli a legtöbb ígéretet és kockázatot a népek életének befolyásolásában az adatok bővülő gyűjtése és elemzése révén. Olyan felügyeleti szervek jönnek létre, mint az OpenAI, hogy értékeljék az algoritmusok hatását. Az OpenAI nonprofit mesterséges intelligencia kutatócég. Céljuk a digitális intelligencia előmozdítása oly módon, amely valószínűleg az egész emberiség javát szolgálja, és amelyet nem kényszerít a pénzügyi megtérülés szükségessége ”.

Egyes válaszadók szerint az algoritmusok bármilyen formális szabályozása nem lenne olyan hatékony, mint ha lehetővé tennék a piac számára, hogy vitát kezdeményezzen, amely fejlesztéseket ösztönöz.

ÍróRichard Oswaldmegjegyezte: 'Amint a szolgáltató iparágak szélesebb körben használják ezeket az eszközöket, fejlődni fognak, vagy a fogyasztók megkülönböztető módon fogják használni őket. A titok nem az algoritmusokra vonatkozó kormányzati szabályokban rejlik, hanem a versenyben és a szabad választásban, amely lehetővé teszi a fogyasztók számára az elérhető legjobb szolgáltatás igénybevételét, és lehetővé teszi a fogyasztók számára, hogy nyíltan megosszák tapasztalataikat ”.

Az elkövetkező években az algoritmusok valós hatásainak vizsgálata fokozódik, és a szervezeteknek meg kell védeniük alkalmazásukat.
Michael Whitaker

Michael Whitaker, az ICF International feltörekvő megoldásokért felelős alelnöke azt várja, hogy a piac nyilvános hozzájárulás után önkorrekciót végezzen. Azt írta: „Az algoritmusok jelentõs értéket nyújtanak az egyének és a társadalom számára. Jelentős, közép- és középtávú hátrányban vagyunk (egyesek indokoltak, mások nem), amelyek kissé göröngyössé teszik a dolgokat az átláthatóbb jövő felé vezető úton, fokozott bizalommal és az algoritmusok hatásainak megértésével. Az elkövetkező években az algoritmusok valós hatásainak vizsgálata fokozódik, és a szervezeteknek meg kell védeniük alkalmazásukat. Sokan küzdenek, és néhányat valószínűleg felelősségre vonnak (hírnév vagy jogi felelősség). Ez fokozott hangsúlyt fog fektetni az algoritmusok átláthatóságára és az elfogultságkutatásra ”.

A válaszadók szerint a tervezett hatékonyságtól függetlenül figyelmet kell fordítani az algoritmus-fejlesztés hosszú távú következményeire.

John B. Keller, az indianai Warren Township Metropolitan School District eLearning igazgatója azt válaszolta: 'Ahogy az algoritmusok bonyolultabbá válnak, és a számítási alapú műveletekről a prediktív műveletekre, sőt talán erkölcsi vagy etikai megítélést igénylő döntésekre is áttérnek, egyre fontosabbá válik, hogy a beépített feltételezések átláthatók a végfelhasználók számára, és talán még konfigurálhatóak is. Az algoritmusok nem egyszerűen adatokat fognak használni a döntések meghozatalához - hanem több olyan adatot fognak készíteni az emberekről, amelyek állandó digitális nyilvántartásuk részévé válnak. Támogatnunk kell a gépalapú folyamatok előnyeit, de óvatosnak, körültekintőnek és átgondoltnak kell lennünk a ma ártalmatlannak tűnő haladás hosszú távú következményeivel kapcsolatban ”.

Egy névtelen válaszadó azt írta: 'Az adatok és algoritmusok finomabb értelmezésére van szükség, és kritikus szemmel kell figyelni a kimenetre annak biztosítására, hogy befogadóak és relevánsak legyenek a különböző közösségek számára. Felhasználói tesztelésre van szükség különféle csoportok használatával. Ezenkívül ezeknek az algoritmusoknak az alkotók sokszínűbb csoportjára van szükség! Ha az összes fiatal fehér férfi, akik kiváltságokkal rendelkeznek ebben az országban, akkor természetesen az algoritmusok és az adatok ezt a közösséget szolgálják. Szükségünk van a kiváltságokra és az alkotók sokszínűbb csoportjára, hogy részt vegyünk benne ”.

Sokan pesszimisták a politikai szabályok és a felügyelet kilátásait illetően

Valamely javasolt felügyeleti módszer valóban hatékony lesz? Sokan kételkednek. Gondolataik elsősorban két kategóriába sorolhatók. Van, aki kételkedik abban, hogy megbízható és hatékony felügyelet és szabályozás létezhet olyan környezetben, amelyet a vállalati és kormányzati érdekek uralnak, és vannak, akik úgy gondolják, hogy a felügyelet nem lesz lehetséges az algoritmikus rendszerek hatalmas volta, soha véget nem érő növekedése és összetettsége miatt.

T. Rob Wyatt, egy független hálózatbiztonsági tanácsadó azt írta: „Az algoritmusok kifejezik a szisztémás ösztönzők kódját, és az emberi viselkedést az ösztönzők vezérlik. Bármilyen nyílt kísérletet a viselkedés algoritmusok általi manipulálására aljasnak tekintenek, ezért az AdTech és a sousveillance marketing körüli titoktartás. Ha elmondanák nekünk, mit csinálnak az adatainkkal, azt rossznak fogjuk fel. A teljes üzleti modell arra épül, hogy az érintettek nincsenek tisztában a manipuláció és a magánélet megsértésének mértékével. Tehát az a mérce, amelyhez mérjük az algoritmusokatcsináldpártatlanságukról. A probléma az, bármennyire is pártatlan az algoritmus, a rá adott reakcióink elfogultak. Előnyben részesítjük a minták felismerését és a veszély elkerülését a logikus, indokolt elemzéssel szemben. Amennyiben az algoritmusok pártatlanok, az algoritmusok készítői közötti verseny szükségszerűen azoknak a cselekedeteknek kedvez, amelyek a legerősebb emberi reakciót eredményezik, vagyis a veszély elkerülésére és a kognitív elfogultságra hatnak. Társadalomként kollektíven kelleneválasztelőnyben részesíteni a racionális elemzést a limbikus ösztönös válaszokkal szemben az algoritmusok nettó pozitív hatásának elérése érdekében, és ennek valószínűsége egy évtizedes intellektuálisellenes mozgalom magasságában senki sem csekély ”.

Egy névtelen válaszadó azt mondta: „Gondolok egy gyenge felügyeleti csoportra, ha van ilyen, amely elsősorban idős, gazdag, fehér férfiakat foglal magában, akik közvetlenül képviselhetik a saját érdekeiket, különösen nem a„ szellemi tulajdon ”csoportjaiban. Arra is számítok, hogy a tényleges szervezetek, amelyek ezeket az algoritmusokat működtetik, valamint a bennük levő egyetlen rossz szereplők mindenféle finom manipulációval, alapvetően propagandát és piaci manipulációt valósítanak meg. Valamint a kormány és a kereskedelem analóg rendszerén belül már létező elfogultságok további nyilvánosságra hozatala, mint évek óta létezik. Bármely felügyeletnek képesnek kell lennie a rossz szereplők tényleges megszüntetésére, ez alatt a vállalatokat teljes és teljes szétszerelésre gondolok, valamint a kormányzati ügynökségek összes vezető és egyéb kapcsolódó személyzetének elmozdítására, ha megállapítják, hogy manipulálják a rendszert, vagy ösztönzik / lehetővé teszik a rendszerszintű rendszer működését. megkülönböztetés. Szüksége van a tényleges népesség erőteljes képviseletére, függetlenül attól, hogy milyen területet képvisel, társadalmi-gazdasági, oktatási, faji és kulturális szempontból. Valamennyi eljárásukat a nyilvánosság előtt kell tartani ”.

A kapitalizmusban nincsenek ösztönzők a szűrőbuborékok, a profilalkotás és a negatív hatások elleni küzdelemre, és a kormányzati / nemzetközi kormányzás gyakorlatilag erőtlen.
Dariusz Jemielniak

Dariusz Jemielniak, a lengyel Kozminski Egyetem menedzsment professzora és a Wikimedia Alapítvány megbízottja megjegyezte: 'A kapitalizmusban nincsenek ösztönzők a szűrőbuborékok, a profilalkotás és a negatív hatások elleni küzdelemre, és a kormányzati / nemzetközi kormányzás gyakorlatilag erőtlen'.

John Sniadowski, a rendszerépítész megjegyezte, hogy a felügyelet globális környezetben nehéz, ha nem is lehetetlen. Azt írta: „A felügyeleti mechanizmusok hatalmas problémája az, hogy az internetes globalizáció megszünteti az ellenőrzés számos geopolitikai akadályát. A nemzetközi vállalatok rendelkeznek erőforrásokkal, hogy megtalálják az ellenőrzések kijátszásának módszereit. Minél több ellenőrzést vezetnek be, annál nagyobb a nem szándékos következmények és a kiskapuk keresésének valószínűsége, a nettó eredmény összetettebb felügyelet, amely működésképtelenné válik ”.

Néhány válaszadó szerint ezeket a bonyolult, gyorsan fejlődő rendszereket meglehetősen nehéz, sőt lehetetlen felmérni és felügyelni most és a jövőben is.

SzoftvermérnökJoshua Segallazt mondta: 'Ma már rendelkezünk statisztikai eszközökkel az algoritmusok hatásának felmérésére, és ezt jobb adatgyűjtés fogja segíteni. Az értékelés azonban algoritmusoktól és adatoktól függetlenül továbbra is nehéz lesz, a tanulmányozni kívánt rendszerek összetettsége miatt ”.

A nagy egyetem digitális civil társadalmi laboratóriumának egy névtelen vezető kutatója így kommentálta: 'Ez a technológiai (algoritmikus) innováció és szabályozás különböző ütemének kérdése. Az algoritmusok szabályozása és irányítása elmarad azok megírásától és az egyre növekvő (már diszkriminatív) adatkészletek elengedésétől. Amint a mély tanulás (gépi tanulás) exponenciálisan növekszik, az algoritmikus kapacitás és a szabályozási megértés közötti különbség, valamint az ismeretlen kezelésére való képtelenség egyre nagyobb lesz ”.

Egy névtelen válaszadó figyelmeztetett: „Kikért felelősek ezek az algoritmusok, miután kijöttek a világra és megteszik a dolgukat? Nem mindig viselkednek úgy, ahogy az alkotóik jósolták. Nézze meg a tőzsdei kereskedési algoritmusokat, amelyeknek olyan neve van, mint a „Kés”. Ezek a dolgok gyorsabban mozognak, mint az emberi ügynökök valaha is képesek lennének, és együttesen, egymással kölcsönhatásaik révén nem véletlenszerű viselkedéskészletet hoznak létre, amely nem képes szükségszerűen előre megjósolható, a nulla időpontban. Honnan tudhatjuk elég jól, hogy az algoritmusok közötti kölcsönhatások miként alakulnak? Meg tudjuk-e elég jól érteni ezeket az interakciókat ahhoz, hogy kijavítsuk az algoritmusokkal kapcsolatos problémákat, ha mindig igazságtalanság merül fel?

Egy másik névtelen válaszadó megjegyezte: „Az algoritmusok a kvantitatív tényezőket jobban befolyásolják, mint a relációs tényezőket. Ez már hatalmas hatással volt társadalmunkra a karrier és az árnyékmunka terén, amelyet most az egyéneknek kell elvégezniük. Az algoritmusok túl bonyolultak ahhoz, hogy valaha is átláthatóak legyenek vagy teljesen biztonságosak legyenek. Ezek a tényezők továbbra is befolyásolni fogják kultúránk irányát ”.

És ennek az elbírálásnak egy névtelen résztvevője észrevette, hogy a megoldás több algoritmus lehet: 'Arra számítok, hogy meta-algoritmusokat fejlesztenek ki, hogy megpróbálják ellensúlyozni az algoritmusok negatívumait' - mondta. 'Amíg ezeket nem fejlesztették ki és nem finomították, nem látom, hogy ebből általában jó lenne'.