Online nemprobibilitási felmérések értékelése

Írta: Courtney Kennedy, Andrew Mercer, Scott Keeter, Nick Hatley, Kyley McGeeney és Alejandra Gimenez

Mivel úgy tűnik, hogy a hagyományos, valószínűségen alapuló felmérések költségei és nem válaszadási aránya évről évre növekszik, az online felmérések előnyei nyilvánvalóak - gyorsak és olcsóbbak, és a technológia mindenre kiterjedő. Van azonban egy alapvető probléma: Nincs átfogó mintavételi keretrendszer az internet számára, nincs mód olyan nemzeti minta kiválasztására, amelyre gyakorlatilag mindenkinek esélye van kiválasztani.

Egy ilyen keret hiánya elhúzódó aggodalmakhoz vezetett azzal kapcsolatban, hogy a nem valószínűségi megközelítések által lefedett népesség azon része képes-e a teljes népességet reprezentatívnak látszani. Körülbelül 15 éven át független tanulmányok azt sugallták, hogy a kérdésre a válasz általában „nem”, ha a cél a népesség pontos becslése volt.1Az idők folyamán a kutatók és a mintagyártók azonban olyan technológiákat és statisztikai technikákat fejlesztettek ki, amelyek célja az online valószínűtlenségi felmérések reprezentativitásának javítása. Több nemrégiben készült esettanulmány azt a jövőt sugallja (némelyek a jelenet vitatják), amelyben a kutatóknak nem kell drága, valószínűségen alapuló mintával rendelkezniük a pontos népesség becsléséhez.2

A tanulmány fő elemei

Tervezés:
9 online nonprobability minta
Összehasonlítás egy RDD által felvett panellel
56 intézkedés, beleértve 20 referenciaértéket

Elemzés:
Becsült torzítás a teljes minta eredményeire
Becsült torzítás az alcsoport eredményei tekintetében
A regressziós modellek becsült pontossága
Demográfiai profil mintánként
Politikai profil mintánként
A becslések változékonysága minták szerint

A kereskedelemben kapható online nem bizonyítható minták jelenlegi helyzetének jobb megértése érdekében a Pew Research Center elvégzett egy tanulmányt, amelynek során azonos 56 tételes kérdőívet adtak be nyolc különböző gyártó által szállított kilenc mintának.

Szinte az összes kérdést (52) a Központ valószínűségen alapuló American Trends Panel (ATP) hullámain tették fel, amelyet főként online folytatnak, de internetes hozzáféréssel nem rendelkező felnőttek számára küld levelezési választ. A mintákat egy sor mérőszám segítségével értékeltük, ideértve a 20 teljes mintavételi felmérés becsült torzítását, amelyekhez magas színvonalú kormányzati referenciaértékek állnak rendelkezésre, a fő demográfiai alcsoport-becslések becsült torzítását és négy különböző regressziós modell előrejelzési pontosságát. A tanulmány legfontosabb megállapításai a következők:



  • Az online nonprobability felmérések nem monolitikusak.A tanulmány kiindulópontként azt állapítja meg, hogy az online nem valószínűsíthető minták létrehozására használt módszerek nagyon változatosak. Az eladók jelentősen különböznek a résztvevők toborzásában, a minták kiválasztásában és a helyszíni felmérésekben. Abban is különböznek, hogy súlyozzák-e és hogyan súlyozzák adataikat. Ezek a tervezési különbségek nyilvánvalóan megmutatkoznak a minták különböző adatminőségi mutatók szerinti rangsorában. Általánosságban a bonyolultabb mintavételi és súlyozási eljárásokkal és hosszabb terepi periódusokkal rendelkező minták pontosabb eredményeket hoztak. Ez azt jelenti, hogy adataink mindössze kilenc mintából származnak, így ezeknek a tényezőknek a hatása nem eléggé elszigetelt, ezért ezek a következtetések legjobb esetben is előzetesek.
Jelentős különbségek az adatminőségben az online minták között
  • Egyes elfogultságok az online mintákban következetesek, mások nem.Az összes vizsgált minta több politikai és polgári elkötelezettséggel rendelkező egyént tartalmaz, mint amennyit a benchmark források jeleznek. Az önkéntesség és a közösségi problémamegoldás intézkedéseinek elfogultsága nagyon nagy volt, míg a politikai elkötelezettség szerényebb volt. Az ezen elemek mérési hibájával kapcsolatos aggodalmak ellenére elfogadott, hogy ezek a hibák valósak, mert számos tanulmány dokumentálta a kapcsolatot a felmérésekkel való együttműködés és az önkéntes tevékenységekben való részvétel iránti hajlandóság között.3

Vannak bizonyítékok is, bár kevésbé következetesek, hogy az online nem valószínűsíthető minták inkább bizonyos életstílusok felé hajlanak. A minták többségében aránytalanul magas azok a felnőttek, akiknek nincs gyermekük, egyedül élnek, munkanélküli-segélyt gyűjtenek és alacsony jövedelműek. Bizonyos szempontból ez egy olyan sztereotípia, amelyet elképzelhetünk az emberek számára, akik időt találnak online felmérési paneleken való részvételre, ami talán egy részmunkaidős munkához hasonlít. Más dimenziókban azonban az online nemprobabilitási becslések vagy meglehetősen pontosak (pl. Rendelkeznek vezetői engedéllyel vagy a jelenlegi tartózkodási idő hossza), vagy az elfogultságok nem egyező irányúak a minták között (pl. Napi dohányzás).

  • Széles körű hibákat találtak a feketék és a spanyolok becslései alapján. Az online nonprobability felmérés szolgáltatói olyan mintákat kívánnak szolgáltatni, amelyek reprezentatívak az Egyesült Államok lakosságának sokszínűségére, de az egyik fontos kérdés az, hogy a faji és etnikai kisebbségi csoportokba tartozó tagok szélesebb körben képviselik-e ezeket a csoportokat. Ez a tanulmány azt sugallja, hogy nem azok. A kilenc nem valószínűségi minta esetében az összehasonlított elemekre vonatkozó átlagos becsült torzítás több mint 10 százalékpont volt mind a spanyolok (15,1), mind a feketék (11,3) esetében. Ezenkívül az online minták ritkán adtak pontos becslést arra nézve, hogy a spanyol vagy a fekete ember mennyire jelentős hatást gyakorol az érdemi kimenetelre, ha más demográfiai adatokat kontrollálnak. Ezek az eredmények arra engednek következtetni, hogy az online nem valószínűségi mintákat használó kutatóknak fennáll a veszélye, hogy hibás következtetéseket vonnak le a fajhoz és az etnikumhoz kapcsolódó hatásokról.
  • A reprezentatív demográfiai profil nem jósolja a pontosságot. Többnyire a minta súlyozatlan demográfiai profilja nem volt jó előrejelzője a súlyozott felmérési becslések pontosságának. Például a két, a legalacsonyabb általános pontossággal rendelkező minta nagyon magas rangsorolást kapott abból a szempontból, hogy súlyozatlan demográfiai adatai mennyire illeszkednek a populáció referenciaértékeihez.4Ennek az a következménye, hogy az a fontos, hogy az egyes demográfiai kategóriák válaszadói tükrözzék a célpopulációban lévő társaikat. Nem sok jót tesz a spanyolok marginális megoszlásának helyes helyrehozása, ha a megkérdezett spanyolok szisztematikusan különböznek a nagyobb populációban élő spanyoloktól.
  • Az egyik online minta folyamatosan a legjobban teljesített.Az I. minta következetesen felülmúlta a többieket, beleértve a valószínűségen alapuló ATP-t is, majdnem az összes figyelembe vett dimenziót rangsorolta.5.Ez a legjobban teljesítő minta abban volt figyelemre méltó, hogy a mintaválasztás és a súlyozás szakaszában is viszonylag bonyolult kiigazítási készletet alkalmazott. A kiigazítások több olyan változó feltételezését jelentették, amelyeket a kutatók gyakran tanulmányoznak felmérés eredményeként, például a politikai ideológia, a politikai érdeklődés és az internethasználat. Az a benyomásunk, hogy az I. minta sikerének nagy része abból fakad, hogy (a terelés előtt és / vagy alatt) úgy tervezték, hogy illeszkedjen a populáció referenciaértékeihez ebben a tágabb dimenziós csoportban. Sajnos nem tudjuk szigorúan tesztelni ezt az állítást a rendelkezésre álló adatokkal, mert csak egy felmérésünk van az adott szállítótól, és a releváns tervezési jellemzőket nem kísérletileg manipulálták a felmérés során. Míg az a tény, hogy az I. mintát olyan változóktól feltételeztem, amelyeket gyakran felmérési eredményekként kezelnek, fontos kérdéseket vet fel, mégis úgy tűnik, hogy az I. minta szállítója hatékony módszertant dolgozott ki. E tanulmány eredményei azt sugallják, hogy reprezentatívabb, pontosabb nemzeti felmérést készítenek, mint az online nonprobability téren belüli verseny.
  • A nem valószínűségi mintákhoz viszonyítva az ATP eredményei vegyesek. A Pew Research Center valószínűség-alapú panelje, az ATP, ebben a tanulmányban nem tűnik ki pontatlanul pontosabbnak, mint a nonprobability minták, mivel a benchmark tételek többségében mutatott általános erős megjelenését aláássák a polgári szerepvállalással kapcsolatos becslések hiányosságai. Ennek volt a legalacsonyabb az átlagosan becsült torzítása a polgári szerepvállalással nem összefüggő intézkedéseknél (4,1 százalékpont), de lényegében három másik mintához volt kötve, mivel ezeknél a kérdéseknél a legnagyobb az elfogultság (13,4 pont). Valószínű magyarázat erre a mintára az, hogy az ATP a polgári kapcsolatban álló felnőttek felé hajlik, mivel egy 20 perces telefonos felmérésből toboroztak. Míg a polgári szerepvállalás torzítása aggodalomra ad okot, további elemzés azt mutatja, hogy ez nem generál nagy hibákat más területek becsléseiben. Amikor ezt az elfogultságot kiküszöböljük, az ATP-t átdolgozzuk a jelenlegi népességfelméréshez (CPS), nagyon csekély hatással van más felmérési becslésekre, beleértve a szavazásokra, a pártok azonosítására, az ideológiára és a hírfogyasztásra vonatkozó becsléseket.6.Ebben a tanulmányban az ATP nem célja, hogy az összes valószínűségi mintát bármilyen érdemi módon képviselje, hanem egy összehasonlítási pontot nyújt. Nyitott kérdés, hogy egy egyszeri telefonos véletlen számjegyű (RDD) felmérés vagy valamilyen más valószínűségen alapuló felmérés hogyan kerülne össze ebben az elemzésben.
  • Az összes online minta nagyjából hasonló történetet mesél az amerikaiak politikai attitűdjéről és rekreációs érdekeiről. Az összes minta azt jelzi, hogy az Egyesült Államokban több felnőtt tartja magát demokratának, mint republikánusnak, bár csoportként valamennyien inkább demokratikus, mint kettős keretű telefonos RDD-felméréseket végeznek. Ezenkívül az összes minta azt mutatja, hogy a demokraták és a republikánusok polarizáltak a kormányzás megfelelő alkalmazási körével kapcsolatos attitűdjük tekintetében. Az biztos, hogy bizonyos pontbecslésekben van néhány figyelemre méltó különbség - például a republikánusok aránya, akik szerint a kormány túl sok mindent csinál, ami jobban a vállalkozások és magánszemélyek számára maradt, vagy 64, vagy 82%, attól függően, hogy az F mintának hiszünk-e vagy sem. I. minta Az amerikaiak politikai vonásainak széles körvonala azonban vitathatatlanul hasonló a minták között. Ugyanígy a 11 személyes érdeklődésre számot tartó cikkek eredményei - a kertészkedéstől a hip-hop zenéig - azt mutatják, hogy a legmagasabb rangú elemek általában ugyanazok az egyik online mintánál a másikig.

Ez a jelentés az online nonprobability felmérési piacra összpontosít, amint az jelenleg létezik. De a témával kapcsolatos jelenlegi tudományos és alkalmazott kutatások nagy része arra összpontosít, hogy az ilyen minták hogyan javíthatók modellezéssel. A viszonylag egyszerű „gereblyéző” kiigazításokon kívül ez a tanulmány nem vizsgálta az előítéletek kijavítására szolgáló bonyolultabb módszerek lehetséges előnyeit.

Ennek megoldása érdekében további kutatási jelentéseket terveznek az online nem valószínűsíthető mintavételről. Megvizsgáljuk a kiigazítás sokféle módszerét, hogy meghatározzuk, mennyire lehet javítani a becslések pontosságát és összehasonlíthatóságát a nem valószínűségi minták között. A folyamatban lévő kutatás a súlyozás különböző és összetettebb megközelítéseit teszteli (amelyek egy részét más szervezetek kutatói alkalmazták), és értékeli ezek hatékonyságát az elfogultság csökkentésében.

Egy második tanulmány az ismételt mérés megbízhatóságát vizsgálja az idő múlásával, online nem valószínűségi minták felhasználásával. Az időbeli változás nyomon követésének képessége a valószínűségi felmérések egyik legfontosabb erőssége volt.7

Mit jelent a „valószínűségi” minta (és nem) az adatminőség szempontjából

Ebben a jelentésben megkülönböztetünk olyan terveket, amelyekből a populáció szinte mindenkinek ismert, nem nulla esélye van arra, hogy kiválasztják őket (valószínűség-alapú), szemben a hirdetésekből, pop-up felkérésekből és más megközelítésekből toborzott mintákkal amelyeknek esélye a populáció egy adott tagjának kiválasztására ismeretlen '(valószínűtlenség). Évtizedek óta a felmérés kutatói inkább a valószínűségi mintákat részesítik előnyben a nem valószínűségi mintákkal szemben, mivel a valószínűségi minták elméletileg nagyon kívánatos tulajdonságokkal rendelkeznek, mint például a hozzávetőleges elfogulatlanság és a számszerűsíthető hibahatárak, amelyek hasznos pontosságot nyújtanak. Azokhoz a kutatókhoz, akik az attitűdök és magatartás trendjeit vizsgálják az idő múlásával, a valószínűségen alapuló mintavételi eljárások puszta stabilitása további fontos tulajdonságot jelent.

Míg a valószínûség és a nem valószínûség minták közötti különbségek koncepcionálisan világosak lehetnek, a gyakorlati valóság bonyolultabb. A komplikáció gyökere a nem válasz. Ha például a valószínűségi mintavételi felmérésbe kiválasztott emberek 90% -a elutasítja a válaszadást, a kiválasztás valószínűsége továbbra is ismert, de a válasz egyedi valószínűsége nem. A legtöbb általános népességfelmérésben rendkívül nehéz nagy pontossággal megbecsülni a válasz valószínűségét. Ha a kutatók nem ismerik a válasz valószínűségét, akkor súlyozásra kell támaszkodniuk, hogy megpróbálják kijavítani azokat a releváns módokat, amelyekben a minta nem reprezentatív a populáció számára.

A kutatók egyre inkább rámutatnak arra, hogy amikor egy valószínűségen alapuló felmérés magas nem válaszadási arányt mutat, a helyreállítás eszközei és a felmérés becsléseit alátámasztó feltételezések hasonlóak, ha nem is azonosak a nem valószínűségi mintáknál használtakkal. A nagy valószínűséggel nem válaszolható felmérések és a valószínűség-felmérések nagyban támaszkodnak a modellezésre - legyen szó gereblyézési kiigazításról, illesztési eljárásról vagy hajlammodellről - annak elérése érdekében, hogy a kutatók remélik, hogy pontosak, megbízhatóak.