A telefonos felmérés mintavételének előrehaladása

Fotó: BernardaSv az iStockphoto segítségével

Megjegyzés: Ezt a jelentést 2015. december 30-án frissítették, hogy tükrözze a 2015. január 1-jétől a Nemzeti Egészségügyi Interjú felmérés 2015. december 1-jén közzétett becsléseit.

A telefonos felmérések számos kihívással szembesülnek, de vannak pozitív fejlemények, elsősorban a mintavétel tekintetében. A telefonmintákat szolgáltató vállalatok számos olyan terméket fejlesztettek ki, amelyek javíthatják a felmérések hatékonyságát mind a vezetékes, mind a mobiltelefon keretek között, és pontosabb földrajzi és demográfiai célzást tesznek lehetővé a mobiltelefon keretben. Ezekkel a termékekkel számos tesztet végeztek, és mindegyikük relatív költségei és előnyei egyre világosabbak. Ez a jelentés néhány ilyen újítást ismertet, és bemutatja az mindegyikkel végzett kísérletek eredményeit.

A mobiltelefonok a mai telefonos közvélemény-kutatások alappillérei

A mobiltelefonon keresztüli interjúk aránya továbbra is emelkedikA telefonos felmérések legfontosabb változása az elmúlt évtizedben a kettős képkockázatú felmérési tervek elfogadása volt, amelyek magukban foglalják a mobiltelefonszámokat. Számos felmérési szervezet ma már legalább annyi interjút készít mobiltelefonon, mint vezetékes vonalon az országos felmérések során. 2015-től a tipikus Pew Research Center közvélemény-kutatás a válaszadók 65% -át mobiltelefonon, 35% -át pedig vezetékes telefonon kérdezi meg. A mobiltelefonok aránya az idők során nőtt, mivel nőtt a csak mobiltelefont használó népesség aránya.1

A mobiltelefon-minták a lakosság változatosabb mintájához jutnak el, mint a vezetékes vonalak. De ezt az előnyt részben ellensúlyozza az a tény, hogy a mobiltelefon-mintákról kevesebbet lehet tudni előre - különösen ott, ahol az emberek valóban élnek. Ezenkívül a mobiltelefonos felmérések különösen költségesek, mivel a kormány előírja, hogy a számokat manuálisan kell tárcsázni. Ezért a pontosság és hatékonyság bármilyen javulása, amellyel ezek a minták eljutnak a megcélzott válaszadókhoz, jelentős előnyökkel járhat a felmérésenkénti költségek szempontjából. Szerencsére az új termékek segítik a kutatókat a mobiltelefon-minták hatékonyabb felhasználásában.

A hatékonyság javítása tevékenységjelzőkkel

Az egyik tényező, amely hozzájárul a mobiltelefonos interjúk költségeihez, az a kérdezőbiztosok által kiválasztott és tárcsázott számok jelentős része, amelyek kiderülnek, hogy nem működnek, ami pazarolja a kérdezői időt. 2015-től a nem működő számok átlagos előfordulási gyakorisága az amerikai mobiltelefon véletlenszerű számtárcsás (RDD) keretben 38% volt. Ennek az eredménytelenségnek a csökkentése érdekében az RDD mintavevői olyan szolgáltatásokat fejlesztettek ki, amelyek azonosítják és elvetik azokat a mobiltelefonszámokat, amelyek valószínűleg nem működnek, mielőtt tárcsáznák őket.

Ezek a szolgáltatások „tevékenységjelzőket” használnak, amelyek jelzik, hogy a mintában szereplő mobiltelefonszám aktív-e (és valószínűleg működik-e) a legutóbbi hívási tevékenység vagy a szám működési állapotának valós idejű tesztje alapján. A zászló általában a mobiltelefonszám 95% -ánál vagy annál nagyobb mértékben érhető el. Az eladók 2012-ben kezdték elérhetővé tenni ezeket a zászlókat, hogy a felmérés tervezői eltávolíthassák az előre azonosított, nem működő számokat a mintájukból, és ezzel pénzt takarítsanak meg azzal, hogy csökkentik az interjúztatók által nem produktív számok tárcsázására fordított időt. Egy kutatócsoport2becslései szerint a megjelölt-inaktív számok kizárása akár 20% -kal is csökkentheti a telefonos interjúkhoz szükséges munkaórák számát.

A legutóbbi tevékenységjelzők egyaránt tartalmaznak hamis pozitív és hamis negatív eredményeketSajnos a zászlók nem tökéletesek, tartalmaznak hamis pozitívumokat (számokat, amelyek megjelölve-aktívak, de valójában nem működnek) és hamis negatívokat (számok, amelyek inaktívak, de ténylegesen működnek). A hamis pozitívumok alapvetően ártalmatlanok, eltekintve a hatékonyság csökkenésétől. A hamis negatívumok azonban csökkenthetik a felmérés lefedettségét és növelhetik a fedezet nélküli hibák kockázatát.



A Pew Research Center az Abt SRBI-vel együttműködve 2014-ben két különböző tevékenységi zászlót (Cell-WINS és Targus) csatolt egy nagy (n = 10 013) országos kettős keretű RDD felméréshez. A tanulmány interjúinak felét mobiltelefonokon és fele vezetékes vonalon. A Cell-WINS zászlóval a megjelölt-inaktív mobiltelefon-számok 15% -át működőnek és lakóhelynek találták (hamis negatívumok), és minden tizedik megjelölt-aktív számot nem dolgozó vagy nem lakossági (hamis) pozitívumok). A Targus zászlóval mindkét hibaarány magasabb volt.

A lefedettséget tekintve úgy becsüljük, hogy az Egyesült Államokban az összes működő, lakossági mobiltelefon 8% -át hibásan inaktívként jelölik meg a Cell-WINS-sel, ami több százalékponttal magasabb, mint egy korábbi tanulmány szerint.1Egy országos mobiltelefon-minta esetében ez csökkenti az amerikai felnőttek becsült nettó lefedettségi arányát körülbelül 91% -ról 83% -ra. Ezek a nettó ráta a Betegségmegelőzési és Megelőzési Központok Országos Egészségügyi Interjú Felmérésének becslésein alapulnak, miszerint a felnőttek 3% -ának nincs telefonja, míg további 6% -ának vezetékes, de nincs mobiltelefonja (vagy ismeretlen mobiltelefon-állapota). A felnőttek országos kettős keretű RDD-felmérései esetében a vezetékes minta bevonása jelentősen enyhíti a nettó lefedettség becsült csökkenését a megjelölt-inaktív számok kizárásával (97% -ról 93% -ra, nem pedig 83% -ra).

Míg a megjelölt inaktív mobiltelefonok kizárása nemkívánatos csökkenést eredményez a felmérés lefedettségi arányában, úgy tűnik, ennek nincs érdemi hatása az elfogultságra, legalábbis a közvélemény-kutatások esetében. A tévesen inaktívként megjelölt mobiltelefonokkal rendelkező felnőttek több dimenzióban is szisztematikusan különböznek a megjelölt aktív mobiltelefonoktól (pl. Fiatalabbak, faji szempontból sokszínűbbek, kevésbé képzettek, alacsonyabb jövedelműek, kevésbé valószínű, hogy regisztrálják őket a szavazásra), de túl kicsi a népesség töredéke a becslések értelmes mozgatásához. A 2014-es felmérésben a mobiltelefon-mintavételi interjúk 2% -át és a kombinált mintavételi interjúk 1% -át felnőttekkel vitték fel olyan számokon, akiket hibásan inaktívként jelöltek meg a Cell-WINS zászló használatával.

A Pew Research Center úgy döntött, hogy a közelmúltbeli tevékenységi jelzőket szokásos gyakorlattól elutasítja a közvélemény-kutatásban - nem az elfogultság miatt (nagyon keveset találtunk), hanem a lakosság lefedettségi aránya miatt. A lehető legmagasabb lefedettség fenntartása mindig is prioritás volt a Pew Research Center munkájában. Egyelőre a potenciális hatékonyságnövekedés nem indokolja vizsgálataink lefedettségi arányának csökkenését. Ezt a szabályzatot azonban továbbra is felülvizsgáljuk, mivel a telefonos RDD-munka költség-hiba kompromisszumai folyamatosan fejlődnek.

Az előre fizetett telefonszámok azonosítása

Egy másik új szolgáltatás, amelyet a telefonos felmérés kutatói teszteltek, azonosítja az előre fizetett vagy a „pay as you go” mobiltelefonokhoz tartozó mobiltelefonszámokat. Az egyik oka annak, hogy az előre fizetett telefonok potenciálisan érdeklődést mutatnak a felmérés kutatói számára, az, hogy aránytalanul használják őket azok a demográfiai csoportok, amelyek gyakran alulreprezentáltak a telefonos felmérések során. A Pew Research Center nemrégiben készült tanulmánya szerint az előre fizetett telefonhasználók nagyobb valószínűséggel nem fehérek, alacsonyabb jövedelműek, kevésbé képzettek és városi területeken élnek, mint a többi mobiltelefon-használó.3

Az előre fizetettként megjelölt mobiltelefonszámok aránya viszonylag nagy. A Pew Research Center tanulmánya, amely egy 2015. február 18–22-i országos RDD-felmérés adatait használta fel, 526 vezetékes vonalon és 978 mobiltelefonon megkérdezett felnőttel, megállapította, hogy a felmérés során tárcsázott összes mobiltelefonszám 12,4% -a, és 15,4% -a az elkészült mobiltelefon-interjúk közül előre fizetettként jelölték meg.

Míg a zászló felhasználható a hagyományosan nehezen elérhető csoportok azonosítására, a logisztikai tényezők korlátozzák annak hasznosságát. Különösen az előre fizetett telefon jelző jelenleg nem érhető el önálló termékként; meg kell vásárolnia a fent említett legutóbbi tevékenységet jelzőt annak hozzáfűzése érdekében. Az a tény, hogy ezt a jelzőt a minta felvétele után csatolják, csökkenti annak költséghatékonyságát a demográfiai célzás szempontjából. Az általános népességfelméréseknél a zászló használatát a hagyományosan nehezen elérhető csoportok túlmintázására általában túl költségesnek és hatékonynak tartják a többi megközelítéshez képest. Ezzel szemben a szűkebben definiált populációk (például családok, akiknek az anyagi ellenõrzését élvezõ juttatások részesülnek) felmérésében az elõre fizetett telefonos jelzõ segíthet csökkenteni a szükséges átvilágítás mennyiségét, és bölcs befektetésnek bizonyulhat.

A mobiltelefonok földrajzi célzása javul

Egy másik figyelemre méltó fejlemény, hogy a pontos földrajzi célzás egyre inkább lehetséges a mobiltelefon-mintákkal. Az országos szint alatti kutatások szempontjából a mobiltelefon-minták kritikus korlátja, hogy mind túl-, mind pedig az alacsony lefedettségben szenvednek. Egy adott területre kihúzott mobiltelefonszám-mintákba elkerülhetetlenül olyan emberek tartoznak, akik nem ott laknak (túlfedettség). A területtől függően jelentős számú ember élhet a környéken, de mobiltelefonszámuk eltérő földrajzi területnek felel meg (alulfedettség).

Ezeket a fogalmakat szemléltethetjük a Pew Research Center második vallási tájkép-tanulmányával (RLS), amely egy 2014-es nyár folyamán végzett felnőttek országos kettős keretű RDD-felmérése volt (n = 35 071).4Konkrétan Coloradóra, az utóbbi időben figyelemre méltó migrációval rendelkező államra tekintve azt tapasztaltuk, hogy a mobiltelefonos válaszadók 18% -át, akik arról számoltak be, hogy Colorado-ban élnek, egy másik államhoz rendelt számnál érik el, és a colorado-i mobiltelefon-válaszadók 14% -át más államban él. Ha az RLS csak Coloradóban végzett állami szintű felmérés lenne, akkor a 18% alulfedést, a 14% pedig a túlfedezetet jelentené.

A szabványos mobiltelefon RDD keret legszemcsésebb földrajzi változója annak a sebességközpontnak a szélessége és hosszúsága, amelyhez az egyes mobiltelefonszámok kapcsolódnak. A mintagyártók ezeket a koordinátákat a csere-szintű információkkal együtt létrehozzák egy változót annak a megyének, ahol a mobiltelefon-felhasználó élni fog - kizárólag a mobiltelefonjuk száma alapján. A Pew Research Center és egy másik kutatócsoport korábbi munkája5.azt találta, hogy ez a megyei változó a kereten nem egyezik meg a tényleges lakóhely szerinti megyével (az ön által bejelentett irányítószám alapján) körülbelül négy-tíz mobiltelefon-válaszadó esetében. Ez a magas hibaarány a mobiltelefonok mobilitásának tudható be, és annak, hogy az emberek mennyire mindennaposak az országban, miközben megtartják régi mobiltelefon-számukat.

Az első újítás ezen a területen az volt, amikor az RDD mintavevői elkezdték csatolni a mobiltelefon számlázási címének irányítószámát. Ez előrelépés volt, mert az irányítószám az aktuális számla küldési helyén alapul, ellentétben az árfolyam-központ helyével, amely azon alapszik, ahol a telefont eredetileg kiadták. A szolgáltatás egyik korlátja, hogy a számlázási irányítószám nem minden számhoz érhető el. Egy nemrégiben készült tanulmány becslése szerint az Egyesült Államokban a mobiltelefonszám 60% -ához elérhető volt a számlázási irányítószám.6.A második korlátozás az, hogy a számlázási irányítószámok csatolhatók a minta felvétele után, ami azt jelenti, hogy a kutatóknak fizetniük kell a mintákért, amelyeket végül nem használnak. E hátrányok ellenére a számlázási irányítószámok hatékony eszköznek bizonyultak az állami és a helyi mobiltelefon RDD minták hatékonyságának növelésére.

A földrajzi célzás evolúciójának következő lépése a mobiltelefonszámok teljes címének megszerzése, nem csak irányítószám. Az első termék, amely ezt kínálja, a Consumer Cell nevű kényelmi mintavételi keret. Ezt a Marketing Systems Group által kifejlesztett keretet kezdetben hitelalapú adatokból állítják össze, majd saját tulajdonú forrásokkal keresztezik a mobiltelefonszámok hozzáfűzéséhez, ahol rendelkezésre állnak. Ez a keret felhasználható a teljes cím vagy a személy- és háztartási szintű jellemzők alapján történő mintavételezésre. Ennek a terméknek az a központi korlátja, hogy jelenleg az Egyesült Államok mobiltelefonszámainak kevesebb mint a felét tartalmazza, szemben az RDD mobiltelefon kerete által biztosított átfogó lefedettséggel. Jelenleg ennek a terméknek az egyik legígéretesebb alkalmazása az állami és a helyi felmérésekben található, mint eszköz az alulfedettség részleges orvoslására a kísérő mobiltelefon-mintákban. A kutatók ezen adatbázis segítségével további réteget hozhatnak létre azoknak az embereknek a mintavételére, akik a vizsgált területen élnek (a cím alapján), de rendelkeznek a területen kívüli mobiltelefonszámmal.

Egy másik mintagyártó, a Survey Sampling International halad a teljes számlázási cím mobiltelefonos RDD mintákhoz való hozzáfűzésében. A Super Cell névre keresztelt új termékük még fejlesztés alatt áll és jelenleg tesztelés alatt áll. A teljes számlázási cím várhatóan a teljes mobiltelefon RDD keret számára elérhető lesz, kivéve az előre fizetett telefonokat. Lehetővé tenné a földrajzi célzást, de egyedülálló lehetőséget kínálna arra is, hogy előzetes anyagokat küldjön egy mobiltelefon-minta címére.

Ez a továbbfejlesztett mobiltelefon-mintakeret demográfiai információkat is tartalmaz olyan nagy fogyasztói adatbázisokból, amelyeket olyan vállalatok tartanak fenn, mint az Experian. Ez a szolgáltatás segíthet a telefonos felmérés kutatóinak hatékonyabban megcélozni az adott demográfiai csoportokat, mint a meglévő megközelítések segítségével. Végül, ez a továbbfejlesztett keret várhatóan magában foglalja a legutóbbi tevékenységet és az előre fizetett mobiltelefon jelzőt is, lehetővé téve a minták e jellemzők alapján történő felvételét, ahelyett, hogy azokat a tény után csatolnák.

A vezetékes vonalak lefedettségének javítása

A vezetékes mintákkal is történnek újítások. Az elmúlt két évtizedben a vezetékes RDD mintákkal a hatékonyság javításának szokásos megközelítése az volt, hogy a mintavételi keretet 100 egymást követő szám (100 blokk) blokkokra szűkítette, ahol legalább egy (vagy kettő vagy három) szám szerepel egy Könyvtár. Mivel azonban egyre több vezetékes telefonszám szerepel a listán, részben az internetprotokollos (VoIP) telefonok elterjedése miatt, a kutatások azt mutatják, hogy a listával támogatott vezetékes mintakeret növekvő lefedettségi hibát okozhat a 100-ból érkező számok kizárása miatt. blokkok, amelyek nem tartalmaznak címtárban felsorolt ​​számokat (nulla bank).78.Ennek a változásnak a leküzdése érdekében a telefonminta-beszállítók most egy „hozzárendeléssel segített” vezetékes mintakeretet kínálnak, ahol egy 100 blokk szerepel a keretben, ha annak egyik számát egy távközlési vállalat rendeli használatra, függetlenül attól, hogy könyvtárban szerepel.

Ennek az új keretnek a tesztelésére a Pew Research Center egy hozzárendeléssel támogatott vezetékes mintát használt a 2014-es RLS-hez. Zászló került a vezetékes mintába annak jelzésére, hogy a szám bekerült-e a listával segített vezetékes minta keretbe. A tanulmány megállapította, hogy a csak a megbízással támogatott vezetékes mintakeret válaszadói demográfiai szempontból különböznek egymástól: fiatalabbak, kevésbé képzettek, alacsonyabb jövedelműek, kevésbé valószínű, hogy nyilvántartásba vették őket a szavazásra, nagyobb valószínűséggel nem spanyol fekete emberek, és nagyobb valószínűséggel élnek városi terület. Ezek azonban csak a teljes vezetékes minta 1% -át és a befejezett vezetékes interjúk 1% -át tették ki. Így előfordulásuk túl alacsony volt ahhoz, hogy érdemben befolyásolják a felmérés becsléseit.

Az új keret használatának egyik lehetséges kockázata az volt, hogy több nem dolgozó számot tartalmaz, és ez megnöveli a vezetékes interjúk költségeit. Vizsgálatunkban ezt azonban nem támasztották alá. Átlagosan minden befejezett interjúhoz 40,4 vezetékes számot tárcsáztak a befogadóbb hozzárendeléssel támogatott keret használatával, amely összehasonlítva az 1+ listával segített vezetékes keret szimulálásakor a befejezett interjúnként átlagosan 40,2 számmal történt. Ez a különbség túl kicsi volt ahhoz, hogy érdemi költségvonzattal járjon, legalábbis a Pew Research Center által végzett felmérések esetében. Összességében elmondható, hogy a hozzárendeléssel támogatott keret által nyújtott lefedettség enyhe javulása pozitív fejlemény, bár az 1+ listás támogatású keret használatához képest az adatminőségre gyakorolt ​​nettó hatás alig érzékelhető.

A kumulatív hatások nem elhanyagolhatók

Ezek az előrelépések együttesen ígéretesek, mivel segíthetnek ellensúlyozni az RDD telefonos felmérésekkel járó növekvő költségeket. Meg kell azonban jegyezni, hogy ezek közül a megközelítések közül több szisztematikusan kizárhatja a nyilvánosság bizonyos szegmenseit, a megvalósítás módjától függően. Különösen a megjelölt inaktív mobiltelefonok kizárása és a kevésbé átfogó, listával támogatott vezetékes keret használata mindkettő kissé csökkenti a fiatalabb, nem fehér, alacsonyabb jövedelmű, kevésbé képzett és nem regisztrált felnőttek képviseletét.

Míg az egyes mintavételi stratégiák önmagukban csak a nyilvánosság egy kis részét érinthetik, és elhanyagolható mértékben befolyásolhatják az elfogultságot, a kutatóknak figyelemmel kell lenniük arra a lehetőségre, hogy e megközelítések többségének vagy mindegyikének alkalmazása révén az adatok minőségére gyakorolt ​​kumulatív hatás nem elhanyagolható. Valószínűleg folytatni kell ezen költség / hiba kompromisszumok szigorú értékelését annak érdekében, hogy a kutatók megfelelő egyensúlyt teremtsenek felméréseik megtervezésekor.