• Legfontosabb
  • Hírek
  • Mennyire különböznek azok az emberek, akik nem válaszolnak a közvélemény-kutatókra?

Mennyire különböznek azok az emberek, akik nem válaszolnak a közvélemény-kutatókra?

Evans Witt és Jonathan Best, a Princeton Survey Research Associates munkatársai


a Pew Internet & American Life Project számára

2007 közepén a Princeton Survey Research Associates nagyszabású felmérést végzett a Pew Internet Project és az Illinois-Urbana-Champaign Egyetem számára arról, hogyan oldják meg az emberek bizonyos típusú problémákat.1A felmérés finanszírozását az Institute for Museum and Library Services nevű szövetségi ügynökség biztosította.2A szövetségi kormány által támogatott összes felmérést a Fehér Ház Igazgatási és Költségvetési Irodája vizsgálja felül. Felmérésünk értékelése során az OMB illetékesei megkérdezték, végezhetnénk-e további munkát annak megnézésére, hogy az eredeti közvélemény-kutatásban nem válaszolók eltérnek-e azoktól, akik válaszoltak. A következő cikk a további elemzés főbb megállapításait részletezi.


A megállapítások összefoglalása

Az elmúlt két évtizedben a kutatói szakma egyre több olyan amerikaival szembesült, akik nem teljesítik az interjúkat. Az ilyen nem válaszadás szintje kérdéseket vet fel a felmérések és az általuk nyújtott adatok reprezentativitásával és érvényességével kapcsolatban. A Fehér Ház Vezetési és Költségvetési Irodájának (OMB) felkérésére készített további elemzésnek három eleme volt.

Először megduplázták a számítógépes Random Digit Dialing (RDD) módszerrel előállított telefonszámok egy részmintájának megkérdezését. Az RDD a közvélemény-kutatók gyakorlata, hogy eredményeket generálnak a populáció véletlenszerű, reprezentatív részhalmazából. Az eredeti felmérési terv minden egyes számra maximum 10 hívást írt elő. A telefonszámok közül 1500-at választottunk ki, amelyek 10 hívás után nem adtak teljes kérdőíves interjút, és legalább 20-szor telefonáltunk. Ennek az extra erőfeszítésnek az eredményeit hasonlították össze a szokásos 10 hívásos erőfeszítések eredményeivel.



Másodszor elemzést készítettek a 10 hívás alaptervének felmérési eredményeiről, az interjúkat az eredmények megszerzéséhez ténylegesen szükséges erőfeszítések nagysága szerint szegmentálva.


Harmadszor, a telefonszámok teljes mintáját és az a részhalmazt, amely a befejezett interjúkat szolgáltatta a 10 hívásos terv segítségével, elemeztük annak meghatározására, hogy a befejezett interjúkban milyen közösségek vannak alul- és felülreprezentáltak.

Az elemzés eredményei azt találták:


    • A megkérdezés megkétszerezése 20 hívásra 84 további interjút eredményezett. Ezen extra erőfeszítésekkel készült interjúk eredményei csak alkalmanként és kis mértékben különböztek az alapvizsgálat eredményeitől.
    • A további interjúk olyan válaszokat kaptak, akiket általában nehezebb elérni a felmérések során: A fiatalabb felnőttek, a dolgozó felnőttek és az egyetemi végzettséggel rendelkezők nagyobb arányban részesültek az extra erőfeszítésekkel elkészített interjúkban.
    • Az eredeti felmérés elemzése az interjú elkészítéséhez szükséges erőfeszítések szintje alapján kevés statisztikailag szignifikáns különbséget tárt fel. Más szavakkal, kevés érdemi különbség volt azok között, akiket az első híváshullámban elértek, összehasonlítva azokkal, akiket a kilencedik vagy a tizedik telefonszámra próbáltak elérni. A teljes RDD-minta és az „extra erőfeszítéssel” elkészített interjúk elemzése a közösségi jellemzők szerint azt mutatta, hogy az interjúkat legnehezebb városi területeken, a legkönnyebben pedig vidéki területeken kitölteni. Noha a háztartások átlagos jövedelme szerint a közösségek között nincs jelentős eltérés, a nagyobb kisebbségi népességű (spanyol és afro-amerikai) területek kevésbé voltak eredményesek az interjúk szempontjából, párhuzamosan a városi területekkel.

    A felmérés nem válaszának kérdése

    A felmérésekre jelenleg kevesebben válaszolnak, mint korábban. Az interjúk befejezésének elmulasztása számos tényezőből fakad, de a legnagyobb összetevők az érintkezésmentesség (vagyis az, hogy valakit soha nem sikerült elérni a minta részeként kijelölt helyen vagy telefonszámon) és az elutasítás (a beszélgetés eredménye) aktív vagy passzív tevékenységek a felmérés kitöltésének elkerülése érdekében). Így a kérdés: Miben különböznek azok a személyek, akik nem töltötték ki a felmérést, azoktól, akik nem?

    A válaszadás elmaradásával és a nem válaszadással kapcsolatos esetleges torzításról szóló kutatások számos kiváló összefoglalója volt felmérésekben, amelyek közül a legfrissebbKözvélemény negyedévente, különszám: A nem válaszadás elfogultsága a háztartási felmérésekben.3AzPOQkülönszám egy jelentést tartalmaz a legfrissebb nagykísérletről, amelynek célja a telefonos interjúk befejezéséhez szükséges extra erőfeszítések hatásának felmérése.4E két kísérlet mindegyikének központi jellemzője az volt, hogy összehasonlították az ötnapos időszak alatt kitöltött szokásos RDD-felmérést egy RDD-felméréssel, ugyanazon kérdőív, ugyanaz a mintavázlat, a mintaterület háza, de a továbbiakban húzódó hívási időszak segítségével. mint hat hónap. A PSRAI részt vett ezekben a kísérletekben. Ezen modellek alapján ezt a kísérletet a fenti összefoglalóban leírt három elemmel terveztük.


    Alapvető erőfeszítések elemzése 1: Az interjúkészítési erőfeszítések hatása

    Egy három kategóriás változót számoltak ki az interjúk elkészítéséhez szükséges erőfeszítések elemzésének elősegítése érdekében.

      • 'Nehéz elérni:Az eredeti mintában hat vagy többször tárcsázott telefonszámokésahol a potenciális válaszadók elutasították a felmérést, „keménynek” minősítették, vagyis az interjú elkészítéséhez a legmagasabb szintű tényleges interjúra volt szükség.
      • 'Könnyű elérni:Az eredeti mintában ötször vagy kevesebbször hívott telefonszámokat, amelyekben egyetlen potenciális válaszadó sem tagadta meg a részvételt, „könnyűnek” határozták meg, vagyis az interjú elkészítéséhez a legkevesebb szintű interjúra volt szükség.
      • „Közepes” erőfeszítés szükséges:Az összes többi telefonszámot „közepes” erőfeszítésként határozták meg, beleértve azokat a válaszadókat is, akiket hatnak hívtakvagytöbbször, vagy megtagadta az interjúban való részvételt, de nem mindkettőt.

      Az alábbi táblázat összehasonlítja a válaszadók demográfiai adatait az interjú elkészítéséhez szükséges erőfeszítések nagysága szerint. Ez azt mutatja, hogy a nagyobb erőfeszítések kiadása pozitívnak bizonyult a fiatalabb válaszadók, különösen a 18-29 évesek elérése terén. Az idősebb válaszadók (65 éves vagy annál idősebbek), akiket könnyen elérhetőként határoztak meg, felülreprezentáltak voltak az általános népességben elterjedtségükhöz képest; a kitöltési arány jelentősen alacsonyabb, és a közepesen vagy nehezen elérhető válaszadók esetében jelentősen alacsonyabb.

      A fehérekkel folytatott interjúk elvégzésére fordított nagyobb erőfeszítések a legeredményesebbek voltak a könnyű megkérdezettek (akik nem tagadták meg a részvételt, vagy korábban kevesebb mint hatszor hívták) válaszadóinak újbóli felvételére, amelyben a minta 69% -a fehér volt. A közepes vagy kemény kategóriába tartozó válaszadók valamivel kevésbé voltak fehérek. Több erőfeszítés vezetett az elkészült interjúk nagyobb számához az afroamerikaiakkal. A spanyolok elérésében alig volt különbség az erőfeszítések között.

      Ábra

      Nehezebbnek bizonyult interjúkat készíteni a közepes és a kemény kategóriába tartozó válaszadókkal, akik teljes vagy részmunkaidőben foglalkoztattak, összehasonlítva a válaszadókkal, akik azt mondták, hogy nyugdíjasok. Míg a közepes és a nehéz kategóriában foglalkoztatottak körében a nagyobb erőfeszítések a magasabb végzettséggel jártak, az extra erőfeszítések kevésbé voltak eredményesek a közepes és nehéz kategóriába tartozó nyugdíjasokkal készített interjúk kitöltésekor (30% a könnyű, míg a 22% -ban átlagosan 22%). közepes és kemény aggregátum).

      Az erőfeszítések hatása a közösségi szintű demográfiai megoszlásokra

      Kipróbáltuk azt is, hogy vajon nagyobb erőfeszítések segítettek-e az interjúk elkészítésében a nehezebben elérhető közösségekben. Az RDD telefonmintákban jellemzően az erősen lakott városi területek háztartásai alulreprezentáltak. Ezeknek a háztartásoknak nagyobb valószínűséggel vannak kisebbségi lakosai is.

      Az alábbi táblázat összehasonlítja a három almintát a népsűrűség és a közösség kisebbségi népességének arányában. A válaszadók részvételére fordított erőfeszítések szintje között nem volt szignifikáns különbség a teljesítési arány között. Nem volt jelentős eltérés a nagy sűrűségű területek válaszadóinak elérésében az interjúk elkészítéséhez fordított erőfeszítések szintjét illetően.

      Ábra

      Az erőfeszítés hatása a kérdésre adott válasz-eloszlásokra

      Különösen érdekes ennek vagy bármely más kutatásnak az a lehetséges hatása, amelyet az extra erőfeszítések az érdemi eredményekre gyakorolhatnak. Ehhez az elemzéshez kiválasztottuk a kérdések egy részét, amelyet megvizsgálunk. Az első elemzett kérdések egy sor különféle helyi intézmények látogatásáról szóltak az elmúlt 12 hónapban. E sorozat igenlő válaszai között alig van eltérés. A különbségek egyike sem statisztikailag szignifikáns.

      Ábra

      Hasonlóképpen, összehasonlítva a számítógép és az internet használatával kapcsolatos kérdések sorozatának eredményeit az alcsoportok válaszadói között, nem tapasztaltunk statisztikailag szignifikáns különbséget a válaszok között az erőfeszítési szegmensek között.

      Ábra

      Végül megvizsgáltuk a különbségeket egy olyan kérdéssorban, amely tíz olyan helyzetet vagy döntést tett fel, amelyekkel az emberek az elmúlt két évben szembesülhettek. Statisztikailag szignifikáns különbségek voltak a három alcsoport között a lista 10 eleméből csak kettőben. A legnehezebben elérhető válaszadók a könnyű és közepes kategóriában másoknál nagyobb valószínűséggel döntöttek az iskoláztatásról vagy az oktatásról (46% szemben 40% közepes, 34% pedig könnyű). Az életkor és a szülői állapot valószínűleg befolyásolja ezeket az eredményeket. A fiatalabb válaszadókat általában nehezebb elérni, nagyobb arányban jelennek meg a nagyobb erőfeszítésű mintában, mint az eredeti vizsgálatban, és eredendően nagyobb valószínűséggel döntöttek nemrégiben az oktatásukkal kapcsolatban.

      Annak a valószínűsége, hogy a könnyű (48%) és a közepes (51%) kategóriába tartozó válaszadók súlyos betegséggel vagy egészségi állapottal foglalkoztak, annak tulajdonítható, hogy az idősebb és nyugdíjas válaszadók könnyebben felvehetik a kapcsolatot.

      Ábra

      A következő lépés az eredmények elemzése volt olyan kérdésekre, amelyek az emberek információforrások vagy segítségnyújtáshoz használt forrásait kérdezték meg. Itt az eredmények általában egyenletesek voltak az erőfeszítési kategóriák között. Enyhe statisztikailag szignifikáns különbségek voltak azok tekintetében, akik az internetet használták információ vagy segítség megtalálására problémáik megoldásában. A közepesen és nehezen elérhető válaszadók valamivel nagyobb valószínűséggel használták az internetet, mint a könnyen elérhető válaszadók (57% nehéz / közepes, szemben 53% a könnyű). Ez összefüggésben van azzal, hogy a fiatalabbak nagyobb mértékben használják az internetet, akiket viszont nehezebb elérni.

      Ábra

      Alapvető erőfeszítések elemzése II: Közösségi demográfia és elutasítások

      A lehetséges nem válaszreakció torzításának második része magában foglalja a közösség által tárcsázott számok végső minta eloszlásának vizsgálatát az eredeti minta túl- vagy alulreprezentációjának értékelése céljából. A diszpozíció-kategóriák magukban foglalják a befejezett interjúkat (befejezéseket), az elutasítások és visszahívások (elutasítások / visszahívások) kombinációját, valamint azokat a számokat, amelyeket tárcsáztak, ahol potenciális válaszadóval nem vették fel a kapcsolatot (nem elérhetők). Az alábbi táblázat összehasonlítja a régió, a közösség típusának hatását és azt, hogy a mintába felvettek élnek-e a Fővárosi Statisztikai Területen (MSA)5.vagy sem, válaszul.

      Ábra

      Amint a fenti táblázatból látható, a válaszbeli különbségek elsősorban a mintában képviselt földrajzi régiók között láthatók.

      A középnyugati válaszadókkal készített interjúk magasabb relatív aránya készült el (23%), míg a nyugati csak 15%. A nyugati régióban a minta teljes egyharmadával nem tudtak kapcsolatba lépni a PSRAI kérdezőbiztosai. Hasonlóképpen, a kérdezőbiztosok nem tudták felvenni a kapcsolatot a potenciális válaszadókkal a városi területek 33% -át illetően. Maga a nyugati minta jelentősen torzult a városi közösségek felé, amely a régió teljes mintájának 54% -át tette ki.

      Jövedelem, kisebbségi sűrűség és válasz

      Az alábbi táblázat összehasonlítja a diszpozíciókategóriákat a háztartások átlagos jövedelmével és a spanyolok és az afro-amerikaiak százalékos sűrűségével az interjúkhoz használt mintablokkokon belül. Nagyon kevés különbség van a jövedelemeloszlás között a három minta szegmensben. Az egyes szegmensek 35–40% -a alacsonyabb háztartási jövedelmű területekről származik, és minden csoport kevesebb, mint 10% -a a legmagasabb jövedelmű területekről származik.

      Ábra

      Az interjúkat könnyebb lefolytatni olyan területeken, ahol kevesebb a spanyol háztartás. Az összes elkészített interjú csaknem kétharmada (63%) olyan területekről származik, ahol a legalacsonyabb a spanyol háztartások előfordulása. A többi csoportban a minta csak körülbelül fele származott ezekből az alacsony előfordulási gyakoriságú spanyol területekből (az elutasítások / visszahívások 53% -a és a nem érintkezők 46% -a). Ugyanez a tendencia nem tapasztalható a magas és alacsony sűrűségű afro-amerikai területek összehasonlításakor. A kitöltéseket, az elutasításokat és a kapcsolattartás nélküli kapcsolatokat az afrikai-amerikai rétegekben nagyjából azonos mértékben osztották szét.

      Extra erőfeszítés elemzése III: Extra erőfeszítés, Extra hívások

      Annak érdekében, hogy elemezzük a felmérés eredményeinek esetleges válaszon kívüli torzítását, egy tízszer hívott és még mindig élő telefonszámú 1500 telefonszám mintáját egy új projektbe helyezték, és még további 10 alkalommal tárcsázták, hogy megpróbáljanak kitölteni egy kérdést. interjú. Az extra erőfeszítéseket tartalmazó számok három kategóriába sorolhatók.

        • Nem kapcsolattartók:Olyan számok, amelyek az első felmérés során nem vettek fel kapcsolatot egy személlyel. Ezek a számok valamilyen kombinációja volt a válasz / elfoglalt / üzenetrögzítõknek az összes próbálkozás során.
        • Elutasítások:Számok, amelyek visszautasították az első 10 kísérlet egyikét, de nem alakultak át kész interjúvá.6.
        • Szakaszok:Számok, ahol a válaszadók elkezdtek interjút, de nem fejezték be.

        További 13 742 hívás érkezett az erőfeszítések nélküli mintához, és további 84 interjút fejeztek be. Ez egy elkészült interjút jelent minden 164 hívási kísérletre.7

        Nehéz interjút befejezni, ha egy telefonszámot tízszer tárcsáztak sikertelenül. A táblázat összehasonlítja az extra erőfeszítések számának eredményét a 10. kísérletnél (az oszlopok) a 20 vagy annál több hívás (a sorok) utáni eredménnyel.

        Ábra

        Amint az a táblázatból kiderül, a sikerességi arány alacsony volt, az extra erőfeszítések csupán 6% -a adott elkészült interjút. Az átváltási arány magasabb volt a megszakításoknál és a visszahívásoknál, 16% -ot, illetve 14% -ot. Azok a számok, amelyek nem voltak kapcsolattartók az első 10 kísérletben, a legalacsonyabb konverziós arányt mutatták (3%). A megtagadások hét százalékát a tizedik kísérlet után alakították át.

        Az extra erőfeszítések hatása a személyi szintű demográfiai adatokra8.

        A lehetséges válaszon kívüli torzítás felmérésének egyik módja az, ha összehasonlítjuk a megkérdezett válaszadók demográfiai adatait az extra erőfeszítéssel a megkérdezettekkel, különösebb erőfeszítés nélkül. Az alábbi táblázat összehasonlítja a két csoport alapvető demográfiai adatait. A populáció paramétereit a táblázat is bemutatja, hogy a számokat összefüggésbe hozzák.

        Ábra

        A két minta nemi megoszlása ​​szinte azonos volt, 39% és 40% férfi. Mint a legtöbb telefonos felmérésnél szokás, a férfiak alulreprezentáltak. Különbség mutatkozott a két minta életkor szerinti megoszlásában, és az erőfeszítések nélküli minta valamivel jobb munkát végzett a fiatalabb válaszadók, különösen a 30-49 évesek elérésében. Ezenkívül az extra erőfeszítések az idősebb válaszadók megfelelőbb arányát eredményezték (13%), mint a szokásos minta (25%).

        Mindkét minta túlreprezentált a főiskolai végzettséggel rendelkezők és a kevésbé képzett emberek számára. Összességében azonban a rendszeres minta valamivel jobb általános oktatási megoszlást kapott.

        A két minta faja / etnikuma összehasonlítható volt. Az extra erőfeszítések azonban megtérültek, ha több spanyol válaszadót értek el, mint a szokásos minta. Az erőfeszítésektől mentes minta a foglalkoztatott válaszadókat is meghaladta, mint a standard minta (66% vs. 55%), és nem képviselte túl a nyugdíjasokat, mint a standard minta.

        Az extra erőfeszítés hatása a kiválasztott érdemi kérdésekre

        Megvizsgáltuk az emberek által az információforrásokkal kapcsolatos kérdésekre adott válaszok különbségeit, amikor problémákat szembesítettek, hogy lássuk, vannak-e különbségek az intitális és az erőfeszítés nélküli minták között. A két minta eredményei nagyon hasonlóak voltak, kivéve az internethasználatot, hogy információt vagy segítséget találjanak a problémák megoldásában. A többletmunka-mintában lényegesen többen számoltak be arról, hogy az internetet használva kapnak információt vagy segítséget a legutóbbi döntésükről vagy helyzetükről (68% vs. 55%).

        Ábra

        Utolsó megjegyzés a potenciális elfogultságról

        A további interjúk erőfeszítései a várt hatást gyakorolták: Akiket általában nehezebb elérni, azokat külön erőfeszítéssel. A fiatalabb felnőtteket, a dolgozó felnőtteket és az egyetemi végzettséggel rendelkezőket nehezebb elérni, így az extra erőfeszítések nagyobb részét tették ki. Ami az érdemi kérdéseket illeti, az extra erőfeszítések hatása párhuzamos a demográfiai különbségekkel. Azok, akiket külön erőfeszítéssel értek el, nagyobb valószínűséggel mondták, hogy oktatási kérdéssel foglalkoztak (amely a fiatalabb felnőtteket tükrözi), és kevésbé valószínű, hogy egészségügyi problémával vagy a Medicare-vel foglalkoztak (ami az idős felnőttek nagyobb arányát tükrözi a normál mintában). Még akkor is, ha az eredmények jelentősen különböztek az extra erőfeszítések csoportjától, a hatás az összesített eredményre csekély volt. Vegye figyelembe, hogy az 1500 extra erőfeszítésből álló minta csak 84 elkészült interjút eredményezett. Mivel csak körülbelül 3000 szám volt alkalmas az extra erőfeszítésekre, még akkor is, ha mindegyiküket további 10-szer tárcsázták, ez hozzávetőlegesen 170-et adott volna hozzá a több mint 2000-es fő mintához. Még akkor is, ha az erőfeszítéssel járó eredmények lényegesen eltérnek a fő mintától, egyszerűen nem lennének elegendőek az átfogó felmérési eredmények mozgatásához.


        1 Információkeresések, amelyek megoldják a problémákat. Leigh Estabrook, Evans Witt és Lee Rainie 2007.12.30. Https://www.pewresearch.org/internet/PPF/r/231/report_display.asp 2007.12.30.

        2OMB-engedélyszám, 3137-0070, lejárati ideje 2010.30.06.

        3 Közvélemény negyedévente, Különleges szám: Nem válaszoló torzítás a háztartások felmérésében, 2006. évf. 70, 5. sz.

        4 A növekvő válaszképtelenség hatásának becslése egy nemzeti RDD telefonos felmérés alapján, Keeter és. al.POQ70: 759-779. Ez frissítette a 2008 - ban készült felülvizsgálatotA válaszhiány csökkentésének következményei egy nagy országos telefonos felmérésben, Keeter és. al.,POQ64: 125-48.

        5.Az MSA-kat egy központi urbanizált terület - viszonylag nagy népsűrűségű, szomszédos terület - alapján határozzák meg. Azok a megyék, amelyek a központi városiasodási területet tartalmazzák, az MSA központi megyéiként ismertek. További környező megyék (úgynevezett távoli megyék) felvehetők az MSA-ba, ha ezeknek a megyéknek erős társadalmi és gazdasági kapcsolataik vannak a központi megyékkel, az ingázás és a foglalkoztatás mérésével. Ne feledje, hogy ezek a külterületi megyék bizonyos területei valóban vidéki jellegűek lehetnek.

        6.A szigorú elutasításokat kizárták az extra erőfeszítések vizsgálatából. Ezek olyan telefonszámok, amelyeken a potenciális válaszadók minden bizonnyal elutasították az együttműködést.

        7A két minta közötti hívásteljesítménybeli különbség még hangsúlyosabb, ha figyelembe vesszük, hogy a nem működő telefonszámok közül sokakat az első próbálkozáskor azonosítottak, még mielőtt az extra erőfeszítés megkezdődött volna.

        8.A jelentésben minden összehasonlításhoz súlyozatlan adatokat használtak.