• Legfontosabb
  • Mód
  • Az adatok minősége a nemzetközi közvélemény-kutatásban

Az adatok minősége a nemzetközi közvélemény-kutatásban

K: Minden évben a Pew Research Center több tucat országban végez közvélemény-kutatást. Hogyan végez felmérést a Központ olyan sok helyen?

Nemzetközi közvélemény-kutatásainak elvégzéséhez a Pew Research Center szorosan együttműködik tapasztalt társadalmi és politikai kutatószervezetekkel a felméréseinkben szereplő minden országban működő helyi közvélemény-kutató cégek azonosításában és irányításában. Gondosan értékeljük a helyi gyártókat, és csak azokat a cégeket választjuk ki, amelyek megfelelnek a szigorú terepmunka-eljárások és az alapos minőség-ellenőrzés követelményeinek.

Legfőbb elkötelezettségünk az adatminőség, egy sokrétű koncepció, amely körültekintő figyelmet igényel a felmérés minden szakaszában, a mintavételtől kezdve az interjúk lebonyolításán át az adatkészlet feldolgozásáig és azon túl is. Ez azt is jelenti, hogy folyamatosan lépést tartunk az új technológiákkal és az új bevált gyakorlatokkal.

K: Miután kiválasztott egy helyi közvélemény-kutatási partnert, milyen szerepet játszik a felmérés lebonyolításában?

Gyakorlatilag a Pew Research Centernek a helyi gyártókra kell támaszkodnia a terepi műveletek megszervezésében és irányításában. De a Központ részt vesz a kutatás minden szakaszában. Kidolgozzuk a felmérés kérdőívét, kiértékeljük és jóváhagyjuk a mintavételi tervet, és gondosan értékeljük az előállított adatok minőségét. Megállapítottuk, hogy az interjúztatók felmérés lebonyolítását szabályozó protokollok különösen fontosak annak biztosításához, hogy egy felmérés pontosan képviselje a nyilvánosság és a legfontosabb alcsoportok hozzáállását, ezért nagy figyelmet fordítunk a szigorú protokollok tervezésére.

K: Milyen információkat kell összegyűjteni az adatok minőségének távoli figyelemmel kíséréséhez?



Rendszeres kapcsolatban állunk kutatási partnereinkkel - a professzionális kutatócégekkel, akiket felveszünk a helyi szállítók kiterjedt hálózatának azonosításában, koordinálásában és felügyeletében -, valamint magukat a helyi szállítókat. Átfogó folyamatunk van annak megerősítésére is, hogy egy helyi cég megérti és képes végrehajtani a szükséges mintavételi tervet és a terepmunka eljárásait.

Az ennek érdekében gyűjtött információk a következőket tartalmazzák:

  • a válaszadók kiválasztásának módszerének (a minta kialakítása) és a terepmunka során tapasztalt kihívások részletes ismertetése; a minta teljesítményének értékeléséhez használt népességi statisztikák átfogó dokumentációja, vagy kevésbé formális értelemben annak a népességnek a megértése, amelyet a terepmunka csapat megpróbál elérni (pl. a férfiak és a nők aránya), és mennyire voltak sikeresek ebben . Az Egyesült Államokban összehasonlításképpen ezek a népességi statisztikák az Egyesült Államok Népszámlálási Irodájának munkáján alapulnának;
  • nyilvántartások az interjút készítő minden interjújáról, valamint a kérdezőt felügyelő felügyelőről és a kapott adatokat bevezető személyről. Ez lehetővé teszi az adatok szokatlan mintáinak retrospektív vizsgálatát;
  • átfogó logisztikai részletek minden interjúhoz, ideértve a napszakot, helyszínt, mások időtartamát és jelenlétét; és
  • ha lehetséges, a felmérés teljesítéséhez felvett összes kapcsolat adata, beleértve azokat a háztartásokat is, amelyek nem válaszoltak a felmérés meghívására, és azokat az embereket, akik elutasították a részvételt.

K: Mennyire vesz részt a Pew Research Center a felméréseket végző kérdezők képzésében?

Az idő múlásával egyre jobban részt vettünk egy projekt ebben a szakaszában. Elsősorban abban szeretnénk biztosak lenni, hogy az interjúztatók ismerik és jól ismerik a terepmunka protokolljait, és megértik, miért kell betartaniuk ezeket az irányelveket. Logisztikai szempontból kihívást jelent számunkra, hogy közvetlenül megfigyeljük a kérdezőbiztosok képzését több országban. De innovatív megoldások fejlesztésén dolgozunk. Egy latin-amerikai multinacionális felmérés során például video linken keresztül figyeltük meg az edzéseket. Egy kelet-európai projekt számára a különböző országok terepi felügyelőinek központosított összegyűjtését szerveztük, hogy munkatársaink személyesen figyelhessék meg a képzést.

K: Hogyan felügyeli a Pew Research Center egy felmérési projektet, miután az a helyszínen van?

A terepmunka során megköveteljük a helyi gyártóktól, hogy több minőségellenőrzési intézkedést alkalmazzanak az interjúk nyomon követésére. Először az interjúk meghatározott százalékát kell felügyelni. Másodszor, a személyes szemlékben az egyes kérdezők interjúinak véletlenszerű részhalmazát „vissza kell ellenőrizni”. Ez megköveteli, hogy a felmérési cég munkatársa ellenőrizze a válaszadókat - személyesen vagy telefonon - és ellenőrizze, hogy az interjú megtörtént-e. Számos felmérési kérdést ismét felteszünk a válaszok megerősítésére. Végül nem engedélyezzük, hogy egy kérdező az összes interjú több mint 5% -át végezze. Ez segít minimalizálni egyetlen interjúkészítőnek a végső adatkészlet minőségére gyakorolt ​​hatását.

Az egyik újabb gyakorlat a helyi közvélemény-kutató cégek felkérése, hogy a terepi időszakban előre meghatározott időpontokban számoljanak be az elkészült interjúk teljes számáról, az interjúk regionális megoszlásáról, valamint a válaszadók életkor és nem szerinti eloszlásáról. Ha lehetséges, kérjük, hogy ezeket az információkat kérdező bontja meg. Minden adatpont információt nyújt arról, hogy az interjúztatók mennyire tartják be a felmérési tervet, és útmutatást ad a válaszadók véletlenszerű kiválasztásához.

K: Találkozott már olyan esetekkel, amikor az interjúztatók nem követték a tervet? Ha igen, mit tettél?

Voltak olyan esetek, amikor a terepmunka frissítései azt sugallják, hogy egy vagy több kérdező nem követte a megfelelő protokollokat. Ilyen esetekben szüneteltetjük az illető terepmunkáját, és további információkat kérünk a kérdező teljesítményéről, például az interjúk hosszáról, valamint az interjúk és az interjúk idejéről. Igyekszünk létrehozni egy kérdező napi munkanaplóját, és megállapítani, hogy megfelelően készít-e interjút, tekintettel a felmérés hosszára és az ország földrajzára.

Néhány esetben a bizonyítékok arra utalnak, hogy egy kérdező válaszokat gyártott vagy nem véletlenszerűen választott válaszadókat szükség szerint. Megköveteljük, hogy a garázdasággal gyanúsított kérdezőbiztosokat elbocsássák, és az összegyűjtött adatokat eldobják. Vizsgálataink a legtöbb esetben jó szándékú interjúztatókat tárnak fel, akik a területen kihívásokkal találkoztak. Egy latin-amerikai felmérésben például a terepmunka frissítései arra figyelmeztettek minket, hogy a vártnál kevesebb interjút készítettünk fiatal férfiakkal. Ennek oka az volt, hogy a női kérdezőbiztosok nyugtalanságot vetettek fel arra, hogy este bizonyos városrészekbe merészkedjenek, ez volt a fő alkalom a munkaképes férfiak kapcsolatfelvételére. Ebben az esetben kijavítottuk a problémát az interjúk kiterjesztésével a hétvégi nappali órákra, és újra hangsúlyoztuk annak fontosságát, hogy ismételten kapcsolatba lépjünk a véletlenszerűen kiválasztott válaszadókkal az együttműködésük érdekében.

K: A terepmunka befejezése után a Pew Research Center milyen lépéseket tesz a felmérési adatok minőségének biztosítása érdekében?

Az adatkészletet először kutatási partnereink, azok a cégek vizsgálják felül, amelyeket kifejezetten az érintett országokban végzett közvélemény-kutatás terén szerzett jelentős tapasztalataik és a helyi cégekkel fennálló kapcsolatuk miatt vettek fel. Kutatási partnereink figyelmeztetnek minket, ha arra gyanakszanak, vagy ha a felülvizsgálatok azt sugallják, hogy a terepmunka-eljárásokat nem tartották be. Ebben az esetben a helyi céggel együttműködünk a probléma megoldásában. Partnereink az első felülvizsgálati vonalunk.

Miután megkaptuk az adatkészletet, akkor számos minőségellenőrzési eljárást hajtunk végre. Minden kitöltött interjú esetében különös figyelmet fordítunk a „paradata” -ra: kifejezetten gyanús mintákat keresünk az interjú hosszában, helyszínében és idejében, valamint az egy kérdezőre eső munkaterhelésben és a sikeresség arányában. Közelebbről megvizsgáljuk az adott kérdező által rögzített válaszokat, ha logikailag nem magyarázható rendellenességeket találunk, és következetlen válaszokat, szélsőséges értékeket és ismétlődő rekordokat keresünk. Ez a felülvizsgálati folyamat iteratív. Még akkor is, ha a paradata első elemzése nem vet fel aggályokat, visszamegyünk, és mélyebben elmélyedünk a paradatában, ha utólag furcsa mintákat találunk a felmérési kérdésekre adott válaszokban.

Kérdés: Ismétlődő iratokat keres, és mit jelez a jelenlétük?

A felmérés adatminőségének sokféleképpen befolyásolható az ismétlődő rekordok felvétele - ahol egy válaszkészlet többször szerepel. Ez lehet akaratlan, programozási baleset vagy adatbevitel. Alternatívaként ez lehet szándékos csalás, egy alkalmazott - akár kérdező, akár felügyelő, akár cégvezető - esete, ha szándékosan csökkentik a kvótákat, elkerülik a szóváltásokat vagy az alacsonyabb költségeket.

Jelenleg ellenőrizzük azokat az interjúkat, amelyekben az összes változó (beleértve a demográfiai kérdéseket is) 100% -os egyezést mutat, és azokat az eseteket, amikor 100% -os egyezés csak az érdemi változókra vonatkozik. Bizonyos esetekben duplikált rekordokat észlelünk, bár ezek általában a minta 1% -át vagy kevesebbet tesznek ki. Általános feltételezésünk, hogy ezek hibát jeleznek, ezért hajlamosak vagyunk elvetni őket.

Még a kiterjedt vizsgálat után is nehéz meghatározni, hogy a bejegyzések másolata szándékos csalásnak köszönhető-e. A hamisított adatok azonosításának legnagyobb problémája az, hogy az adatkészletben általában nincs dohányzó fegyver. A hamisított adatok bármilyen formát ölthetnek, nemcsak a válaszok egyenes (vagy közeli) megismétlését. Az interjúalanyok, akik szeretnének sarkot vágni, teljesen kitalálhatják a válaszadókat, vagy interjút készíthetnek a barátokkal, nem pedig a kiválasztott válaszadókkal. Emiatt, amikor egy adatkészlettel kapcsolatos problémára gyanakszunk, elemezünk minden rendelkezésre álló adatot, beleértve a paradátumokat, az érdemi adatokat, a kérdezőbiztosokra vonatkozó adatokat és az elérhetőségi adatokat, hogy értékeljük, mi tévedhetett. Ezután együttműködünk kutatási partnereinkkel és helyi cégeinkkel annak kivizsgálása érdekében, hogy mi történt és hogyan lehet a legjobban kezelni a kérdést.

K: Lehet-e valaha biztos a Pew Research Center abban, hogy nemzetközi felmérései mentesek a hamis adatoktól?

Az adathamisítás régóta foglalkoztatja a felmérés kutatói közösségét. Mindenképpen aggodalomra ad okot, mivel felméréseket végezünk szerte a világon, gyakran személyes interjúk révén, amelyeket közvetlenül nem tudunk ellenőrizni. Tapasztalataink azt sugallják, hogy soha nem lehetünk teljesen biztosak abban, hogy az adatkészleteink 100% -ban mentesek-e hamis vagy alparaméterektől. De biztosak vagyunk abban, hogy megalapozott intézkedéseket foganatosítottunk annak biztosítására, hogy az általunk kiadott adatok a legjobb minőségűek legyenek.

K: Mi következik az adatminőség javításában a nemzetközi felmérések során?

Folyamatosan keressük a minőség-ellenőrzés javításának módjait. Örülünk annak a lehetőségnek, hogy a személyes kérdőíveket a személyes kérdőívek számítógépes táblagépekkel helyettesíthetik, hogy lehetővé tegyék a részletes nyomon követést a közelgő nemzetközi közvélemény-kutatások során.

Az egyik különösen ígéretes újítás az időmérés a felmérés során tabletta vagy más kézi eszközzel végzett személyes vizsgálatok során. Az ilyen mérések magukban foglalhatják a felmérés teljes hosszát az elejétől a végéig, de megjelölhetik a kérdőív szakaszainak kitöltéséhez vagy egy adott kérdés megválaszolásához szükséges időt is. A kérdőív alszakaszainak időzítése felhasználható annak értékelésére, hogy a válaszadónak vagy a kérdezőnek szokatlan nehézségei voltak-e egy adott résszel, vagy a kérdező nem szánt-e megfelelő időt bizonyos kérdések feltevésére.

A kézi számítógépes eszközök másik érdekes útja a hangfelvételek véletlenszerű pontokon történő használata az interjú során. Ez lehetővé teszi a kutató számára, hogy megerősítse, hogy a válaszadó megfelelően olvasta el a kérdéseket, és hogy ugyanaz a válaszadó válaszol-e a kérdésekre a felmérés során.

Az adatminőség minden méréséhez hasonlóan ezeket az új megközelítéseket számos más mutatóval együtt értékelni kell, hogy megértsük, hogyan járulnak hozzá a felmérés adatainak minőségének elemzéséhez. E kutatás eredményeinek tájékoztatniuk kell a jövőbeni felmérések felépítését és felépítését, új megközelítésekhez kell vezetniük az interjúkészítők képzéséhez és motiválásához, valamint segíteniük kell új, és remélhetőleg jobb minőség-ellenőrzési módszerek kidolgozásában.