Apklausėjo įtaka apklausų rezultatams Lietuvoje: trijų apklausų analizė*
AINĖ RAMONAITĖ
Vilniaus universitetas, Tarptautinių santykių ir politikos mokslų institutas, Vokiečių g. 10, 01130 Vilnius El. paštas aine.ramonaite@tspmi.vu.lt
Straipsnyje analizuojamas apklausėjo poveikis tyrimų rezultatams trijose Lietuvoje atliktose apklausose apie gyventojų pilietines ir politines nuostatas. Tyrime keliamas klausimas, kodėl tarptautiniuose lyginamuosiuose tyrimuose Lietuva išsiskiria itin dideliu apklausėjo poveikiu, keliančiu rimtų abejonių dėl duomenų patikimumo ir tinkamumo analizei. Straipsnyje aptariamos literatūroje išskiriamos apklausėjo poveikio priežastys, matavimo būdai ir pristatomi daugialygės regresinės analizės rezultatai. Trijų skirtingų tyrimų agentūrų darytų apklausų analizė atskleidė, kad apklausėjo poveikis reikšmingai skiriasi, priklausomai nuo tyrimo agentūros. Tyrime keltos hipotezės apie apklausėjo poveikio skirtumus, susijusius su klausimų pobūdžiu, nepasitvirtino, tačiau paaiškėjo, kad apklausėjo poveikis yra didesnis atsakant į abstraktesnius ir sudėtingesnius klausimus. Straipsnio išvadose pateikiamos rekomendacijos su apklausomis dirbantiems tyrėjams, kaip kontroliuoti apklausėjo poveikį tyrimų rezultatams.
Raktažodžiai: apklausų kokybė, apklausėjo įtaka, matavimo paklaida, intraklasinis koreliacijos koeficientas, pilietinės ir politinės nuostatos
ĮVADAS
Visuomenės nuomonės apklausų kokybė mūsų šalyje yra opus ir Lietuvos akademinės bendruomenės iki šiol labai menkai nagrinėtas klausimas. Paprastai patys tyrėjai Lietuvoje linkę apklausos dizaino ir kokybės kontrolės klausimus patikėti tyrimo agentūroms, o patys užsiima tik duomenų analize, neatsižvelgdami į galimus duomenų iškraipymus, kylančius dėl metodologinių ydų, atsirandančių dar lauko darbų metu. Tačiau Lietuvos įsitraukimas į aukšto lygio tarptautinius lyginamuosius apklausomis grįstus tyrimus, skiriančius daug dėmesio metodologinių standartų kėlimui, skatina gvildenti apklausų kokybės klausimus ir atskleidžia rimtas Lietuvos problemas, palyginti su kitomis šalimis.
Vieno iš tokių tarptautinių tyrimų – Europos socialinio tyrimo (European Social Survey, ESS) – tyrėjai ataskaitose atskleidžia, kad Lietuvoje darytos ESS apklausos pasižymi tiesiog dramatiškai dideliu apklausėjo poveikiu (angl. interviewer effect). Pažymima, kad didelė apklausėjo įtaka yra būdinga daugiausia pokomunistinėms šalims: Ukrainai, Rusijai, Bulgarijai, Čekijai, Slovakijai, Lenkijai, tačiau Lietuvoje darytose ESS6 ir 8 bangose apklausėjo poveikis yra didžiausias iš visų atitinkamos bangos šalių (Beulens, Loosveldt 2016; Wuyts, Loosweldt 2019; Morkevičius 2020). Lietuvos ESS6 bangoje vidutinis intraklasinės koreliacijos koeficientas, kuris rodo, kiek procentų kintamųjų variacijos paaiškina apklausėjo lygmuo, buvo 0,28, kai daugelyje kitų šalių šis skaičius nesiekia 0,10. ESS8 bangoje Lietuvos koeficientas pakilo dar labiau – iki 0,314, gerokai pralenkdamas net ir tokias šalis kaip Rusija (0,218), Čekija (0,19) ar Lenkija (0,110) (žr. Wuyts, Loosweldt 2019: 124).
Apklausėjo poveikis yra viena iš svarbių bendrosios apklausos paklaidos (angl. total survey error) komponentų (West, Blom 2017). Teigiama, kad net nedidelis apklausėjo efektas gali sukelti rimtų apklausos kokybės problemų (Hox 1994). Paprastai vidutinis intraklasinės koreliacijos koeficientas, kuriuo matuojamas apklausėjo poveikis, būna tarp 0 ir 0,05, retais atvejais pakyla iki 0,10 (Beulents, Loosvedt 2016: 103). Taigi, tokio dydžio apklausėjo poveikis, kuris randamas ESS6 ir ESS8 bangose Lietuvoje, kelia itin rimtų abejonių dėl duomenų patikimumo ir galimybės juos naudoti akademiniams tyrimams.
Aukščiausius kokybės standartus keliančio ESS tyrimo apklausoje aptinkamas apklausėjo poveikio mastas skatina kelti klausimą, ar tai yra tik ESS, ar visų Lietuvoje atliekamų apklausų problema ir kokios yra šio reiškinio priežastys. Nors apklausėjo poveikio problemai akademinėje literatūroje nuo seno skiriama gana daug dėmesio (Smith, Hyman 1950; Kish 1962; Hox 1994; Brunton-Smith et al. 2017; West, Blom 2017 ir kt.), Lietuvoje ši problema minima tik metodologiniuose vadovėliuose (Gaižauskaitė, Mikėnė 2014). Tyrimų, analizuojančių apklausėjo poveikio mastą ar priežastis Lietuvoje atliekamose apklausose, iki šiol apskritai nebuvo daryta. Šiame straipsnyje, pasitelkiant trijų skirtingų viešosios nuomonės tyrimo agentūrų darytų apklausų (ESS tyrimas neįtraukiamas) duomenis, analizuojamas apklausėjo poveikis apklausų rezultatams ir bandoma nustatyti jo priežastis. Kadangi visų trijų apklausų tematika buvo panaši (pilietinės ir politinės nuostatos), straipsnyje tikrinama, kiek apklausėjo poveikis susijęs su klausimų pobūdžiu ir kiek jis skiriasi, priklausomai nuo lauko tyrimą atlikusios agentūros.
Straipsnis sudarytas iš trijų dalių. Pirmojoje dalyje aptariamos akademinėje literatūroje išskiriamos apklausėjo poveikio priežastys ir formuluojamos tyrimo hipotezės. Antrojoje dalyje aprašomi apklausėjo poveikio matavimo būdai ir tyrimui naudojami duomenys. Galiausiai, trečiojoje dalyje pristatomi apklausėjo efekto trijų Lietuvoje darytų apklausų analizės rezultatai, o išvadose pateikiami apibendrinimai ir rekomendacijos tyrėjams ir tyrimų agentūroms.
APKLAUSĖJO POVEIKIO PRIEŽASTYS
Skirtingai nei kokybiniuose interviu, kur apklausėjo arba kalbintojo vaidmuo yra itin svarbus, standartizuotose kiekybinėse apklausose paprastai siekiama, kad apklausėjo poveikio nebūtų arba jis būtų kuo mažesnis. Klausimynai sudaromi taip, kad apklausėjams nereikėtų papildomai komentuoti ar aiškinti klausimų, jie apmokomi griežtai nenukrypti nuo klausimyno ir tyrimo protokolo (Leeuw et al. 2008). Vis dėlto pripažįstama, kad interviu atlikimas gali sukelti apklausėjo poveikį, kuris yra laikomas platesnės matavimo paklaidos (angl. measurement error) dalimi (Lavrakas 2008: 386). Kokios gali būti šio poveikio priežastys ir / ar kiek jos yra (ne)išvengiamos?
Pirma, turbūt pati akivaizdžiausia apklausėjo poveikio priežasčių grupė yra susijusi su techninėmis klaidomis ar darbo etikos skirtumais – apklausėjas gali praleisti kai kuriuos klausimus ar platesnius jų aprašymus, netiksliai perskaityti klausimus ar atsakymus, netiksliai fiksuoti respondento atsakymus ar net juos užpildyti pats ir pan. Tokio pobūdžio iškraipymai gali atsirasti ne tik dėl blogo apklausėjų darbo, bet ir dėl netinkamai ar nekokybiškai sudaryto klausimyno. Apklausėjai gali „priešintis“ kai kuriems klausimams, kurie yra neaiškūs arba, apklausėjų manymu, nekorektiškai suformuluoti ir pan., ir būti linkę juos praleisti, pakeisti ar užpildyti patys (Kish 1962). Jei klausimai neaiškūs, sudėtingi, patys respondentai į juos atsakinėdami gali prašyti apklausėjo pagalbos. Minima, kad apklausėjų darbą itin apsunkina atviri klausimai ir ilgas klausimynas (Gaižauskaitė ir kt. 2019), tai irgi gali tapti didesnio apklausėjo poveikio priežastimi.
Kita potenciali apklausėjo poveikio priežastis yra paties apklausėjo vertybiniai įsitikinimai. Nors apklausėjai yra mokomi laikytis neutralumo, nei žodžiais, nei gestais (pvz., antakių pakėlimu, balso tonu ar pan.) neparodyti savo pačių pažiūrų ir / ar reakcijų į respondento atsakymus (Lavrakas 2008: 387), vis dėlto pastebima, kad vertybines nuostatas ir nuomones tiriantiems kintamiesiems apklausėjo poveikio mastas paprastai būna didesnis nei kitiems klausimams (Kish 1962; Schosteck 1977; Cotter et al. 1982).
Dar viena apklausėjo poveikio priežastis yra gilesnė, susijusi su suvokimo (angl. perception) teorija. Kokybiniai interviu su apklausėjais atskleidė, kad apklausėjai dažnai girdi tokius atsakymus, kokius nori girdėti, o ne tokius, kokie buvo pasakyti. Nemaža dalis apklausėjų tiki, kad respondento nuostatos yra susietos į tam tikrą struktūrą ir tikisi iš jo nuoseklių, tarpusavyje neprieštaraujančių atsakymų. Interviu metu kai kurie apklausėjai prisipažino, kad po pirmų atsakymų jie perpranta respondentą ir jau žino, ką jis toliau pasakys (Smith, Hyman 1950). Kitaip tariant, apklausėjai patys yra tarsi „mažieji sociologai“, kurie pastebi žmonių nuostatų dėsningumus ir sąmoningai arba nesąmoningai kartais „pataiso“ atsakymus taip, kad šie tuos dėsningumus atitiktų.
Beveik visų iki šiol paminėtų apklausėjo poveikio tipų įmanoma išvengti arba juos sumažinti iki minimumo per apklausėjų mokymus ir kontrolę, išankstinį interviu klausimyno testavimą ir pan. Vis dėlto egzistuoja tokių apklausėjo poveikio priežasčių, kurių išvengti labai sunku, nes jos susiję ne su apklausėjo elgesiu, bet su pačiu jo buvimu interviu situacijoje arba konkrečiomis apklausėjo sociodemografinėmis charakteristikomis. Kaip tik tokio pobūdžio efektų tyrimams skiriama turbūt daugiausia dėmesio akademiniuose darbuose. Ypač dažnai analizuojamas apklausėjo rasės (žr. Hachet, Schuman 1975; Schosteck 1977; Rhodes 1994) ir lyties poveikis (Huddy et al. 1997) respondentų atsakymams.
Yra keletas skirtingų aiškinimų, kaip ir kodėl pats apklausėjo buvimas ir jo savybės gali paveikti respondento atsakymus. Visų pirma apklausėjo buvimas aktyvuoja socialines normas – tam tikrais klausimais respondentas gali stengtis atsakinėti ne taip, kaip iš tiesų yra, bet taip, kaip dera atsakyti, arba taip, kokio atsakymo, respondento akimis, apklausėjas tikisi. Pavyzdžiui, pastebima beveik visuotinė tendencija, kad apklausose daugiau žmonių atsako, jog dalyvavo rinkimuose, nei buvo iš tikrųjų (žr. Selb, Munzert 2013). Ypač sudėtinga apklausose išgauti atvirus atsakymus jautriais klausimais, tokiais kaip seksualinis elgesys, narkotikų vartojimas ir pan., ypač iš žemesnio socialinio sluoksnio žmonių (Lansvelt-Mulders 2008).
Kitas mechanizmas, kaip respondentai pritaiko savo atsakymus prie (savo įsivaizduojamų) apklausėjų lūkesčių, yra „elgesys iš pagarbos“ (angl. deference). Pastebėta, kad kai kurie respondentai yra linkę vengti įžeisti apklausėją, pavyzdžiui, atsakydami į klausimus, kurie susiję su jo rase ar tautybe. JAV mokslininkų tyrimas parodė, kad anglakalbiai Teksaso gyventojai dažniau minėdavo, kad žiūri televiziją ispanų kalba arba kad turi ispanakalbių draugų, kai juos apklausdavo ispaniškai kalbantis apklausėjas, nei tada, kai interviu darydavo anglakalbis (Reese et al. 1986). Tokiu būdu net ir objektyvūs fakto klausimai, tokie kaip tam tikros kalbos vartojimo dažnis, gali būti paveikti apklausėjo, jam pačiam tiesiogiai prie to neprisidedant.
Dar vienas aiškinimas, kaip apklausėjo rasė ar lytis gali paveikti atsakymus, yra kokybiniuose tyrimuose taikoma privačių ir viešų pasakojimų / nuomonių (angl. accounts) skirties teorija (Rhodes 1994). Teigiama, kad esant didelei socialinei atskirčiai tarp rasių, klasių ar pan. informantai ar respondentai iš mažumų ar žemesnio socialinio sluoksnio gali jaustis nesaugiai prieš aukštesnio socialinio statuso apklausėją, nepasitikėti juo ir nesidalyti savo privataus pasaulio realybe, o prisidengti normatyviai saugesne savo „viešąja“ tapatybe. Taigi, interviu metu atsiranda tam tikri galios santykiai, kurie keičia respondento atsakymus.
Aptarę įvairias galimas apklausėjų poveikio priežastis, galime formuluoti pagrindines hipotezes šiam tyrimui. Pirma, matėme, kad apklausėjo poveikio dydis glaudžiai susijęs su apklausėjų darbo kontrole ir apmokymų kokybe, kuria paprastai rūpinasi tyrimų agentūros, taigi keliame hipotezę, kad apklausėjo efektai gali skirtis tarp skirtingų apklausas atlikusių agentūrų. Antra, pastebėjome, kad apklausėjo efekto dydis gali priklausyti nuo klausimų pobūdžio. Atsižvelgdami į kitų autorių tyrimus, kelsime hipotezę, kad mažiausiai apklausėjų bus paveikti sociodemografiniai kintamieji ir atsakymai į faktinius klausimus, o labiausiai – atsakymai į vertybinių nuostatų klausimus. Kadangi šiame tyrime analizuojamose apklausose yra daug politinio pobūdžio klausimų apie šalies situacijos, politinių lyderių vertinimą, kurie nėra nei faktinės informacijos, nei grynai vertybiniai klausimai, tikėsimės, kad apklausėjo poveikis jiems turėtų būti didesnis nei atsakant į faktinius klausimus, bet mažesnis nei į vertybinius.
DUOMENYS IR METODAI
Apklausėjo poveikio matavimas
Apklausėjo poveikis paprastai matuojamas skaičiuojant intraklasinės koreliacijos koeficientą – ICC (angl. intra-class correlation coefficient), kuris įprastai apskaičiuojamas atlikus daugialygės regresijos arba vadinamąją mišrių efektų dviejų lygių analizę, kur apklausėjas yra antrojo lygmens kintamasis (žr. Hox 1994; Brunton-Smith et al. 2017). Į regresijos lygtį yra įtraukiamas apklausėjo atsitiktinio poveikio parametras (angl. random effect), kuris leidžia analizuojamo priklausomo kintamojo vidurkiui kisti priklausomai nuo apklausėjo. Tokiu būdu apskaičiuojama apklausėjo intraklasinė koreliacija, parodanti, kiek visos priklausomo kintamojo sklaidos paaiškina apklausėjo efektas.
ICC apskaičiuojamas atsitiktinio poveikio parametro variaciją (random effect variance) dalinant iš bendros variacijos (total variance), įgyjama reikšmė yra nuo 0 (koreliacijos klasės viduje nėra) iki 1 (visiška koreliacija klasės viduje). Taigi konceptualiai žiūrint ICC yra panašesnis į R2 tiesinės regresijos modelyje nei į Pearsono koreliacijos koeficientą (žr. Krabe 2017). Mišrių efektų modeliuose ICC pirmiausia naudojamas nustatyti, ar daugialygis modelis apskritai reikalingas, – jeigu ICC lygus 0, tai stebėjimo atvejai iš vieno klasterio (grupės) tarpusavyje nėra labiau panašūs negu atvejai iš skirtingų klasterių, kitaip sakant, grupavimo kintamasis neturi įtakos priklausomo kintamojo pasiskirstymui. Jeigu ICC pakankamai aukštas (paprastai pakankamai aukštu laikomas ICC > 0,10), daugialygė regresija yra ne tik relevantiška, bet ir būtina, nes pažeidžiama atvejų nepriklausomumo prielaida.
Analizuojant apklausėjo poveikį dažnai iškyla viena metodologinė problema – apklausėjo poveikis gali persidengti su vietovės poveikiu, kuris atsiranda apklausėjams priskiriant imties elementus tik tam tikrose vietovėse (siekiant lauko darbų efektyvumo ir mažesnių kontaktavimo su respondentais kaštų). Tam, kad būtų galima atskirti apklausėjo ir vietovės efektus, reikalingas toks apklausos dizainas, kuris imties elementus (pvz., adresus) apklausėjams paskirstytų atsitiktiniu būdu. Tokiu atveju apklausėjo ir vietovės efektus būtų galima atskirti naudojant kryžmiškai klasifikuotą (angl. cross-classified) daugialygį regresijos modelį, kur tiek apklausėjas, tiek vietovė yra įtraukiami į regresijos modelį kaip to paties lygmens atsitiktinio poveikio kintamieji (Beulens, Loosveldt 2016; Brunton-Smith et al. 2017). Tačiau dėl didelių kaštų toks tyrimo dizainas taikomas labai retai (West, Blom 2017) – dažniausiai taupant transporto ir kitus kaštus tam tikri apklausėjai skiriami dirbti tam tikroje teritorijoje, todėl patikimai atskirti apklausėjo ir vietovės efektus tampa neįmanoma.
Mūsų tyrime taip pat egzistuoja minėtoji problema – visose trijose apklausose apklausėjo kodas persidengia su atrankinio vieneto ar kitu vietovės kintamuoju, todėl patikimai įvertinti abiejų jų atskiros įtakos neįmanoma. Tačiau tai, kad įtraukiant abu kintamuosius (apklausėjo kodą ir vietovės kintamąjį) į kryžmiškai klasifikuotą daugialygį modelį visa šių kintamųjų sklaida priskiriama apklausėjo, o ne vietovės variacijai, patvirtina kitų mokslininkų teiginius, kad apklausėjo komponentas tyrimo dizainui turi didesnę įtaką negu vietovės (Schnell, Kreuter 2005) ir kad vietovė paaiškina tik labai nedidelę dalį apklausėjo efekto (žr. Beulents, Loosvedt 2016).
Apklausų charakteristikos
Tyrime naudotos trys visuomenės nuomonės apklausos (vidutiniškai 45–60 min. trukmės), atliktos trijų skirtingų gerai žinomų ir didelę tyrimų patirtį turinčių Lietuvos viešosios nuomonės ir rinkos tyrimų agentūrų 2016–2019 metais. Geras sąlygas trijų apklausų lyginimui sudaro tai, kad visų jų tematika buvo panaši – politinės ir pilietinės nuostatos – ir nemaža dalis klausimų sutapo visose trijose ar bent dviejose iš trijų apklausų. Be to, svarbu tai, kad visose trijose apklausose buvo prieinamas apklausėjo kodo kintamasis.
Etikos sumetimais apklausas vykdžiusių tyrimo agentūrų pavadinimai yra anonimizuoti ir įvardyti sąlyginiais pavadinimais – „Agentūra A“, „Agentūra B“ ir „Agentūra C“. Bazinės trijų apklausų charakteristikos – respondentų, atrankos taškų (apklausos vietovių) ir respondentų skaičius vienam apklausėjui pateikiami 1 lentelėje. Tiek pagal vidutinį vienam apklausėjui tenkantį respondentų skaičių, tiek pagal atrankos taškų skaičių (deja, šio rodiklio neturime „Agentūros B“ tyrimui) geriausiai atrodo „Agentūros A“ atlikta apklausa, tad galime kelti papildomą hipotezę, kad būtent šios agentūros apklausėjo efektai bus mažiausi.
Kintamųjų atranka
Iš visų trijų apklausų analizei buvo pasirinkti tie kintamieji, kurie tiko palyginimui, t. y. kurie vienoda arba panašia formuluote buvo užduoti bent dviejose iš trijų apklausų ir kurie buvo matuoti kiekybine arba bent jau ne mažesne nei 4 balų tvarkos skale. Toks pasirinkimas kalbant apie skales padarytas dėl ICC koeficiento palyginamumo atsižvelgiant į kitų tyrėjų praktiką (žr. Wuyts, Loosweldt 2019: 122) – tam, kad būtų galima taikyti tiesinės daugialygės regresijos modelį (logistinei regresijai ICC skaičiuojamas kitaip ir negali būti lengvai palyginamas su tiesinės regresijos modelio ICC).
1 lentelė. Svarbiausios techninės apklausų charakteristikos
Respondentų skaičius
Atrankos taškų skaičius
Vidutinis respondentų skaičius vienam apklausėjui
Agentūra A
1 500
305
12,8 (nuo 4 iki 34)
Agentūra B
1 306
ND
24,6 (nuo 5 iki 43)
Agentūra C
1 015
124
21,9 (nuo 6 iki 48)
Kintamieji buvo suskirstyti į tris kategorijas pagal numanomą apklausėjo poveikio dydį, kaip buvo minėta teorinėje dalyje: 1) faktiniai, prie kurių priskirti sociodemografiniai kintamieji ir informacijos vartojimo klausimai, 2) nuomonės kintamieji, prie kurių priskirti šalies būklės ir politikų vertinimai, 3) vertybiniai kintamieji, prie kurių priskirti ideologinių orientacijų klausimai. Iš sociodemografinių kintamųjų į analizę įtraukti klausimai apie amžių, išsimokslinimą, pajamas, pragyvenimo lygį ir bažnyčios lankymą (nors šis kintamasis, tikėtina, gali būti veikiamas socialinių normų). Atrasti kitų faktinių kintamųjų, kurių neturėtų veikti apklausėjas, nebuvo lengva, nes, tikėtina, kad net ir klausimai, matuojantys ne nuostatas, o elgesį, gali būti veikiami socialinių normų. Prie šios kategorijos kintamųjų buvo įtraukti domėjimasis politika ir informacinių kanalų vartojimo klausimai.
Vidutinio dydžio apklausėjo efekto tikimės antroje kintamųjų kategorijoje, į kurią įtrauktas šalies ekonominės būklės vertinimas ir klausimai apie penkių Lietuvos politikų mėgimą – Ramūną Karbauskį, Saulių Skvernelį, Gabrielių Landsbergį, Remigijų Šimašių ir Dalią Grybauskaitę. Galiausiai trečioje kategorijoje atsidūrė vertybiniai ir ideologiniai kintamieji, kuriems tikimės didžiausio apklausėjo poveikio: tai klausimai apie tos pačios lyties partnerystes arba homoseksualių asmenų toleranciją, abortus, ekonomikos reguliavimą ir sovietmečio vertinimą. Vertybinių klausimų formuluotės trijose apklausose šiek tiek skyrėsi, tačiau tai neturėtų trukdyti duomenų palyginamumui, kadangi klausimų vertybinis pobūdis buvo panašus.
ANALIZĖS REZULTATAI
Analizę pradėjome nuo sociodemografinių kintamųjų, kuriems paprastai apklausėjo poveikis būna mažiausias. Atsižvelgiant į teorinėje dalyje aptartus kitų autorių darbus, pagrįsta tikėtis, kad intraklasinės koreliacijos koeficientas šiems kintamiesiems (bent jau tokiems objektyviems faktiniams kintamiesiems kaip amžius) turėtų būti artimas nuliui. Tačiau, kaip matome iš 2 lentelės, taip nėra. Tik amžiaus kintamojo ir tik „Agentūros C“ atveju intraklasinė koreliacija lygi nuliui, o kitų dviejų agentūrų apklausose net amžiaus kintamajam stebimi santykinai nemaži apklausėjo efektai – „Agentūros A“ apklausėjas paaiškina maždaug 7 proc. amžiaus sklaidos, o „Agentūros B“ – beveik 9 proc. kintamojo sklaidos.
Kaip tai galima paaiškinti? Juk amžiaus kintamasis yra objektyvus, nesudėtingai pamatuojamas, tad nė vienas iš teorinėje dalyje aptartų mechanizmų negalėtų paaiškinti, kodėl tarp tų pačių apklausėjų apklaustų respondentų amžiaus skirtumai yra reikšmingai mažesni negu tarp skirtingų apklausėjų kalbintų respondentų. Visų pirma čia galime įtarti vietovės poveikį – tikėtina, kad tam tikrose atrinktose vietovėse gyvena daugiau, pavyzdžiui, senyvo amžiaus žmonių. Vis dėlto tai, kad „Agentūroje C“ amžiaus efekto nėra (nors visose trijose apklausose naudota daugiapakopė maršrutizuota atranka), šį aiškinimą susilpnina.
2 lentelė. Apklausėjo poveikis sociodemografiniams kintamiesiems (intraklasinės koreliacijos koeficientas)
Agentūra A
Agentūra B
Agentūra C
Amžius
0,067
0,087
0
Išsimokslinimas
0,183
0,143
0,084
Bažnyčios lankymas
0,095
0,103
0,133
Pajamos
0,295
0,254
0,229
Pragyvenimo lygis
0,332
0,220
0,173
Detalesnė analizė rodo (žr. 1 pav., kuriame pavaizduoti amžiaus vidurkiai ir pasikliautiniai intervalai pagal apklausėją „Agentūros A“ ir „Agentūros B“ apklausose), kad už santykinai didelius apklausėjo efektus „Agentūroje B“ daugiausia „atsakingi“ keli apklausėjai, kurie kalbino išskirtinai jaunus arba išskirtinai senus respondentus. Tikėtina, kad šiuo atveju apklausėjai tiesiog nepaiso atrankos procedūrų protokolo ir pasirenka tokius respondentus, su kuriais jiems geriau sekasi bendrauti.
Išsimokslinimo kintamajam apklausėjo poveikis dar didesnis nei amžiui, tačiau čia ir vėl galime pastebėti skirtumus tarp agentūrų: „Agentūros C“ poveikis yra mažiausias, o „Agentūros A“ – didžiausias, intraklasinės koreliacijos skirtumas tarp jų skiriasi daugiau nei du kartus. Svarbu pažymėti, kad „Agentūros A“ apklausoje buvo pateikta gerokai daugiau išsimokslinimo kategorijų (16) nei kitose dviejose (7), tad, tikėtina, kad sudėtingesnis klausimas reikalavo daugiau „pagalbos“ iš apklausėjo. Bažnyčios lankymo dažniui apklausėjo poveikis visų agentūrų apklausose panašus – apie 10 proc.
Visose trijose apklausose matome itin aukštą apklausėjo poveikį pajamų kintamajam – jis paaiškina nuo 23 net iki 30 proc. sklaidos. Tai galima sieti su keliais veiksniais. Visų pirma klausimas apie šeimos pajamas yra gana sudėtingas, reikalaujantis daug kalkuliacijos, žinojimo apie kitų šeimos narių pajamas ir geros atminties: šiame klausime prašoma sudėti visų šeimos narių, kurie kartu gyvena, atlyginimus, pensijas, stipendijas, pašalpas ir pasirinkti, į kokią kategoriją iš 20 (maždaug kas 100 eurų) patenka suskaičiuotoji suma. Tikėtina, kad respondentai prašo apklausėjų pagalbos atlikdami šią procedūrą. Antra, klausimas apie pajamas gali būti laikomas santykinai jautriu, asmeninio pobūdžio, tad galima manyti, kad atsakymus į šį klausimą gali veikti paties apklausėjo socialinis statusas – ar jį respondentai laiko pasiturinčiu, ar ne. Galiausiai, dalis apklausėjo poveikio gali būti paaiškinama vietovės įtaka, kadangi pajamų nelygybė skirtinguose Lietuvos regionuose yra didelė.
Visose trijose apklausose turėjome dar vieną klausimą apie materialinę respondento padėtį. Buvo klausiama, kuris iš teiginių geriausiai apibūdina žmogaus finansinę padėtį: „1. Mums neužtenka pinigų net maistui; 2. Mums užtenka pinigų maistui, bet labai sunku nusipirkti drabužių; 3. Mums užtenka pinigų maistui bei drabužiams ir mes galime šiek tiek sutaupyti, bet to neužtektų stambesniam pirkiniui (pvz., televizoriui arba šaldytuvui); 4. Mums yra prieinami kai kurie brangūs daiktai, tokie kaip televizorius, šaldytuvas ir kiti, bet labai brangių pirkinių mes negalime sau leisti (pirkti butą, vasarnamį ar pan.); 5.Mes galime sau leisti pirkti viską, ko norime.“ Šis klausimas, nors panašiai jautrus, bet yra gerokai paprastesnis, nereikalaujantis skaičių atsiminimo ir sudėtingos kalkuliacijos, taigi įdomu palyginti, ar čia apklausėjo efektas bus mažesnis nei pajamų atveju. Kaip matyti iš 2 lentelės, „Agentūros B“ ir „Agentūros C“ apklausėjų poveikis šiam kintamajam buvo mažesnis nei atsakant apie pajamas, tačiau „Agentūros A“ atveju sumažėjimo nėra.
1 pav. Respondento amžiaus vidurkis ir pasikliautinis intervalas pagal apklausėją: kairiajame paveikslėlyje „Agentūra A“, dešiniajame – „Agentūra B“
Kita kategorija klausimų, kuriems tikėjomės panašaus apklausėjo efekto kaip sociodemografiniams kintamiesiems, yra faktiniai klausimai apie respondento informacijos vartojimo įpročius – skirtingų informacinių kanalų vartojimo dažnį ir domėjimosi politika lygį. Nors galima manyti, kad šiems klausimams gali galioti tam tikros socialinės normos (ypač domėjimosi politika klausimas), vis dėlto tai labiau faktinio, o ne vertybinio tipo klausimai, tad atsakymams į juos tikėtumės mažesnio apklausėjo efekto.
Kaip matyti iš 3 lentelės, domėjimosi politika kintamajam apklausėjo efektas santykinai nedidelis (bent jau mažesnis nei daugumai sociodemografinių kintamųjų) – paaiškinantis nuo 5 iki 13 proc. kintamojo sklaidos. Čia ir vėl matoma tendencija, kad „Agentūros C“ apklausose poveikis mažiausias, o „Agentūros A“ – didžiausias. Gaila, tačiau „Agentūros C“ tyrime nebuvo klausimų apie žiniasklaidos kanalų vartojimo dažnį, tad čia lyginti galime tik dviejų agentūrų rodiklius. Kaip matyti iš 3 lentelės, visais atvejais „Agentūros A“ koeficientai yra gerokai aukštesni nei „Agentūros B“.
Kaip galima tikėtis remiantis teorija, didžiausias apklausėjo poveikis yra atsakymams apie Rusijos televizijos kanalų žiūrėjimą (čia įtakos galėjo turėti apklausėjo tautybė ir vietovė). „Agentūros A“ intraklasinė koreliacija šiam kintamam siekia net 0,48, o tai reiškia, kad apklausėjas paaiškina beveik pusę šio kintamojo sklaidos. Tačiau į modelį kaip fiksuoto poveikio (angl. fixed effects) kintamuosius įdėjus respondento tautybę ir apskritį, „Agentūros A“ apklausoje ICC sumažėja iki 0,25, o „Agentūros B“ apklausoje įdėjus savivaldybę – iki 0,14, įdėjus savivaldybę ir respondento tautybę – iki 0,067. Matome, kaip apklausėjo efektas persidengia ne tik su vietovės efektu, bet koreliuoja ir su respondento savybėmis, konkrečiai – tautybe (tikėtina, kad į etninių mažumų dominuojamus regionus buvo siunčiami tai pačiai etninei mažumai priklausantys apklausėjai).
3 lentelė. Apklausėjo poveikis domėjimuisi politika ir informacinių kanalų vartojimo kintamiesiems (intraklasinės koreliacijos koeficientas)
Agentūra A
Agentūra B
Agentūra C
Domėjimasis politika
0,13
0,078
0,046
LRT televizijos žiūrėjimas
0,258
0,152
–
Kitų Lietuvos TV stočių žiūrėjimas
0,30
0,16
–
Rusijos televizijos stočių (PBK, RTR, NTV, RenTV ir t. t.) žiūrėjimas
0,481
0,237
–
LRT radijo klausymas
0,278
0,179
–
Naudojimasis internetu
–
–
0,033
Kadangi „Agentūros C“ darytoje apklausoje nebuvo klausimų apie žiniasklaidos kanalų vartojimą, patikrinome intraklasinės koreliacijos koeficientą vieninteliam šiek tiek panašiam turėtam kintamajam – interneto vartojimo dažniui. Kaip matyti iš 3 lentelės, apklausėjo poveikis santykinai labai mažas (0,03). Už jį mažesnis buvo tik apklausėjo efektas amžiui (tos pačios „Agentūros C“).
Duomenys apie apklausėjo poveikį Lietuvos ekonominės būklės per pastaruosius 12 mėn. ir demokratijos veikimo Lietuvoje vertinimui pateikti 4 lentelėje. Čia ir vėl matyti akivaizdūs skirtumai tarp agentūrų – „Agentūros A“ efektai itin dideli, o „Agentūros B“ ir „Agentūros C“ apklausose gerokai mažesni. „Agentūros C“ klausimo apie demokratijos veikimo Lietuvoje vertinimą apklausėjo poveikis atsakymams didesnis nei klausiant apie ekonomikos būklę (tai galėtų lemti abstraktesnis klausimo apie demokratijos veikimą pobūdis), tačiau „Agentūros A“ tokios pat tendencijos nematome, netgi atvirkščiai – atsakymams apie ekonomikos būklę apklausėjo poveikis didesnis.
5 lentelėje matome apklausėjo efektus vertinant politikus. Buvo prašoma įvertinti, kiek respondentas mėgsta ar nemėgsta šiuos politikus 0–10 balų skalėje, taigi čia galėtume tikėtis kiek didesnio apklausėjo efekto nei ekonomikos ir demokratijos vertinimo klausimais dėl sudėtingesnės atsakymų skalės. Kita vertus, šie klausimai galėjo būti paprastesni respondentams, nes teiraujamasi apie gerai žinomus politikus, apie kuriuos dauguma Lietuvos žmonių turi tvirtą nuomonę. Kaip matyti iš 5 lentelės, efektų dydžiai panašūs į prieš tai nagrinėtų ekonomikos ir demokratijos vertinimo klausimų. Vėl išryškėja aiškūs skirtumai tarp agentūrų: „Agentūros A“ efektai buvo didžiausi, „Agentūros C“ – mažiausi, o „Agentūros B“ – vidutiniai. Įdomu tai, kad „Agentūros C“ apklausoje mažiausi apklausėjo efektai pastebimi vertinant Gabrielių Landsbergį (tik 0,026).
Galiausiai 6 lentelėje galima matyti apklausėjo poveikį atsakant į vertybinių orientacijų klausimus, kurie atspindi pagrindines politines skirtis Lietuvoje – ekonominės kairės ir dešinės, liberalumo ir konservatyvumo bei sovietmečio vertinimo (žr.Ramonaitė, Jastramskis 2014). Iš 6 lentelėje pateiktų duomenų matome, kad, bendrai imant, apklausėjo poveikis atsakant į vertybinius klausimus yra didelis, tačiau ne didesnis nei anksčiau nagrinėtais nuostatų klausimais. Pagrindinė tendencija čia ta pati kaip ir anksčiau: didžiausias poveikis matomas „Agentūros A“ apklausoje, mažiausias (beveik visais atvejais) – „Agentūros C“. Tarp konkrečių klausimų aiškių skirtumų nematyti: nors iš „Agentūros A“ ir „Agentūros C“ apklausų galėtume susidaryti nuomonę, kad didesnis apklausėjo poveikis yra atsakymams apie abortus ir sovietmečio vertinimą, tačiau „Agentūros B“ duomenys tokių tendencijų nepatvirtina (tiesa, ekonomikos vertinimo klausimo formuluotė „Agentūros B“ buvo sudėtingesnė, tai gali paaiškinti, kodėl apklausėjo poveikis yra santykinai aukštesnis).
4 lentelė. Apklausėjo poveikis šalies ekonomikos būklės ir demokratijos veikimo vertinimui (intraklasinės koreliacijos koeficientas)
Agentūra A
Agentūra B
Agentūra C
Ekonomikos būklės per pastaruosius 12 mėn. vertinimas
0,36
–
0,057
Demokratijos veikimo vertinimas
0,315
0,113
0,148
5 lentelė. Apklausėjo poveikis politikų mėgimui ir nemėgimui (intraklasinės koreliacijos koeficientas)
Politikas
Agentūra A
Agentūra B
Agentūra C
Ramūnas Karbauskis
0,265
–
0,107
Saulius Skvernelis
0,318
0,168
0,101
Gabrielius Landsbergis
0,283
–
0,026
Remigijus Šimašius
0,358
–
0,088
Dalia Grybauskaitė
–
0,174
0,07
6 lentelė. Apklausėjo poveikis vertybiniams kintamiesiems (intraklasinės koreliacijos koeficientas)
Agentūra A
Agentūra B
Agentūra C
LGBT teisės / homoseksualų tolerancija
0,238
0,115
0,081
Abortai
0,309
0,126
0,147
Ekonomikos reguliavimas
0,202
0,225
0,045
Sovietmečio vertinimas
0,34
0,19
0,111
Visų kintamųjų apibendrinimą galime matyti 2 pav., kuriame pavaizduotas intraklasinės koreliacijos koeficientų reikšmių išsibarstymas pagal tyrimų agentūrą ir klausimo tipą. Kaip rodo grafikas, hipotezė apie skirtingą apklausėjo poveikį atsakymams į skirtingo tipo klausimus nepasivirtino – tarp skirtingų klausimų kategorijų nėra jokių aiškių intraklasinės koreliacijos skirtumų. Tačiau pasitvirtino hipotezė apie skirtumus tarp tyrimo agentūrų – skirtumai tarp trijų agentūrų yra ryškūs ir statistiškai reikšmingi 0,001 lygmeniu. Visose klausimų kategorijose „Agentūros C“ rodikliai yra geriausi (t. y. apklausėjo poveikis mažiausias), o „Agentūros A“ – blogiausi (apklausėjo poveikis didžiausias).
2 pav. Intraklasinės koreliacijos koeficiento reikšmių išsibarstymas pagal tyrimo agentūrą ir klausimo tipą
IŠVADOS
Straipsnyje išanalizuotas apklausėjo poveikis trijų skirtingų visuomenės nuomonės tyrimų agentūrų apklausų rezultatams parodė, kad Europos socialinio tyrimo 6 ir 8 bangose pastebėti itin dideli apklausėjo efektai Lietuvoje darytose apklausose iš tiesų yra ne tiek Lietuvos, kiek konkrečios tyrimo agentūros nulemtas efektas. Tyrimas atskleidė, kad tarp skirtingų agentūrų yra statistiškai reikšmingi ir dideli apklausėjo poveikio skirtumai. Tai rodo, kad didžiąją dalį su apklausėjo poveikiu susijusių problemų įmanoma ištaisyti tiesiog didinant apklausėjų darbo kontrolę ir mokymus. Analizė taip pat atskleidė kai kurias su atrankos procesu susijusias problemas – apklausėjo koreliacija su respondentų amžiumi leidžia manyti, kad kai kuriose tyrimų agentūrose apklausėjai nepaiso atsitiktinės atrankos taisyklių.
Svarbu pažymėti tai, kad formalūs apklausos dizaino požymiai, tokie kaip apklausėjo darbo krūvis (vienam apklausėjui tenkančių respondentų kiekis), neparodo realios apklausos kokybės. Nors iš formaliųjų požymių tikėjomės, kad „Agentūros A“ apklausa bus kokybiškiausia ir joje rasime mažiausią apklausėjo poveikį, pasirodė priešingai – kaip tik šios agentūros apklausoje apklausėjo efektas visose klausimų kategorijose buvo didžiausias.
Tyrimo rezultatai rodo, kad apklausėjo poveikis Lietuvoje ne itin skiriasi, priklausomai nuo klausimų pobūdžio. Kai kurių agentūrų atliktose apklausose atsakymams į ne tik vertybinius, bet ir nuomonės ar net faktinius klausimus apklausėjo poveikis yra itin aukštas, gerokai aukštesnis nei įprasta Vakarų šalyse. Tačiau tarp skirtingų klausimų galima pastebėti apklausėjo poveikio variaciją, susijusią daugiau su klausimo sudėtingumu nei jo vertybiniu pobūdžiu – pastebėta, kad apklausėjo poveikis buvo šiek tiek didesnis atsakant į abstraktesnius klausimus ir tuos, kurių formuluotės sudėtingesnės (pvz., yra gerokai daugiau atsakymų kategorijų). Ypač daug problemų, kaip matėme iš analizės, kelia šeimos pajamų kintamasis – jam apklausėjo poveikis visų trijų agentūrų apklausose ypač didelis. Todėl Lietuvos apklausų agentūros turėtų surasti būdą, kaip supaprastinti šio klausimo formuluotę ir padaryti jį kuo mažiau „jautrų“ (pvz., galima būtų perimti kai kurias ESS praktikas konstruojant pajamų kintamąjį).
Remiantis tyrimo rezultatais galima pasiūlyti keletą rekomendacijų su apklausomis dirbantiems tyrėjams. Pirma, iš apklausą atliekančių agentūrų būtina prašyti plano, kaip numatoma kontroliuoti apklausėjo poveikį, ir ataskaitos, kaip tai daryta. Jeigu įmanoma, reikėtų prašyti, kad imties elementai būtų atsitiktinai paskirti apklausėjams arba bent jau kad apklausos atlikimui vienoje vietovėje (atrankos taške) būtų paskirti ne mažiau kaip du apklausėjai. Antra, tyrimo duomenų faile būtina reikalauti apklausėjo kodo ir smulkaus vietovės kintamojo (anonimizuotai atskleidžiančio atrankos vienetus). Trečia, prieš atliekant rūpimą duomenų analizę būtina įvertinti apklausėjo poveikį ir, jeigu apklausėjo lygmens intraklasinės koreliacijos koeficientas yra pakankamai aukštas, analizę būtina atlikti naudojant mišrių efektų metodą su apklausėjo (arba, jei įmanoma, apklausėjo ir vietovės) kintamųjų atsitiktinio poveikio parametru. Priešingu atveju būtų pažeista paprastoje tiesinėje regresijoje daroma respondentų nepriklausomumo prielaida ir rizikuojama prieiti prie klaidingų išvadų. Ekspertai pataria, kad esant rimtai apklausėjo poveikio problemai analizėje verta specialiai padidinti standartines paklaidas arba sumažinti naudojamo statistinio reikšmingumo lygį (Beulens, Loosveldt 2016), tačiau svarbiausia bandyti išsiaiškinti tikrąsias apklausėjo poveikio priežastis ir mėginti jį sumažinti.
Gauta 2020 08 13
Priimta 2020 10 15
Literatūra
Beullens, K.; Loosveldt, G. 2016. ‘Interviewer Effects in the European Social Survey’, Survey Research Methods 10(2): 103–118.
Brunton-Smith, I.; Sturgis, P.; Leckie, G. 2017. ‘Detecting and Understanding Interviewer Effects on Survey Data by Using a Cross-classified Mixed Effects Location–Scale Model’, Journal of the Royal Statistical Society Series A: Statistics in Society 180(2): 551–568.
Cotter, P. R.; Cohen, J.; Coulter, P. B. 1982. ‘Race-of-interviewer Effects in Telephone Interviews’, Public Opinion Quarterly 46(2): 278–284.
Gaižauskaitė, I.; Mikėnė, S. 2014. Socialinių tyrimų metodai: apklausa. Vilnius: Mykolo Romerio universitetas.
Gaižauskaitė, I.; Mikėnė, S.; Plepytė-Davidavičienė, G. Ar sociologai šitą tyčia daro? Pranešimas, skaitytas XI nacionalinėje Lietuvos sociologų draugijos konferencijoje, 2019 m. lapkričio 22 d., Vilnius.
Hatchett, S.; Schuman, H. 1975. ‘White Respondents and Race-of-interviewer Effects’, The Public Opinion Quarterly 39(4): 523–528.
Hox, J. J. 1994. ‘Hierarchical Regression Models for Interviewer and Respondent Effects’, Sociological Methods & Research 22(3): 300–318.
Huddy, L.; Billig, J.; Bracciodieta, J.; Hoeffler, L.; Moynihan, P. J.; Pugliani, P. 1997. ‘The Effect of Interviewer Gender on the Survey Response’, Political Behavior 19(3): 197–220.
Kish, L. 1962. ‘Studies of Interviewer Variance for Attitudinal Variables’, Journal of the American Statistical Association 57(297): 92–115.
Lansvelt-Mulders, G. 2008. ‘Surveying Sensitive Topics’, in International Handbook of Survey Methodology, eds. E. D. de Leeuw, J. J. Hox, D. A. Dillman. Taylor & Francis Group/Lawrence Erlbaum Associates.
Lavrakas, P. J. 2008. Encyclopedia of Survey Research Methods. Thousand Oaks, London, New Delhi: Sage Publications.
De Leeuw, E. D.; Hox, J. J.; Dillman, D. A. 2008. International Handbook of Survey Methodology. Taylor & Francis Group/Lawrence Erlbaum Associates.
Morkevičius, V. 2020. Apklausų kokybė: pagrindiniai teoriniai aspektai ir praktikos Lietuvoje. Pranešimas, skaitytas internetiniame seminare „Apklausų kokybė Lietuvoje ir iššūkiai COVID-19 situacijoje“, 2020 06 18. Prieiga per internetą: https://doi.org/10.5281/zenodo.3900244
Ramonaitė, A.; Jastramskis, M. 2014. „Vertybės ir įsitikinimų struktūros“, iš Kaip renkasi Lietuvos rinkėjai? Idėjos, interesai ir įvaizdžiai politikoje (red. A. Ramonaitė). Vilnius: Vilniaus universiteto leidykla, 126–144.
Reese, S. D.; Danielson, W. A.; Shoemaker, P. J.; Chang, T. K.; Hsu, H. L. 1986. ‘Ethnicity-of-interviewer Effects Among Mexican-Americans and Anglos’, Public Opinion Quarterly 50(4): 563–572.
Rhodes, P. J. 1994. ‘Race-of-interviewer Effects: A Brief Comment’, Sociology 28(2): 547–558.
Schnell, R.; Kreuter, F. 2005. ‘Separating Interviewer and Sampling-Point Effects’, Journal of Official Statistics 21(3): 389–410.
Selb, P.; Munzert, S. 2013. ‘Voter Overrepresentation, Vote Misreporting, and Turnout Bias in Postelection Surveys’, Electoral Studies 32(1): 186–196.
Shosteck, H. 1977. ‘Respondent Militancy as a Control Variable for Interviewer Effect’, Journal of Social Issues 33(4): 36–45.
Smith, H. L.; Hyman, H. 1950. ‘The Biasing Effect of Interviewer Expectations on Survey Results’, Public Opinion Quarterly 14(3): 491–506.
West, B. T.; Blom, A. G. 2017. ‘Explaining Interviewer Effects: A Research Synthesis’, Journal of Survey Statistics and Methodology 5(2): 175–211.
* Straipsnis parengtas įgyvendinant LMT remiamą projektą „Lietuvos nacionalinė rinkiminė studija 2020“ (nr. S-LIP-19-67). Už vertingas pastabas ir komentarus autorė dėkinga Vaidui Morkevičiui ir Adelei Vaiginytei.
AINĖ RAMONAITĖ
Interviewer Effect on the Survey Data in Lithuania: Analysis of Three Surveys
Summary
The article analyses the interviewer effect on the data of three public opinion surveys on political attitudes of the population conducted in Lithuania. The study discusses why in international comparative studies Lithuania stands out for its extremely high interviewer effect, which raises serious doubts about the reliability and suitability of the data for analysis. The article, first, reviews the reasons for the interviewer effect and the methods of its measurement and, second, presents the results of multilevel modelling. The analysis of surveys conducted by three different public opinion research agencies reveals that the interviewer effect varies significantly depending on the research agency. The hypotheses on the differences in the interviewer effect related to the nature of the questions were not confirmed, but it was found that the interviewer effect was greater on more abstract and complex questions. In the conclusions, the recommendations for researchers working with surveys on how to control the interviewer effect are provided.