Nie musisz robić audytu. Wystarczy spojrzeć samą konstrukcję badania. I to już pomijając fakt, że badania z paneli internetowych są całe gówno warte, ja też na bezrobociu ciągle wypełniałam Ariadnę czy Reaktor Opinii tylko po to żeby dostać jakieś drobniaki. Próba też jest niewystarczająca, ale pomińmy to. Uznajmy, że nie było tych informacji, a badanie było normalnym, rygorystycznym sondażem zrobionym metodą CAPI czy CATI, p było prawidłowe i w ogóle.

Takie badanie wciąż można łatwo zmanipulować.

Masz tam zadane pytanie o to, czy zdaniem pana/pani świadczenie powinno być… i tutaj masz pełne pole do manipulacji opcjami.

Za każdym razem kiedy zadajesz pytanie sondażowe, które z natury rzeczy musi być pytaniem zamkniętym, musisz dobrać odpowiednie sugestie odpowiedzi. W teorii sugestie te powinny być jak najbardziej pełne, brzmieć w miarę możliwości neutralnie i pokazywać całe spektrum możliwości. W idealnym świecie te sugestie powinny pochodzić też z wiedzy np. z badań jakościowych, które powinny prawidłowo zidentyfikować rodzaje tendencji. Nie powinniśmy pytać respondentów o poglądy, o których nie wiemy nawet czy istnieją w sferze publicznej (“czy chciałby pan, żeby gumowe zielone krasnoludki też pobierały 800+?”). Wtedy czynimy nieintencjonalną sugestię do badanego, że w ogóle taka opcja istnieje i zaburzamy strukturę wyników.

Są sondaże które spektrum odpowiedzi celowo zawężają, bo chcą np. zbadać tylko jedną tendencję (np. “czy uważasz że 800+ powinno być zlikwidowane czy utrzymane”, tertium non datur) - wtedy odpowiedzi są zwykle na korzyść dominującej tendencji. I tutaj badania zawsze pokazywały, że ludzie są w przytłaczającej większości za świadczeniem. Gdyby było więcej odpowiedzi “nie wiem”, byłoby zasadne żeby spróbować rozpoznać tendencje, ale znów - najpierw powinno to się odbyć na gruncie badań jakościowych.

Za to każde poszerzanie spektrum odpowiedzi i wprowadzanie różnych odcieni szarości w zagadnieniu to zaproszenie do większego rozbicia wyników. Niby ładnie to wygląda, bo responder dostaje więcej opcji do wyboru, traktujesz go niby podmiotowo, tylko tu jest zawarty trik. Jak wspomniałam wcześniej, wsadzenie jakiejś sugestii w odpowiedzi może powodować chęć zakreślenia tej opcji, nawet jeśli sugestia jest absurdalna. Bierze się to z faktu pewnego autorytetu badań: skoro badacz uznał za stosowne umieszczenie jakiejś opcji w ankiecie, to kim jest badany żeby potwierdzać jej prawdziwość? A skoro taka opcja w badaniu pojawia się na stole, to może, no właśnie, kurde, coś w tym jest?

W tym przypadku trik polega na tym, że wybrana sugestia odpowiedzi faktycznie odzwierciedla istniejące tendencje. Są ludzie, którzy chcieliby ograniczenia świadczeń. Ale z bardzo różnych powodów. I te powody w ankiecie ujęte już nie są. Nie użyto też narzędzia zwanego kafeterią (“w skali od do 10, jak bardzo zgadzasz się z tym zdaniem…”), żeby zmierzyć nasilenie tendencji, tylko wpuszczono w badanie bombę w postaci testu jednokrotnego wyboru.

Większość ludzi nie ma jasno sprecyzowanych poglądów. Nawet na kwestie które ich dotyczą. Spytajcie ich czy sami powinni otrzymywać 800+, to jest jakaś szansa że odpowiedzą wam co serio teraz czują, chociaż i tu byłabym ostrożna bo kulturowe czynniki będą zawsze brać górę. Ci, którzy dziś tego świadczenia nie dostają, mogą się unosić dumą, że “nigdy by nie wzięli”, ale jak urodzi im się dziecko… Ci, którzy biorą świadczenie dzisiaj mogą wam powiedzieć że “wcale nie jest ono potrzebne”, ale i tak je biorą, no bo “głupi by nie wziął proszę pana”.

Dlatego tak wielką rolę grają badania jakościowe, bo one pozwalają zrozumieć to, co ludzie myślą o danych rzeczach na różnych etapach i jak to uzasadniają. Pokazują nam świat wartości. Wiemy z wielu z nich przecież, że część ludzi jest za tym, żeby świadczenie nie należało się bogatym. Że powinien być próg dochodowy. Czy mamy taką opcję w ankiecie? Nie. Czy wiemy ile osób dziś tak myśli? Nie.

Przykro to pewnie słyszeć klasycznym socjologom, ale ja na chwilę obecną badania ilościowe kompletnie bym zdelegalizowała, a już na pewno ich sondażową odmianę. Praktycznie od zawsze były one narzędziem inżynierii społecznej i probierzem tendencji dla władzy - utrwalając chwiejne i zmienne nastroje społeczne w spiżu za pomocą raportów z słupkami i wykresami, politycy łatwo wymigali się od kształtowania odpowiedzialnej i dalekosiężnej strategii na rzecz reaktywności wobec zmieniających się co tydzień zapatrywań.