Az amerikai Literary Digest folyóirat 1936. október 31-i számában jelentette be, hogy a republikánus Alf Landon az 531 lehetséges elektori szavazatból várhatóan 370-et megszerez, így ő lesz az Egyesült Államok harmincharmadik elnöke. Nagyobbat aligha tévedhetett volna. Franklin D. Roosevelt a választók közel 61 százalékának és az elektori szavazatok 98,4 százalékának megszerzése után simán megtartotta elnöki székét. Több mint száz évvel 1820 után ez volt a legelsöprőbb győzelem az amerikai elnökválasztások sorában. A folyóirat fatális tévedése azért is volt különösen meglepő, mivel több mint 10 millió kérdőív kiküldése és több mint 2,3 millió válasz kiértékelése után hozta nyilvánosságra eredményét.

Az eset a nem reprezentatív mintavétel és a torzított válaszadás tankönyvi példája. Eleinte a melléfogást a reprezentativitás hiányával magyarázták, vagyis azzal, hogy a Literary Digest előfizetői között sokkal többen voltak republikánusok, mint demokraták. Ezt a megállapítást később több elemzés is árnyalta. Utólagosan kimutatták, hogy a katasztrofális végeredmény nem csupán a rossz mintának tulajdonítható, hanem sokkal inkább az egyenetlen válaszadási hajlandóságnak. Bár az olvasók között valóban többen voltak republikánusok, önmagában ez a tény nem vezetett volna Landon győzelmének előrejelzéséhez. Ehhez az is kellett, hogy a republikánus érzelmű olvasók sokkal nagyobb arányban küldjék vissza a válaszlevelet. Azok, akik nem szerették Rooseveltet, sokkal inkább szerették volna hallatni a hangjukat, mint a hivatalban lévő elnök támogatói, akik kevésbé voltak aktívak ilyen szempontból. (Persze amikor később szavazni kellett, ők is elmentek.) A statisztikai tankönyvek ezzel az esettel szokták példázni a nagy mintán elvégzett, de módszertanilag rosszul kivitelezett közvélemény-kutatások veszélyeit. A következményekről elég csak annyit mondani, hogy röviddel az eset után a Literary Digest csődbe ment, de a kudarca utat nyitott a mintavételen alapuló közvélemény-kutatások elterjedésének.

Ez a példa különösen érdekes lehet a mai magyar kormányzatnak is, amely több millió kérdőív kiküldésével kívánja megtudni, mit is gondol a nép a tervezett alkotmánnyal kapcsolatban. Ez annyiban mindenképp eltér a fenti példától, hogy a kérdőívet szinte minden magyar állampolgárnak ki fogják küldeni (nem számítva a 18 éven aluliakat, illetve a lakcím nélkülieket), vagyis a minta szinte biztosan reprezentatív lesz a választókorú polgárok sokaságát tekintve. Az viszont egyáltalán nem biztos, hogy a válaszadási hajlandóság az új alkotmány támogatói és ellenzői között egyenletesen fog megoszlani. Vagy ugyanez másképpen: egyáltalán nem nyilvánvaló, hogy a kormánypártok támogatói, illetve ellenzői ugyanolyan késztetést éreznek majd arra, hogy visszaküldjék a kérdőívet.

Miért gondolom ezt? Egyrészt mivel nem biztosított, hogy a vélemények egyáltalán számítanak. Tegyük fel, hogy a visszaküldött, várhatóan nagyszámú kérdőívet valóban feldolgozzák. (Ha például félmillió kérdőív érkezik vissza, annak kibontása tíz embernek 42 óra, azaz több mint 5 munkanap lenne, ha percenként 20 borítékot tud valaki kibontani.) Ám a rendelkezésre álló időben az eredmények kiértékelése igencsak kérdéses. Ha a kérdőíveket március elejéig postázzák, a válaszadóknak nagyon hamar (két héten belül) válaszolniuk kell. Még ha a kérdőívek feldolgozása az eddigi közvélemény-kutatói sebességnél sokkal gyorsabban el is készül, mondjuk egy hét alatt (ami gyakorlatilag kizárható), akkor is az eredmény (és nem a kiértékelés) csak április elejére lehet a képviselők kezében. Ne feledjük, a parlamenti kormánytöbbség április 18-án tervezi elfogadni az új alkotmányt. Vagyis annak, aki mindenképpen bele kíván szólni az alkotmányozásba, gyorsan kell cselekednie. Láthatjuk, ha történetesen nem az alkotmányozók elképzelései szerinti válaszok érkeznek – olyanok, amelyek esetleg további vitát generálhatnak az alkotmányról –, akkor esély sincs arra, hogy azokat figyelembe vegyék. (Most nem térek ki arra, hogy a kérdőíven megadott válaszlehetőségek mennyire tükrözhetik a válaszolók álláspontját, és mennyire a kérdezők preferenciáit.)

Másodsorban azt gondolom, hogy azok, akik nem értenek egyet a kormány alkotmányos javaslataival, nagyobb arányban gondolják egyben azt is, hogy nincs alkotmányozási kényszer, mint azok, akik egyetértenek a Fidesz alkotmányra vonatkozó javaslataival. Ezért a két csoport válaszadási hajlandósága is eltér majd. Hogyan lehetne ezt a torzítást kiküszöbölni? Miként lehetne a Literary Digest csapdáját elkerülni? Egyrészt biztosítani kellene, hogy a válaszadók és a népesség megoszlása mindenféle jellemző – például pártpreferencia, társadalmi státusz, nem stb. – szerint megegyezzen. Erre találták ki a közvélemény-kutatók a véletlen mintát – többek között épp a Literary Digest kudarcából okulva. Ez biztosítja, hogy mindenkinek azonos esélyei vannak bekerülni a válaszadók közé. Ez a megoldás várható értékben nem csupán jobb eredményre vezet, de sokkal olcsóbb is, hiszen pár ezer ember megkérdezésével már viszonylagosan jó becsléseket lehet készíteni.

Ez a módszer feltehetően azért nem jöhet szóba, mert a kormányzópártnak fontos, hogy minden állampolgár úgy érezze, ő is az alkotmányozás részese. A megoldás: súlyozni kellene a beérkezett kérdőíveket. Olyan homogén csoportokat kellene alkotni, amelyekben a válaszadási hajlandóság feltehetőleg megegyezik a válaszadók között, és azokat a csoportokat, ahonnan viszonylag kevesebb válasz érkezett, súlyozni kellene, vagyis az egyéni válaszokat úgy kezelni, mintha többnek felelne meg. Ha például viszonylag több nyugdíjas küldi vissza a válaszát, mint munkavállaló, akkor a munkavállaló szavazók válaszait úgy kellene kezelni, mintha közülük többen küldték volna vissza ugyanazt. Ez az eljárás természetesen feltételezi, hogy a válaszadókról tudunk olyan alapvető jellemzőket, amelyek alapján homogén csoportokat képezhetünk, mint a munkapiaci státusz, pártpreferencia, iskolázottság, jövedelem. A rövid határidő és a szigorú adatgyűjtési szabályok azonban gyakorlatilag kizárják ezt. Vagyis a súlyozás eleve lehetetlen.

Egy szó, mint száz, az alkotmányról szóló kérdőíves lekérdezés nem alkalmas arra, hogy kiderüljenek a választók valódi preferenciái. Ez arra utal, hogy a kormánypárt célja nem is ez, hanem inkább az új alkotmány legitimálása, és ebből a szempontból nem is zavarja, ha a beérkező eredmények az új alkotmány irányába torzítanak. A postázásra és egyéb kiadásokra elszórt adófizetői pénzeket akár a kormányzat alkotmányozási reklámköltségeinek is tekinthetjük.