26 mei 2007

Merkwaardig peiling van Vers l'Avenir (Hoegin)

Waalse peilingen sedert mei 2004De Waalse krant Vers l'Avenir publiceerde begin deze week een peiling die een blauwe vloedgolf over Wallonië voorspelde. Er zit nochtans een luchtje aan deze peiling, maar merkwaardig genoeg merkte niemand van de journalist-peilingsspecialisten die ons land rijk is dat luchtje op. Een Liesbeth van Impe van De Morgen bijvoorbeeld had het te druk om nog eens na te trappen naar De Stemmenkampioen.

Laten we beginnen met een technisch detail, dat toch bij mij al onmiddellijk de wenkbrauwen doet fronsen: de peiling heeft een foutenmarge van 3,2%, maar de percentages voor de respectievelijke partij worden weergegeven met twee cijfers na de komma. Zou het kunnen dat de resultaten van de peiling berekend werden in Excel of Calc, en men zonder verder na te denken de getallen uit het rekenblad overtikte? De standaard opmaak voor percentages geeft in die rekenbladen twee cijfers na de komma weer, maar iemand die iets kent van statistiek weet dat het tweede cijfer na de komma totaal onzinnig is wanneer de foutenmarge 3,2% bedraagt.

Hoe dan ook, door deze flater kan precies berekend (en gecontroleerd) worden hoeveel ondervraagden voor welke partij kozen:

Partij Aantal Percentage
MR 352 34,92%
PS 298 29,56%
cdH 206 20,44%
Ecolo 118 11,71%
Anderen 34 3,37%
1008 100,0%


Als deze tabel iets aantoont, dan wel dat het bureau dat de peiling uitvoerde achteraf niet met de getallen geknoeid heeft of met wegingen werkt.

Er zijn echter nog twee of drie dingen merkwaardig aan deze tabel. Slechts 34 ondervraagden kozen niet voor één van de vier grote partijen, MR, PS, cdH of Ecolo. Van Front National is er echter geen sprake, en dus moet aangenomen worden dat wie voor Front National koos in die pot terecht kwam. In die pot zitten bovendien nog stemmen voor andere, kleinere partijen (bijvoorbeeld de PC, RWF, CAP, CDF of PTB+), terwijl ook nog aangenomen moet worden dat een aantal ondervraagden nog niet wisten voor wie ze zouden stemmen of dat eenvoudigweg niet aan de telefoon wouden vertellen. Hoe dan ook zou uit deze peiling moeten blijken dat het Front National op dit ogenblik minder dan 3,4% van de stemmen in Wallonië zou halen. In de andere peilingen zit die partij nochtans vlot boven de 5%, zoals duidelijk te zien is op de figuur hierboven.

Hoeveel waarde moet en kan men hechten aan een peiling die zo duidelijk aan alle kanten rammelt? Bij De Standaard –één van de kranten die systematisch de resultaten van De Stemmenkampioen verzweeg wegens beneden haar waardigheid van kwaliteitskrant– lijkt men alvast geen graten te zien in deze peiling, en Louis Michel reageert zelfs «enthousiast» op de resultaten ervan. Zeker, ieder zijn pleziertje, maar wanneer men zo'n onzin verkoopt hoeft men wel niet te verwachten dat men verder nog serieus genomen zal worden.

Labels: , , , , ,

5 Comments:

At 26/5/07 21:39, Blogger Marc Vanfraechem said...

opletten Hoegin, dat je onze kwaliteitsjournalisten niet té slim maakt.
Al vrees ik niet dat ze direct zullen snappen hoe jij aan die exacte getallen kwam (ik denk met een klein rekenmachientje, en zonder excel?)
;-)

 
At 26/5/07 21:51, Anonymous Yves said...

VSO gedaan zeker?

 
At 27/5/07 22:34, Anonymous Marcel said...

Wat is de formele definitie van foutenmarge? Wat is de overeenkomstige engelstalige term?

 
At 27/5/07 22:37, Blogger Luc Van Braekel said...

@Marcel: Margin of error.

http://en.wikipedia.org/wiki/Margin_of_error

 
At 28/5/07 23:05, Anonymous Marcel said...

Wikipedia definieert margin of error als de helft van de lengte van een betrouwbaarheidsinterval. Een betrouwbaarheidsinterval veronderstelt echter dat een 'level of confidence' is gespecifieerd. Op http://ppw.kuleuven.be/FL/definities.htm#Foutenmarge wordt foutenmarge gedefinieerd als de standaardafwijking van een steekproefverdeling. Daarbij hoeft geen level of confidence gespecifieerd te worden. Wikipedia: "These two (ttz confidence interval en standard error) may not be directly related, although in general, for large distributions that look like normal curves, there is a direct relationship.". En iets verder luidt het "It (ttz margin of error) can be calculated as a multiple of the standard error, with the factor depending of the level of confidence desired". Aangezien de tekst geen 'level of confidence' specifieert en de peiling van Vers l'Avenir ook niet neem ik aan dat met foutenmarge hier bedoeld wordt de standaardafwijking van de steekproefverdeling dus de standard error en niet de margin of error.

Een steekproef van 1008 personen lijkt gegeven de foutenmarge nogal groot. Voor een random steekproef is de relatie tussen foutenmarge en steekproefomvang gegeven door

sigma^2 = (1-f) (N/(N-1)) P(1-P)/n

waarbij sigma = foutenmarge, ^2=kwadraat, f is het percentage van de populatie dat ondervraagd werd, P het werkelijke percentage stemmen voor de gegeven politieke partij, N de grootte van de populatie en n de grootte van de steekproef. Een populatie van N = 3 miljoen Waalse stemgerechtigden met 30.000 ondervraagden betekent f=1%. Voor kleinere steekproeven is f dus verwaarloosbaar en aangezien N/(N-1) nagenoeg gelijk is 1 wordt de relatie

sigma^2 = P(1-P)/n

(cfr. http://en.wikipedia.org/wiki/Margin_of_error#Calculations_assuming_random_sampling)

De onderstaande tabel geeft de waarde van sigma voor een aantal gevallen:

n P sigma

1000 10% 0.9% sqrt(0.1*(1-0.1) / 1000) = 0.009486833
1000 20% 1.2%
1000 30% 1.4%
1000 40% 1.5%
1000 50% 1.5%

200 10% 2.1%
200 20% 2.8%
200 30% 3.2%
200 40% 3.4%
200 50% 3.5%

100 10% 3.0%
100 20% 4.0%
100 30% 4.5%
100 40% 4.8%
100 50% 5.0%

Omgekeerd,als we veronderstellen dat de geschatte foutenmarge 3.2 niet te ver afwijkt van de reële foutenmarge dan vinden we

n = P(1-P)/sigma^2 = P(1-P)/0.032^2 = P(1-P)/0.001024

De onderstaande tabel geeft enkele waarden van n:

P n

10% 87
20% 156
30% 205
40% 234
50% 244

Volgens deze redenering zou de grootte van de steekproef ergens tussen 100 en 250 liggen.Hierbij hebben we wel verondersteld dat de steekproef een eenvoudige random steekproef is en dat de steekproefverdeling benaderd kan worden door een normaalverdeling. Een ander probleem is dat de werkelijke foutenmarge afhangt van het het werkelijke percentage stemmen voor een bepaalde partij en dus varieert van partij tot partij. De gespecifieerde foutenmarge is dus vermoedelijke een gemiddelde foutenmarge. Maar of dat het verschil kan verklaren is niet duidelijk. Of waren er maar 108 ondervraagden ipv 1008? Dan zou voor een random steekproef de foutenmarge iets groter moeten geweest zijn. Maar met meer gesofistikeerde steekproeftechnieken misschien ook niet?

Een foutenmarge van 3.2% is alleen acceptabel om grote verschuivingen te meten. Uit de tabel voor de standaard normaalverdeling (sigma = 1) kunnen we afleiden dat de helft van de observaties liggen in een interval +-0.67 rond het gemiddelde. Voor een normaalverdeling met standaardafwijking sigma ligt de helft van de observaties in een interval +-0.67*sigma rond het gemiddelde. Als de steekproefprocedure niet vertekend is is het gemiddelde van de steekproefverdeling gelijk aan het werkelijke percentage stemmen voor de desbetreffende partij. Stel dat partij X in werkelijkheid 20% van de stemmen heeft. Een foutenmarge van 3.2% betekent dan dat voor 50% van de steekproeven het gepeilde percentage in het interval [20%-0.67*3.2%,20%+0.67*3.5%] ttz [17.8%,22.1%] ligt en voor 50% erbuiten. In 50% van de gevallen zal de steekproef dus een resultaat geven dat groter is dan 22.1% of kleiner dan 17.8%. Alleen heel grote verschuivingen kunnen met een dergelijke foutenmarge gedetecteerd worden. Voor een foutenmarge van 2% zou het interval [18.6%,21.3%] zijn en voor een foutenmarge van 1% zou het interval [19.3%,20.6%] zijn.

Het verschil tussen de 3,4% (of minder) en de 5% voor het Front National kunnen misschien op rekening geschreven worden van die foutenmarge. Het belangrijkste probleem met dergelijke peilingen is dat er nauwelijks informatie is over de gebruikte steekproeftechnieken. Een interpretatie van de resultaten ervan is dan ook problematisch.

 

Een reactie plaatsen

<< Home

<<Oudere berichten     Nieuwere berichten>>