Foto: ANP – Remko de Waal

Gescheven door: Tim Lutters
Op 29 oktober presenteerde Hart van Nederland een opinieonderzoek dat is uitgevoerd onder het eigen Hart van Nederland Opiniepanel. Volgens het medium heeft zich een kanteling voorgedaan in het Zwarte Pieten-debat. Hart van Nederland schrijft dat steeds meer Nederlanders de voorkeur geven aan de traditionele, volledig zwart geschminkte Piet boven de roetveegpiet: 72 procent, tegenover 64 procent een jaar eerder.

Hart van Nederland spreekt over een ‘representatief onderzoek’ en zegt rekening te hebben gehouden met geslacht, leeftijd, regio, opleiding en stemgedrag. Maar alle panelleden delen één belangrijk kenmerk: iedereen kan zichzelf aanmelden voor het Hart van Nederland Opiniepanel. Kunnen we dan wel spreken over een representatief opinieonderzoek dat Nederland vertegenwoordigt?

“Nee”, zegt Vera Toepoel, hoogleraar Methoden en Statistiek en hoofd Methodologie bij het CBS. Toepoel onderzoekt onder meer de kwaliteit en representativiteit van onlinepanelonderzoek. Zij wijst er stellig op dat je elk opinieonderzoek waarbij mensen zichzelf mogen aanmelden altijd met een stevige korrel zout moet nemen. “Dan maakt het eigenlijk niet eens uit hoe groot het panel is. Als er zelfselectie plaatsvindt, kun je het zeker niet als representatief voor de Nederlander presenteren.”

Hart van Nederland is bovendien niet consequent in haar formuleringen. Eerst wijst de redactie op de 2.224 Nederlanders die aan het opinieonderzoek hebben deelgenomen, om vervolgens in de tekst te spreken over “de Nederlander” of “steeds meer Nederlanders”. Dat is feitelijk geen correcte weergave van wat Hart van Nederland heeft onderzocht. Ook de formulering “72 procent van de Hart van Nederland-kijkers vindt dat Zwarte Piet terug moet keren” zou volgens Toepoel al te stellig zijn. “Eigenlijk moet je gewoon zeggen: 72 procent van onze panelleden vindt dat… Want het is natuurlijk ook niet zo dat die panelleden alleen maar Hart van Nederland-kijkers zijn.”

Volgens Toepoel kun je in je conclusie niet verder gaan dan de groep die daadwerkelijk is bevraagd.

Early responders
Uit de verantwoording van Hart van Nederland blijkt dat het medium voor een gemiddeld onderzoek 4.000 tot 6.000 panelleden uitnodigt. ”Gemiddeld neemt ongeveer 60 procent deel.” Ervan uitgaande dat het panel voor dit onderzoek minimaal 4.000 leden heeft uitgenodigd, heeft in het beste geval 55,6 procent van de genodigden meegewerkt.

Toepoel wijst op het fenomeen van “early responders”: mensen die snel reageren op een uitnodiging. Wanneer niet vrijwel het volledige panel meedoet, of wanneer er geen bevolkingsbrede steekproef plaatsvindt, kan het verwerken van een onvolledig deel van het panel tot een grotere foutmarge leiden. “Dat is al helemaal tricky. De mensen die snel meedoen, dat zijn de mensen die misschien wat meer tijd hebben of wat meer het nieuws lezen. Dat is niet de representatieve groep voor de hele bevolking.”

Toepoel geeft ook aan dat een onderzoeksbureau zich altijd moet afvragen hoe het moeilijk bereikbare groepen eerder kan betrekken. “Als je onderzoek doet, moet je eigenlijk heel veel moeite doen om zoveel mogelijk mensen te kunnen bereiken.” Volgens haar geeft dat de uitkomst nog meer een vertekend beeld. “Dat zij gebruikmaken van hun eigen zelfselectieve panel, maar ook nog eens naar alle waarschijnlijkheid de eerste 2.000 daarin. Ja, God weet wie er allemaal in die groep zit.”

Geen representatief panel
Chris Aalberts is docent en onderzoeker politieke communicatie aan de Erasmus Universiteit Rotterdam. Volgens Aalberts trekt Hart van Nederland op basis van de resultaten van het eigen panel conclusies die niet zonder meer op de gehele Nederlandse bevolking van toepassing zijn. “Normaal gesproken zou je een steekproef willen over 18 miljoen Nederlanders. Dat is veel te duur. Dus wat doet Hart van Nederland? Dan zeg je tegen mensen na kijken van een uitzending of lezen van een artikel: word lid van ons panel. Dan krijg je een panel met een oververtegenwoordiging van mensen die politieke interesse hebben of politieke opwinding voelen.”

Volgens Aalberts kun je er niet zonder meer van uitgaan dat het om een representatieve meetgroep gaat. “Sommige kenmerken worden zwaarder gewogen. En dan is de veronderstelling dat het daarmee representatief is geworden.” Maar dat is volgens hem niet zo. “Je kunt wegen totdat je een ons weegt. Maar daar zitten de achterstandswijken die niet naar Hart van Nederland kijken niet in.” Daarom kan Hart van Nederland volgens hem nog zo goed rekening houden met leeftijd, geslacht, regio en stemgedrag: “Je kunt niet vaststellen dat deze meetgroep representatief is voor wat heel Nederland vertegenwoordigt.”

72 procent
De afgelopen jaren zijn er niet veel onafhankelijke onderzoeken naar het onderwerp gedaan. Ipsos I&O meette tot november 2024 dat het draagvlak voor de traditionele Zwarte Piet voor het eerst in jaren weer licht was gestegen, naar 38 procent. Dat is een stijging van 5 procentpunt ten opzichte van 2022.

Ook dat biedt een sterke tegenindicatie voor het hoge percentage dat Hart van Nederland presenteert. Het betreft wel een ander onderzoek, waarin de vragen mogelijk op een andere manier zijn geformuleerd. “Je kunt nooit onmogelijk zeggen, maar op zijn minst zeer onaannemelijk. Dat kan eigenlijk niet”, stelt Chris Aalberts.

Andere media
Op andere platforms wordt de uitslag vervolgens overgenomen. Dat bijna driekwart van Nederland weer terug wil naar de volledig zwart geschminkte Piet, wordt gretig opgepakt. Een programma als Nieuws van de Dag gebruikte de berichtgeving onder meer om te pleiten voor een Sinterklaasintocht waarin het hulpje van Sinterklaas weer helemaal zwart geschminkt is. “De meerderheid trekt een grens. Dit zegt heel veel over dat gedram vanuit die minderheid die Zwarte Piet weg wilde hebben”, zei Wierd Duk in Nieuws van de Dag.

Ook het sociale ‘nieuwskanaal’ Rapnieuwstv nam het bericht over. Het kanaal heeft 633.000 volgers. Het bericht werd binnen één dag al meer dan 11.000 keer geliket. Zonder context over de aard van het onderzoek en de representativiteit van de ondervraagden kan dit leiden tot misleidende berichtgeving.

Conclusie
Hoeveel mensen in Nederland willen dat Piet weer helemaal zwart wordt geschminkt, is niet vast te stellen op basis van een zelfselectief opiniepanel. Ook niet als er binnen de meetgroep rekening wordt gehouden met geslacht, leeftijd, regio, opleiding en stemgedrag. Vera Toepoel stelt dat Hart van Nederland niet mag stellen dat 72 procent wil dat Zwarte Piet terugkeert. “Dat mogen ze niet zeggen namens ‘de Nederlanders’.”

Verantwoording
Hart van Nederland is om een reactie gevraagd. Vragen naar hoe de vragen zijn gesteld, in welke volgorde dat is gebeurd, hoe lang panelleden de tijd kregen om te reageren en welke groep het onderzoek vertegenwoordigt, bleven voorlopig onbeantwoord.