‘De helft van de Nederlanders heeft inmiddels een noodpakket in huis.’ Dat werd gezegd tijdens een radio-uitzending van NOS-radio 1 journaal op 27 oktober. Onder anderen presentator Astrid Kersseboom en Suzanne Segaar, hoofd Nationale Hulp bij het Rode Kruis, deden deze uitspraak op basis van onderzoek van het Rode Kruis.
Met deze uitspraak wordt dus als feit gesteld dat bijna de helft van de Nederlandse bevolking een noodpakket in huis heeft. Maar hoe is dat onderzocht en in hoeverre is deze uitkomst representatief voor alle Nederlanders?
Cijfers
Het Rode Kruis heeft voor het onderzoek 1.024 Nederlanders van 18 jaar en ouder ondervraagd. Daaruit blijkt dat 46% zegt een noodpakket in huis te hebben. 52% geeft aan geen noodpakket te hebben en 3% weet het niet. De percentages komen samen uit op 101%. Dit kan komen doordat de percentages zijn afgerond.
Voor het onderzoek is gebruikgemaakt van het online panel van Panelwizard/Kien Onderzoek. Mensen kunnen zichzelf aanmelden om mee te doen aan online onderzoeken. Volgens het Rode Kruis wordt de steekproef tussentijds bijgestuurd om deze representatief te maken voor de Nederlandse bevolking. Daarbij wordt onder andere gekeken naar leeftijd, geslacht, opleiding en gezinssituatie.
Het Rode Kruis noemt bij het onderzoek een foutmarge van 3,1%. Dit betekent dat de uitkomst bij een correct uitgevoerde aselecte steekproef binnen een bepaalde marge kan afwijken van het werkelijke percentage in de bevolking. Het onderzoeksrapport en de dataset waar het rapport op is gebaseerd is, is echter niet online gepubliceerd. Daardoor kunnen lezers de volledige onderzoeksopzet en de achterliggende cijfers niet zelf controleren.
Deskundige
Volgens Joris Mulder, onderzoeksexpert bij onderzoeksinstituut Centerdata van Tilburg University, is vooral de manier waarop deelnemers zijn geselecteerd belangrijk. Hij legt uit dat het online panel een zogenoemd accesspanel is. Mensen melden zichzelf aan om deel te nemen aan onderzoeken. Daardoor heeft niet iedereen in Nederland dezelfde kans om in de steekproef terecht te komen. ‘Het punt zit dus in de zelfaanmelding voor een onderzoekspanel. Je weet niet of zij op belangrijke kenmerken verschillen van de Nederlandse bevolking.’
Bij een aselecte kanssteekproef worden deelnemers op een andere manier geselecteerd. Iedereen uit de doelgroep heeft dan een gelijke kans om in het onderzoek terecht te komen. ‘Als je het op de meest correcte manier wil doen, dan selecteer je met een aselecte steekproef willekeurig mensen uit de doelpopulatie, in plaats van dat ze zichzelf aanmelden. Zo heb je een betere basis om betrouwbare uitspraken over de hele bevolking te doen.’, zegt Mulder.
Volgens hem kunnen mensen die zichzelf aanmelden voor onlineonderzoek op bepaalde kenmerken verschillen van mensen die dat niet doen. Het Rode Kruis probeert de samenstelling van de steekproef op een aantal kenmerken overeen te laten komen met die van de Nederlandse bevolking. Maar daarmee is niet duidelijk of deelnemers ook op andere relevante kenmerken verschillen. ‘Je kunt wel iets op een aantal observeerbare kenmerken recht trekken, zoals leeftijd, geslacht en opleiding. Maar dat zegt nog niets over de representativiteit van andere relevante kenmerken, zoals hoe bezorgd mensen zijn over rampen en noodsituaties.’
Verder is er nog een verschil tussen een respondent en een huishouden. In het onderzoek is gevraagd of er een noodpakket aanwezig is in de woning van de respondent. Daarmee is niet direct onderzocht hoeveel Nederlandse huishoudens daadwerkelijk een compleet noodpakket hebben. Een respondent en een huishouden zijn namelijk niet hetzelfde.
Ook de foutmarge van 3,1% roept volgens Mulder vragen op. Die foutmarge kan theoretisch kloppen bij een correct uitgevoerde aselecte steekproef. Bij een online panel met zelfaanmeldingen is echter niet precies bekend hoe groot de kans is dat iemand in de steekproef terechtkomt. ‘Als je niet precies weet wat de inclusiekans is van je panelleden, van je respondenten, dan kan je deze uitspraak niet zomaar gebruiken over een foutmarge.’
Daarnaast wijst Mulder op de vraagstelling. In het onderzoek is gevraagd: ‘Is er een noodpakket aanwezig in uw woning?’ Volgens hem is niet duidelijk wat de ondervraagden precies onder een noodpakket verstaan. ‘De een kan zeggen: ik heb aan mijn doosje pleisters, een zaklamp en een noodradio genoeg. Maar de ander zegt: als daar geen water in zit en geen blikken eten, dan telt het niet.’ Daardoor kunnen mensen dezelfde vraag verschillend beantwoorden. Het is dus niet duidelijk of iedereen die zegt een noodpakket te hebben, ook een compleet noodpakket heeft.
Mulder benadrukt dat hij niet zegt dat het onderzoek slecht is uitgevoerd. Het onderzoeksbureau heeft volgens hem geprobeerd de steekproef zo goed mogelijk af te stemmen op de Nederlandse bevolking. ‘Dat betekent niet dat het onderzoek per definitie slecht is uitgevoerd. De onderzoekers hebben verschillende maatregelen genomen om de steekproef zo representatief mogelijk te laten zijn voor de populatie. Maar daarmee kun je een mogelijke vertekening door zelfselectie niet helemaal uitsluiten.’
Conclusie
De uitspraak dat de helft van de Nederlanders een noodpakket heeft, komt overeen met de uitkomst van het onderzoek van het Rode Kruis. Van de ondervraagden zegt 46 procent een noodpakket in huis te hebben. Maar er is niet met zekerheid vast te stellen of dit percentage representatief is voor alle Nederlanders. De zelfaanmelding van deelnemers en de onduidelijkheid over wat onder een noodpakket wordt verstaan, maken de uitkomst onzeker.
Daarom is de claim dat de helft van de Nederlanders een noodpakket heeft niet met zekerheid vast te stellen op basis van dit onderzoek.
