Dit rapport doet verslag van een onderzoek ter evaluatie van het Periodiek Regionaal Onderzoek Verkeersveiligheid (PROV). De evaluatie richtte zich op drie aspecten: de representativiteit van de steekproef, de samenstelling en inhoud van de vragenlijst en het gebruik en de gebruikswaarde van het PROV vanuit het perspectief van de gebruikers. Elk van deze drie aspecten is onderzocht in een apart deelonderzoek. Conclusies en aanbevelingen representativiteit van de steekproef De gegevens voor het PROV worden verzameld door middel van een schriftelijke enquête die gebruik maakt van een tweetrapsprocedure. De uiteindelijke respons na deze twee trappen bedraagt ongeveer 19%. Detoegepaste benaderingswijze en de resulterende lage respons leiden tot de verwachting dat de respons van het PROV selectief zou kunnen zijn en dat het onderzoek dus mogelijk geen representatief beeld van de Nederlandse bevolking biedt. Vergelijking van gegevens uit de CBS-bevolkingsstatistieken en het Onderzoek Verplaatsingsgedrag (OVG) met gegevens uit het PROV kan deze zorg om de representativiteit niet definitief bevestigen, maar evenmin wegnemen. Er zijn manieren van dataverzameling mogelijk die waarschijnlijk tot een hogere respons leiden, een kleiner risico van selectieve respons opleveren en die zonder of tegen geringe meerkosten kunnen worden toegepast. Aanbevolen wordt om in een vervolg op de evaluatie serieus na te gaan of deze alternatieven haalbaar zijn. Het is zaak om daarbij het belang van de continuïteit van de gegevensreeksen uit het PROV in de gaten te houden, aslmede ook het belang van goede provinciale representativiteit. Conclusies en aanbevelingen samenstelling van de vragenlijst De screening van de vragenlijst en de gehouden interviews hebben geleid tot een aantal concrete aanbevelingen met betrekking tot volgorde en formulering van vragen. Bepaalde aanbevelingen zijn ingrijpender voor het PROV dan andere: voorstellen tot een andere verwoording of het opnemen van een extra antwoordcategorie zijn duidelijk van een andere orde dan voorstellen om vragen niet meer in de huidige vorm in de vragenlijst op te nemen. Duidelijk is geworden dat de vragen over de onderwerpen ‘draagvlak voor maatregelen' en ‘pakkansen in hypothetische verkeerssituaties' in de huidige vorm geen betrouwbare antwoorden opleveren. Erworden suggesties gedaan voor de oplossing van de problemen met deze vragen. Conclusies en aanbevelingen gebruikersonderzoek Gebruikers verwerken informatie uit het PROV in werk- en beleidsplannen. Hierbij is het beeld als volgt: het rapport wordt zelden in zijn geheel gelezen; men gebruikt het als naslagwerk. Veel personen die werken met het PROV gebruiken een provincie-specifieke voorselectie. Ook de eigenlijke verwerking van het PROV-materiaal heeft een sterk selectief karakter: het is met name gericht op het vinden van argumenten die extern gebruikt kunnen worden voor het opstarten of voortzetten van bepaalde activiteiten. Vaak ook worden PROV-gegevens naast andere gegevens gebruikt. Uit de gegeven antwoorden valt af te leiden dat men tevreden is over de monitorfunctie van het PROV. Over de tweede doel van het PROV, het inkaart brengen van achtergronden, zijn de antwoorden wat diffuser. Enerzijds geeft het PROV wel achtergronden en verklaringen; anderzijds blijkt het toch vaak nodig om specifieker in de eigen regio naar doelgroepen en intermediairs te zoeken. Uit de interviews komt naar voren dat terugkoppeling naar beleid en evaluatie van beleid het meest problematische punt is. De relatie tussen beleidsinspanningen en PROV-uitkomsten is zowel op landelijk als provinciaal niveau moeilijk te leggen. Vaak lukt het beter om met regio-specifieke vragen, die ook deel uitmaken van het PROV, inzicht te verkrijgen in deze relatie. Een aantal zaken rond het PROV is goed geregeld en behoeft geen verandering:centrale aansturing door AVV, consultering van de Regionale Directies bij opzet onderzoek, mogelijkheid tot regio-specifieke vragen en jaarlijkse frequentie. Wat dit laatste punt betreft: handhaving van een éénjaarlijkse frequentie zal bij geen van de gebruikers tot protest leiden en is in overeenstemming met expliciete voorkeuren van sommige gebruikers; invoering van een tweejaarlijkse frequentie zal een aanzienlijke groep gebruikers niet hinderen, maar zal enkele gebruikers duidelijk minder tevreden stellen. Ten aanzien van de praktische gebruikswaarde van het PROV zijn de volgende wensen het meest frequent geuit: koppeling van PROV-gegevens met objectieve gegevens, een meer direct op de provincie toegeschreven rapportage, een minder omvangrijke, meer toegankelijke rapportage. De meest frequent aangedragen nieuwe onderwerpen voor het PROV waren: bromfietscertificaat, 30 km/uur-gebieden, kennis van en draagvlak voor duurzaam-veilig verkeer, mobiliteitskeuzen (ook genoemd als specifiek onderdeel van duurzaam-veilig verkeer). Algemene conclusies en aanbevelingen De belangrijkste aanbevelingen voor de verbetering van het PROV zijn: - een meer directe manier van steekproeftrekking die een betere garantie biedt voor non-selectieve respons; - het beter vergelijkbaar maken van vragen naar achtergrondkenmerken in het PROV met dienovereenkomstige vragen in CBS en OVG; - het vervangen danwel weglaten van vragen over draagvlak voor maatregelen, over ongevallen en over pakkansen in hypothetische situaties; - het aanpassen van bewoording en antwoordalternatieven van enkele vragen; - het toevoegen van vragen over de volgende blijvende onderwerpen: 30km/uur-gebieden en mobiliteitskeuzen; - het toevoegen van vragen over een voorlopig actueel onderwerp: bromfietscertificaat; - een meer regio-specifieke vorm van rapportage; - het contineren van verspreiding van PROV-resultaten in brochure-vorm. Er zijn ook aanbevelingen gedaan om trendbreuk in de resultaten zoveel mogelijk te voorkomen. Deze aanbevelingen betreffen: - de opzet van een apart methodisch onderzoek naar de mogelijke consequenties van de veranderingen in het nieuwe PROV; - het uitvoeren van zowel het oude PROV als het nieuwe (in het kader van genoemd onderzoek), zodat vergelijkingen tussen beide methoden kunnen aangeven in welke mate de resultaten gecorrigeerd moeten worden voor de aangebrachte veranderingen. Het lijkt erop dat deze aanbevelingen op korte termijn uitgevoerd kunnen worden
A close look at the PROV This report gives an account of an investigation to evaluate the Periodic Regional Survey on Road Safety (PROV). The evaluation focuses on three aspects: the representative reliability of the sample, the composition and contents of the list of questions, and the use and practical value of the PROV for the users. Each of these three aspects was investigated as a separate unit of study. Conclusions and recommendations as to the sample's representative reliability The data for the PROV was assembled by means of a written survey that made use of a two-step procedure. The final response rate following these two steps was approximately 19%. The approach method used and the resulting low response rate led to an expectation that the response from the PROV might be selective and that the research therefore might not provide a representative picture of the Dutch population. Comparing data from the Statistics Netherlands' (CBS) population statistics and the National Travel Survey (OVG) with data from the PROV could not definitely establish the uncertainty about the study's representative reliability, nor could it remove it. Ways of gathering data exist which probably increase the possibility of a higher response rate, provide a smaller risk of selective response, and can be done either for the same costs or at only slightly more cost. What is being recommended is a follow-up to the evaluation for the purpose of seriously considering whether or not these alternatives would be feasible. Indoing so, it would be advisable to consider the importance of the continuity of the series of data coming from the PROV as well as the importance of having the province reliably represented. Conclusions and recommendations in regard to the composition of the list of questions The screening of the list of questions and the interviews held has resulted in a number of concrete recommendations involving the sequence and formulation of questions. Certain recommendations are more far-reaching for the PROV than others: proposals for a different wording or the inclusion of an extra answer category are clearly in a different class than proposals involving the exclusion of questions in their present form from the survey. What has become obvious is that the questions regarding the subjects of ‘support for measures' and ‘risk of arrest in hypothetical traffic situations' as now presented do not provide reliable answers. Suggestions are made regarding how to solve the problems surrounding these questions. Conclusions and recommendations in regard to the users' study Users process information originating from the PROV in their action and policy plans. In doing so, the following picture emerges: the report is seldom read in its entirety but is used as reference material. Many people who work with the PROV use a province-specific pre-selection. The actual processing of the PROV material also displays a highly selective character: it's use is chiefly aimed at finding arguments that can be used externally for implementing or continuing certain activities. Furthermore, PROV data is often used along with other data. Based on the answers provided, it can be concluded that the users are satisfied with the PROV's monitoring function. In regard to the PROV's second goal, the charting of background information, the answers are somewhat more vague. On the one hand, the PROV provides background material and explanations, but it is nevertheless frequently necessary to search in one's own region for target groups and intermediaries. Based on the interviews, it appears that feedback to policy and the evaluation of policy is the most problematic point. The relationship between policy efforts and PROV results is difficult to establish at both the national and provincial levels. It often works better to obtain insight into this relationship with region-specific questions that are also part of the PROV. Several matters surrounding the PROV are well organised and do not need to be changed: its centralised management provided by the Netherlands Transport Research Centre AVV, the opportunity to consult the Regional Directorates when setting up research studies, and the opportunity to ask region-specific questions and to conduct the written survey on a yearly basis. In regard to frequencies, maintaining a one-year frequency would not be protested by any of the users and agrees with the explicit preferences of some users; the introduction of a two-year frequency would not cause any problems for a considerable group of users but would definitely make a certain number of users less satisfied. In regard to the practical value of the PROV, the following wishes were most frequently expressed: the linking of PROV data with objective data, reporting that is more directly adapted to the province, and a less sizable but more accessible reporting. The most frequently requested new subjects for the PROV were: moped certificate, 30 km/hour areas, information about and support for sustainably safe traffic, and mobility choices (also listed as a specific element under sustainably safe traffic). General conclusions and recommendations The most important recommendations for improving the PROV are: -using a more direct way of sampling that offers a better guarantee in regard to non-selective response; -making questions about background characteristics in the PROV easier to compare with corresponding questions in CBS and OVG; -replacing or omitting questions about support for measures, about accidents, and about risks of arrest in hypothetical situations; -modifying of the wording and answer alternatives for some questions; -adding questions about the following structurally relevant subjects: 30km/hour areas and mobility choices; -adding questions about a provisionally topical subject: moped certificates; -having a more region-specific form of reporting; -continuing the distribution of PROV results in brochure form. Recommendations were also made in reference to minimising trend deviations in the results. These recommendations involve: -establishing a separate methodological study into the possible consequences of the changes in the new PROV; -carrying out both the old as well as the new PROV (within the framework of the previously mentioned research), so that comparisons between both methods can indicate how much the results have to be corrected for the introduced changes. It appears possible to carry out these recommendations in the near future
