Dit rapport vat de voornaamste resultaten van een onderzoek ter evaluatie van het Periodiek Regionaal Onderzoek Verkeersveiligheid (PROV) samen. Over dit onderzoek is meer uitgebreid verslag gedaan door Goldenbeld, Hofhuis en Van Gils in het rapport Het PROV onder de loep (SWOV-rapport R-96-60). Verder wordt in het kort aangegeven hoe de opzet voor de uitvoering van de volgende PROV eruit ziet. De evaluatie richtte zich op drie aspecten van het PROV, namelijk: - de representativiteit van de steekproef; - de samenstelling en inhoud van de vragenlijst; - het gebruik en de gebruikswaarde van het PROV vanuit het perspectief van de gebruikers. Elk van deze drie aspecten is onderzocht in een apart deelonderzoek. Conclusies en aanbevelingen representativiteit van de steekproef De gegevens voor het PROV worden verzameld door middel van een schriftelijke enquête die gebruik maakt van een tweetrapsprocedure. De uiteindelijke respons na deze twee trappen bedraagt ongeveer 19%. Detoegepaste benaderingswijze en de resulterende lage respons leiden tot de verwachting dat de respons van het PROV selectief zou kunnen zijn en dat het onderzoek dus mogelijk geen representatief beeld van de Nederlandse bevolking biedt. Vergelijking van gegevens uit de CBS-bevolkingsstatistieken en het Onderzoek Verplaatsingsgedrag (OVG) met gegevens uit het PROV kan deze zorg om de representativiteit niet definitief bevestigen, maar evenmin wegnemen. Er zijn manieren van dataverzameling mogelijk die waarschijnlijk tot een hogere respons leiden, een kleiner risico van selectieve respons opleveren en die zonder of tegen geringe meerkosten kunnen worden toegepast. Aanbevolen wordt om in een vervolg op de evaluatie serieus na te gaan of deze alternatieven haalbaar zijn. Het is zaak om daarbij het belang van de continuïteit van de gegevensreeksen uit het PROV in de gaten te houden, almede ook het belang van goede provinciale representativiteit. Conclusies en aanbevelingen samenstelling van de vragenlijst De screening van de vragenlijst en de gehouden interviews hebben geleid tot een aantal concrete aanbevelingen met betrekking tot volgorde en formulering van vragen. Bepaalde aanbevelingen zijn ingrijpender voor het PROV dan andere: voorstellen tot een andere verwoording of het opnemen van een extra antwoordcategorie zijn duidelijk van een andere orde dan voorstellen om vragen niet meer in de huidige vorm in de vragenlijst op te nemen. Duidelijk is geworden dat de vragen over de onderwerpen ‘draagvlak voor maatregelen' en ‘pakkansen in hypothetische verkeerssituaties' in de huidige vorm geen betrouwbare antwoorden opleveren. Erworden suggesties gedaan voor de oplossing van de problemen met deze vragen. Conclusies en aanbevelingen gebruikersonderzoek Gebruikers verwerken informatie uit het PROV in werk- en beleidsplannen. Hierbij is het beeld als volgt: het rapport wordt zelden in zijn geheel gelezen; men gebruikt het als naslagwerk. Veel personen die werken met het PROV gebruiken een provincie-specifieke voorselectie. Ook de eigenlijke verwerking van het PROV-materiaal heeft een sterk selectief karakter: het is met name gericht op het vinden van argumenten die extern gebruikt kunnen worden voor het opstarten of voortzetten van bepaalde activiteiten. Vaak ook worden PROV-gegevens naast andere gegevens gebruikt. Uit de gegeven antwoorden valt af te leiden dat men tevreden is over de monitorfunctie van het PROV. Over de tweede doel van het PROV, het inkaart brengen van achtergronden, zijn de antwoorden wat diffuser. Enerzijds geeft het PROV wel achtergronden en verklaringen; anderzijds blijkt het toch vaak nodig om specifieker in de eigen regio naar doelgroepen en intermediairs te zoeken. Uit de interviews komt naar voren dat terugkoppeling naar beleid en evaluatie van beleid het meest problematische punt is. De relatie tussen beleidsinspanningen en PROV-uitkomsten is zowel op landelijk als provinciaal niveau moeilijk te leggen. Vaak lukt het beter om met regio-specifieke vragen, die ook deel uitmaken van het PROV, inzicht te verkrijgen in deze relatie. Een aantal zaken rond het PROV is goed geregeld en behoeft geen verandering:centrale aansturing door AVV, consultering van de Regionale Directies bij opzet onderzoek, mogelijkheid tot regio-specifieke vragen en jaarlijkse frequentie. Wat dit laatste punt betreft: handhaving van een éénjaarlijkse frequentie zal bij geen van de gebruikers tot protest leiden en is in overeenstemming met expliciete voorkeuren van sommige gebruikers; invoering van een tweejaarlijkse frequentie zal een aanzienlijke groep gebruikers niet hinderen, maar zal enkele gebruikers duidelijk minder tevreden stellen. Ten aanzien van de praktische gebruikswaarde van het PROV zijn de volgende wensen het meest frequent geuit: koppeling van PROV-gegevens met objectieve gegevens, een meer direct op de provincie toegeschreven rapportage, een minder omvangrijke, meer toegankelijke rapportage. De meest frequent aangedragen nieuwe onderwerpen voor het PROV waren: bromfietscertificaat, 30 km/uur-gebieden, kennis van en draagvlak voor duurzaam-veilig verkeer, mobiliteitskeuzen (ook genoemd als specifiek onderdeel van duurzaam-veilig verkeer). Algemene conclusies en aanbevelingen De belangrijkste aanbevelingen voor de verbetering van het PROV zijn: - een meer directe manier van steekproeftrekking die een betere garantie biedt voor non-selectieve respons; - het beter vergelijkbaar maken van vragen naar achtergrondkenmerken in het PROV met dienovereenkomstige vragen in CBS en OVG; - het vervangen danwel weglaten van vragen over draagvlak voor maatregelen, over ongevallen en over pakkansen in hypothetische situaties; - het aanpassen van bewoording en antwoordalternatieven van enkele vragen; - het toevoegen van vragen over de volgende blijvende onderwerpen: 30km/uur-gebieden en mobiliteitskeuzen; - het toevoegen van vragen over een voorlopig actueel onderwerp: bromfietscertificaat; - een meer regio-specifieke vorm van rapportage; - het contineren van verspreiding van PROV-resultaten in brochure-vorm. Er zijn ook aanbevelingen gedaan om trendbreuk in de resultaten zoveel mogelijk te voorkomen. Deze aanbevelingen betreffen: - de opzet van een apart methodisch onderzoek naar de mogelijke consequenties van de veranderingen in het nieuwe PROV; - het uitvoeren van zowel het oude PROV als het nieuwe (in het kader van genoemd onderzoek), zodat vergelijkingen tussen beide methoden kunnen aangeven in welke mate de resultaten gecorrigeerd moeten worden voor de aangebrachte veranderingen. Het vervolg: PROV 1997 Gegeven de uitkomsten van de evaluatie is een nieuwe aanpak van het PROV in 1997 noodzakelijk. Als er binnen financiële en organisatorische randvoorwaarden gelegenheid is tot verbetering, dan moet die benut worden. Voor de opzet van PROV-nieuwe-stijl dient nog preciezer te worden nagegaan hoe de gegeven aanbevelingen het beste uitgewerkt kunnen worden. De Adviesdienst Verkeer en Vervoer werkt samen met SWOV en Traffic Test aan een uitvoeringsplan voor de vernieuwde opzet van het PROV in 1997 en de rapportage daarover in 1998. Concreet wordt gewerkt aan het uitwerken van de aanbevelingen, te weten de volgende: - Een nieuwe vragenlijst Het resultaat zal zijn dat de respondent vragen beter of gemakkelijker kan begrijpen, beter antwoorden kan kiezen die precies zijn mening of situatie beschrijven en dat vragen worden gesteld over nieuwe actuele onderwerpen. - Een nieuwe steekproeftrekking Het resultaat zal zijn dat er meer zekerheid zal zijn over de landelijke alsmede de provinciale representativiteit van de gegevens van het PROV. - Een plan voor overgang PROV oud PROV nieuw Het resultaat zal zijn dat veranderingen in de steekproeftrekking en vragenlijst het niet onmogelijk maken om trends over de jaren heen vast te stellen. - Een verbeterde rapportage Het resultaat zal een PROV-rapport zijn waarin relevante informatie zo helder en zo duidelijk mogelijk is geordend, afgestemd op wensen van gebruikers. - Een plan voor betere kennisverspreiding en gebruik van het PROV Het resultaat zal zijn dat inhoud van het PROV op aantrekkelijke wijze wordt geïntroduceerd bij belanghebbende partijen, en dat gebruikmaking van kennis uit het PROV beter wordt. Kortom: naar verwachting zal het PROV 1997, het PROV-nieuwe-stijl, een betere garantie bieden voor representativiteit en betrouwbaarheid van gegevens. Ook zal de rapportage over en het gebruik van het PROV worden verbeterd. De overgang van ‘PROV oud' naar ‘PROV nieuw' zal door onderzoek begeleid worden, zodat continuïteit in gegevens zoveel mogelijk gewaarborgd kan worden
This report summarises the main results of an investigation to evaluate the Periodic Regional Survey on Road Safety (PROV). In SWOV report R-96-60, ‘A close look at the PROV', Goldenbeld, Hofhuis and Van Gils have reported on this research in more detail. Furthermore, this report sketches the design for the implementation of next year's PROV. The evaluation focuses on three aspects: -the representative reliability of the sample; -the composition and contents of the list of questions; -the use and practical value of the PROV for the users. Each of these three aspects was investigated as a separate unit of study. Conclusions and recommendations as to the sample's representative reliability The data for the PROV was assembled by means of a written survey that made use of a two-step procedure. The final response rate following these two steps was approximately 19%. The approach method used and the resulting low response rate led to an expectation that the response from the PROV might be selective and that the research therefore might not provide a representative picture of the Dutch population. Comparing data from the Statistics Netherlands' (CBS) population statistics and the National Travel Survey (OVG) with data from the PROV could not definitely establish the uncertainty about the study's representative reliability, nor could it remove it. Ways of gathering data exist which probably increase the possibility of a higher response rate, provide a smaller risk of selective response, and can be done either for the same costs or at only slightly more cost. What is being recommended is a follow-up to the evaluation for the purpose of seriously considering whether or not these alternatives would be feasible. Indoing so, it would be advisable to consider the importance of the continuity of the series of data coming from the PROV as well as the importance of having the province reliably represented. Conclusions and recommendations in regard to the composition of the list of questions The screening of the list of questions and the interviews held has resulted in a number of concrete recommendations involving the sequence and formulation of questions. Certain recommendations are more far-reaching for the PROV than others: proposals for a different wording or the inclusion of an extra answer category are clearly in a different class than proposals involving the exclusion of questions in their present form from the survey. What has become obvious is that the questions regarding the subjects of ‘support for measures' and ‘risk of arrest in hypothetical traffic situations' as now presented do not provide reliable answers. Suggestions are made regarding how to solve the problems surrounding these questions. Conclusions and recommendations in regard to the users' study Users process information originating from the PROV in their action and policy plans. In doing so, the following picture emerges: the report is seldom read in its entirety but is used as reference material. Many people who work with the PROV use a province-specific pre-selection. The actual processing of the PROV material also displays a highly selective character: it's use is chiefly aimed at finding arguments that can be used externally for implementing or continuing certain activities. Furthermore, PROV data is often used along with other data. Based on the answers provided, it can be concluded that the users are satisfied with the PROV's monitoring function. In regard to the PROV's second goal, the charting of background information, the answers are somewhat more vague. On the one hand, the PROV provides background material and explanations, but it is nevertheless frequently necessary to search in one's own region for target groups and intermediaries. Based on the interviews, it appears that feedback to policy and the evaluation of policy is the most problematic point. The relationship between policy efforts and PROV results is difficult to establish at both the national and provincial levels. It often works better to obtain insight into this relationship with region-specific questions that are also part of the PROV. Several matters surrounding the PROV are well organised and do not need to be changed: its centralised management provided by the Netherlands Transport Research Centre AVV, the opportunity to consult the Regional Directorates when setting up research studies, and the opportunity to ask region-specific questions and to conduct the written survey on a yearly basis. In regard to frequencies, maintaining a one-year frequency would not be protested by any of the users and agrees with the explicit preferences of some users; the introduction of a two-year frequency would not cause any problems for a considerable group of users but would definitely make a certain number of users less satisfied. In regard to the practical value of the PROV, the following wishes were most frequently expressed: the linking of PROV data with objective data, reporting that is more directly adapted to the province, and a less sizable but more accessible reporting. The most frequently requested new subjects for the PROV were: moped certificate, 30 km/hour areas, information about and support for sustainably safe traffic, and mobility choices (also listed as a specific element under sustainably safe traffic). General conclusions and recommendations The most important recommendations for improving the PROV are: -using a more direct way of sampling that offers a better guarantee in regard to non-selective response; -making questions about background characteristics in the PROV easier to compare with corresponding questions in CBS and OVG; -replacing or omitting questions about support for measures, about accidents, and about risks of arrest in hypothetical situations; -modifying of the wording and answer alternatives for some questions; -adding questions about the following structurally relevant subjects: 30km/hour areas and mobility choices; -adding questions about a provisionally topical subject: moped certificates; -having a more region-specific form of reporting; -continuing the distribution of PROV results in brochure form. Recommendations were also made in reference to minimising trend deviations in the results. These recommendations involve: -establishing a separate methodological study into the possible consequences of the changes in the new PROV; -carrying out both the old as well as the new PROV (within the framework of the previously mentioned research), so that comparisons between both methods can indicate how much the results have to be corrected for the introduced changes. The future: PROV 1997 The outcomes of the evaluation necessitate a new approach to the PROV in 1997. The recommendations given should be further developed to lay the groundwork for a PROV ‘new style'. The Transport Research Centre (AVV) works together with SWOV and Bureau Traffic Test to develop a plan for a new design of the PROV in 1997. This plan entails the following parts: - A new questionnaire The result will be that the respondent is more able to understand the questions, and more able to give answers that more precisely describe his or her opinion or behaviour and that there is room/space for questions about new subjects. - A new sampling design The result will be that there is a better guarantee for the national and regional representativeness of the outcomes of the PROV - A plan for the transition from the PROV ‘old' to PROV ‘new' The result will be that continuity of results and statistical trend analysis of these results is not endangered, despite certain changes to questionnaire and sampling procedure. - An improved report The result will be a PROV-report that logically and clearly presents outcomes, attuned to the wishes of users. - A plan for better presentation of PROV results and better use of PROV The result will be that the outcomes of PROV 1997 are presented in an attractive way to users and that correct use of these results is stimulated. In short, the PROV 1997 - the PROV ‘new style'- is expected to offer a better guarantee for reliability and representativeness of outcomes. Further,it is expected that the report about the outcomes as well the use of it will be improved. The transition from PROV ‘old' to PROV ‘new' will be guided by methodological research so that continuity in results can be ensured
