Dit rapport doet verslag van een onderzoek naar het gebruik van bewegende beelden om gevaarherkenning in het verkeer te toetsen. Het onderzoek is uitgevoerd vanuit een samenwerkingsverband tussen de SWOV en het CBR. De resultaten van dit onderzoek kunnen door het CBR worden gebruikt bij de ontwikkeling van een nieuwe gevaarherkenningstoets voor het theorie-examen.
Gevaarherkenning is het vermogen om weg- en verkeerssituaties te detecteren en herkennen die zouden kunnen uitgroeien tot acuut gevaarlijke situaties waarin de kans op een ongeval groot is. Beginnende bestuurders zijn daar minder goed in dan ervaren bestuurders. Door training in de rijopleiding kan het leerproces om gevaren in het verkeer te herkennen, versneld worden. Als er in het rijexamen op een adequate wijze op gevaarherkenning wordt getest, zal hier ook tijdens de rijopleiding meer aandacht aan worden besteed.
Gevaarherkenning is beter te testen aan de hand van bewegende beelden dan met foto’s. In Nederland wordt gevaarherkenning nog getest met foto’s. In het Verenigd Koninkrijk dienen kandidaten een gevaarherkenningstest te maken waarin gebruik wordt gemaakt van films vanuit het perspectief van een bestuurder. Het is de vraag of die methode veel heeft bijgedragen aan de verkeersveiligheid. De validiteit van deze test is nooit overtuigend aangetoond en de methode is fraudegevoelig. Eerder Nederlands onderzoek naar een toets met bewegende beelden die niet de bezwaren had van de Engelse methode, leverde helaas niet de gewenste resultaten op.
De onderzoeksvraag die in dit rapport wordt beantwoord, luidt: “Is er een valide, betrouwbare en fraudebestendige methode te vinden om aan de hand van bewegende beelden gevaarherkenning te toetsen, die geschikt is om onderdeel te worden van het toekomstige theorie-examen?”
In een test waarin vaardigheden getoetst worden – en in dit geval is die vaardigheid ‘gevaarherkenning’ – gaat het erom kandidaten in zulke omstandigheden te brengen dat uit hun reacties afgeleid kan worden dat ze een bepaalde vaardigheid beheersen. Die omstandigheden zijn de stimuli en de reacties zijn de responsen. Op basis van de literatuur en de ervaringen uit het eerdere onderzoek in Nederland zijn twee nieuwe testvormen bedacht. De stimuli zijn in beide testvormen gelijk en bestaan uit korte animatiefilms waarin gevaren verborgen zijn. De twee responsmethoden verschillen.
Bij responsmethode 1 krijgen kandidaten telkens korte animatiefilms te zien met in elke film een dominant potentieel gevaar en enkele minder belangrijke nevengevaren. Nadat zij een film gezien hebben, moeten ze bedenken wat volgens hen het grootste potentiële gevaar in die film was. Vervolgens starten ze de film voor de tweede keer en stoppen de film door op de spatiebalk te drukken op het moment dat ze in gedachten hebben. Daarna wijzen ze op het stilstaande beeld het potentiële gevaar aan door er met de muis op te klikken.
Bij responsmethode 2 krijgen kandidaten dezelfde animatiefilms te zien. Zij zien elk filmpje nu echter maar één keer. Wanneer ze tijdens het zien van een film voelen dat het gevaarlijk zou kunnen worden, drukken ze op de spatiebalk. Onder in beeld loopt een tijdbalk. Als de kandidaten op de spatiebalk hebben gedrukt, horen ze een toon en komt er op de tijdbalk een witte markering te staan op het tijdstip waarop is gedrukt. De film blijft echter gewoon doorlopen. Men kan maximaal vier keer per film op de spatiebalk drukken. Direct na afloop van elke film krijgen de kandidaten de stilstaande beelden te zien van de momenten waarop ze hebben gedrukt. Van die momenten dienen ze het beeld uit te kiezen waarop het grootste potentiële gevaar te zien is. Vervolgens moeten ze op dat geselecteerde beeld, dat groot op het scherm komt te staan, met de muis dat potentiële gevaar aanklikken.
De tests zijn uitgevoerd door twee groepen proefpersonen: rijschoolleerlingen en professionals (rijexaminatoren en rijinstructeurs). Bij beide responsmethoden scoorden professionals significant beter dan rijschoolleerlingen. Het verschil was echter aanmerkelijk groter en robuuster bij responsmethode 1.
Er zijn twee verschillende scoringsmethoden gebruikt. Bij de ene methode kon men een film goed of fout beoordelen (scoringsmethode 1). Bij de andere methode werd de hoogte van de score mede bepaald door het moment waarop de kandidaat, binnen de tijd dat het potentiële gevaar er was, het potentiële gevaar aanklikte (scoringsmethode 2). Het verschil tussen de rijschoolleerlingen en professionals is bij responsmethode 1 groter als scoringsmethode 2 gebruikt wordt dan als scoringsmethode 1 gebruikt wordt. De verschillen tussen de scoringsmethoden zijn echter klein.
Als naar de scores op elke film afzonderlijk gekeken wordt, zijn er veel meer films bij de test met responsmethode 1 die een significant verschil tussen beide groepen laten zien dan bij de test met responsmethode 2. Opvallend is wel dat de moeilijkheidsgraad per film sterk fluctueert en dat op een aantal films zeer slecht wordt gescoord. Dit is er waarschijnlijk de oorzaak van dat de interne consistentie (de Cronbach’s α) aan de lage kant is, wat erop duidt dat de films niet allemaal hetzelfde kenmerk (gevaarherkenning) meten.
Rijschoolleerlingen die veelvuldig computergames spelen, maakten de test met responsmethode 2 significant beter dan rijschoolleerlingen die weinig tot nooit computergames spelen. De mate waarin rijschoolleerlingen computergames spelen, had geen invloed op de hoogte van de eindscores bij de test met responsmethode 1. Dit is nog een reden om de test met responsmethode 1 te verkiezen boven de test met responsmethode 2.
De lage eindscores bij de test met responsmethode 2 kunnen deels worden verklaard uit het feit dat rijschoolleerlingen in 11,5% van de gevallen bij het zien van een film in het geheel niet op de spatiebalk drukten om een potentieel gevaar te markeren. Bij de professionals was dit 12,4%. Het zou kunnen dat bij deze test niet alleen het vermogen gevaren te herkennen, maar ook spelstrategie die niets met gevaarherkenning te maken heeft, een rol heeft gespeeld. Wellicht zijn deze mensen bijvoorbeeld minder geneigd om aan het begin van een film al op de spatiebalk te drukken, omdat ze bang zijn de vier mogelijkheden te snel te verspelen. Aan het einde van de film komen ze er dan achter dat ze nog mogelijkheden over hebben.
De conclusie luidt dat de test met responsmethode 1 duidelijk geschikter is om verder door te ontwikkelen tot een test in het theorie-examen dan de test met responsmethode 2.
Het CBR wordt aanbevolen om onderzoek te verrichten naar de psychometrische kwaliteiten van de test met responsmethode 1. Ook wordt het CBR aanbevolen onderzoek te verrichten naar de trainbaarheid, waarbij het niet louter gaat om het trainen in het doen van de test. Ten slotte wordt het CBR aangeraden meerdere tests van gelijke zwaarte te ontwikkelen voordat de nieuwe test geïmplementeerd wordt in het theorie-examen.
Testing hazard perception with moving images; Research into a response method that can be used in the knowledge test
This report presents a study into the use of moving images to test hazard perception in traffic. The study was carried out in cooperation between SWOV and The Dutch Driving Test Organisation (CBR). CBR can use the results of the study to develop a new hazard perception test for the knowledge test.
Hazard perception is the ability to detect and recognize road and traffic situations that could develop into situations of acute danger with a large risk of a crash. Novice drivers are not as skilled as experienced drivers in doing so. Training during the driver education can speed up the learning process of hazard perception in traffic. If the driving exam adequately tests hazard perception, this will also receive extra attention during the driver education.
It is easier to test hazard perception with moving images than with photographs. The Netherlands still uses photographs to test hazard perception. In the United Kingdom, candidates are required to take a hazard perception test in which films are used from the driver perspective. It remains to be seen whether this method has made a considerable contribution to road safety. The validity of this test has never been convincingly demonstrated and the method is susceptible to fraud. An earlier Dutch study into a test with moving images that did not have similar drawbacks as the UK method, unfortunately did not deliver the desired results.
The research question that will be answered in this report is: “Can a valid, reliable, and tamper-proof method be found which uses moving images to test hazard perception and is suitable for use in the future knowledge test?”
A test of someone’s skills – in this case the skill ‘hazard perception’ – requires exposing the candidates to conditions in which their reactions can be used to determine whether they control a certain skill. These conditions are the stimuli and the reactions are the responses. Based on literature and experiences from the earlier Dutch study, two new types of tests were developed. Both test types use the same stimuli which consist of brief animated films in which hazards are hidden. The two response methods, however, differ.
In response method 1, the candidates are presented with several brief animated films, each film containing a dominant potential hazard and some less important additional hazards. After having seen a film, they have to decide which was the most important potential hazard in that film. They then start the film a second time and by pressing the spacebar stop the film at the moment they have in mind. Next, they indicate the potential hazard on the screen capture by clicking the mouse.
In response method 2, the candidates are presented with the same animated films. However, they are shown each film only once. When, while watching the film, they feel that the situation may become dangerous, they press the spacebar. At the bottom of the screen a time bar is visible. When the candidates press the spacebar, they hear a sound and the time bar is marked at the time the spacebar was pressed. The film, however, continues. The spacebar can be pressed a maximum of four times per film. Immediately at the end of each film the candidates are presented with the screen captures of the moments at which they pressed the spacebar. They are then asked to select the moment with the most important potential hazard. Next, they have to indicate that potential hazard with a mouse click in the chosen image which is now shown full-screen.
The tests were performed by two groups of subjects: driving school pupils and professionals (driving examiners and driving instructors). The professionals had a significantly higher score than the driving school pupils on both response methods. However, the difference was considerably greater and more robust on response method 1.
Two different scoring methods were used. In one method, a film could be passed or failed (scoring method 1). In the other method, the height of the score was partly determined by the time that had elapsed since the potential hazard could be detected and the candidate clicked the potential hazard (scoring method 2). The difference between driving school pupils and professionals is higher on response method 1 when scoring method 2 is used rather than scoring method 1. However, the difference between the scoring methods is small.
When the scores are considered for each individual film, many more films show a significant difference between the two groups on the test with response method 1 than on the test with response method 2. It is remarkable, however, that the difficulty level fluctuates considerably per film and that the score is very low on some of the films. This is probably the reason that the internal consistency (the Cronbach’s α) is somewhat weak, indicating that the films do not all measure the same characteristic (hazard perception).
Driving school pupils who often play computer games, do significantly better on the test with response method 2 than driving school pupils who rarely or never play computer games. The extent to which driving school pupils play computer games had no effect on the height of the final scores on the test with response method 1. This is one more reason to choose the test with response method 1 rather than the test with response method 2.
The low final scores on the test with response method 2 can partly be explained by the fact that in 11.5% of the cases driving school pupils did not press the spacebar at all to mark a potential hazard while seeing the film. The percentage of the professionals was 12.4%. This could be explained by the fact that in this test it was not only the hazard perception skill playing a role, but also game strategy which has nothing to do hazard perception. These people may, for example, be less inclined to press the spacebar early in the film, because they are afraid to use the four possibilities too quickly. At the end of the film they then find themselves having possibilities left.
The conclusion is that the test with response method 1 is clearly more suitable to continue developing into a test in het knowledge test than the test with response method 2.
CBR is advised to carry out research into the psychometric qualities of the test with response method 1. CBR is also advised to perform research into the trainability, this not only involving training to take the test. Finally, CBR is advised to develop several tests of equal difficulty before implementing the test in the knowledge test.
