OBSTAKELS en VALKUILEN bij het JUREREN
Bias -ruis halo-effect en….
Ik denk dat het voor een jurylid, zelfs al is hij nog zo objectief ingesteld en reflectief op eigen oordelen, moeilijk is om deze vertekeningen volledig uit de weg te gaan, simpelweg omdat de bias een functie heeft: de mens heeft maar een beperkte cognitieve capaciteit en kan daarom niet alles volledig en objectief waarnemen én beoordelen in het relatief korte tijdvlak van één optreden waarbij op intonatie, ritmiek, uitspraak, verstaanbaarheid, presentatie enzovoorts moet worden gelet. Laat staan een heel optreden!
Jureren houdt in dat je als jurylid met verschillende vormen van bias (ruis) te maken krijgt.
WELKE BIAS KOMEN WE ALZO TEGEN
Het eerste optredende koor/ensemble
“Rank Order Bias”
Voor veel juryleden begint het probleem bij het optreden van het eerste koor of ensemble. Welke cijfers geef je. Als je te hoog gaat zitten loop je de kans dat nog betere koren of ensembles véél te hoge cijfers gaan krijgen en zit je te laag dan kun het probleem krijgen dat (veel) minder goede wel erg laag komen te zitten.
Veel koren/orkesten en dirigenten denken dat ze benadeeld worden als ze als eerste moeten starten. De jury heeft dan nog geen vergelijking met andere ensembles en moet nog een maatstaf neerzetten, waardoor ze denken dat ze lagere punten krijgen.
Het is wetenschappelijk bewezen dat bovenstaande kan voorkomen. Psychologisch onderzoek geeft hiervoor de verklaring dat juryleden vaak nog geen extreem hoge punten willen geven omdat ze verwachten dat er nog betere ensembles zullen optreden.
In het geval waar de startvolgorde wordt bepaald door voorgaande prestaties, zoals bij danswedstrijden, speelt deze kwestie nog meer. De juryleden verwachten dan ook dat het niveau telkens meer omhoog zal gaan en zullen geneigd zijn om elk positief punt bij elke volgende ensemble dat op het podium komt extra te benadrukken, waardoor steeds hogere scores worden gegeven.
Dit effect van de startvolgorde wordt in het Engels “rank order bias” genoemd.
De reputatie van een koor/ensemble/dirigent
“Reputation Bias”
Je herkent het vast wel. Het zijn vaak dezelfde koren bovenaan eindigen op festivals en concoursen. Misschien heb je het vermoeden dat zij de juryleden goed kennen en daardoor gemakkelijker bovenaan eindigen. Of dat een jurylid alleen op basis van de naam een hogere score toekent, maar is dat ook werkelijk zo?
Juryleden worden geacht om volgens de beoordelingsformulieren hun beoordeling te geven. Maar zoals ik net al schreef is het een hele complexe opgave om in een korte tijd die beoordeling te geven. Een jurylid valt dus terug op wat hij al weet van de situatie en daar hoort ook vaak de reputatie van de dirigent bij.
Het is dus heel aannemelijk dat de scores bij een dirigent waarvan bekend is dat hij of zij een kundige dirigent is, sneller hoog uit zullen vallen dan bij iemand die niet diezelfde reputatie heeft. Het is zelfs wetenschappelijk bewezen dat reputatie het jurylid onbewust kan helpen bij het toekennen van de score.
Tijdens de olympische finale 2016 van het onderdeel keirin, een discipline in het baanwielrennen, was de gedoodverfde olympisch kampioen Jason Kenny te vroeg vertrokken. Volgens de reglementen had er een diskwalificatie op moeten volgen. Na lang beraad besloot de jury om niemand te diskwalificeren. In de herstart ging het opnieuw mis, ditmaal was het een andere kanshebber de boosdoener. Ophef op de baan en er volgde een overleg met de coaches van de renners. Ook nu werd niemand gediskwalificeerd. De derde poging ging wonderwel goed. De gedoodverfde kandidaat Jason Kenny won het goud. Typisch gevalletje van ‘Reputation Bias’. Of…….. een dusdanige druk van de organisatie op de jury om de belangen van de spelen boven het wedstrijdreglement te plaatsen.
Niet alleen in de sport maar bij alle jureringen komt dit voor.
Persoonlijke voorkeuren
“Halo-Effect”
Sommige dirigenten hebben het idee dat juryleden geen liefhebber zijn van elektronische instrumenten en wanneer er drums bijzit en daardoor ook lagere punten krijgen.
Het is waar dat het gebruik van deze instrumenten vaak de koorbalans nogal kunnen verstoren.
Ook heb ik mee mogen maken dat op een koorfestival, waarop allerlei stijlen van muziek ten gehore werden gebracht een paar (klassiek georiënteerde) juryleden geen punten wilden geven omdat de ten gehore gebrachte (lichte muziek) werken in hun ogen inferieur was. ‘I don’t like this music’ was het antwoord van mijn collega toen ik hem vroeg naar zijn punten.
Wel is het zo dat de persoonlijke voorkeur van een jurylid onbewust van invloed kan zijn op de beoordeling. Dit heeft niet alleen betrekking het gebruik van de genoemde instrumenten, maar ook bijvoorbeeld op ensembles die heel virtuoos spelen of zingen of er overweldigend mooi uitzien. Het is bewezen dat een jurylid zo onder de indruk kan zijn van een bepaald aspect, waardoor andere foutjes minder zwaar worden aangerekend. Dit wordt ook wel het “halo-effect” genoemd.
Niet durven geven van hoge en lage punten
“Conformity Effect”
Veel juryleden krijgen het commentaar dat ze alleen maar zessen en zevens op het protocol schrijven en geen hogere of lagere punten durven te geven.
Het is een gegeven dat veel scores tussen de 6 en de 8 liggen en dat er weinig spreiding is. Het gevolg is dat daardoor de minder goede ensembles in verhouding te veel punten krijgen en de beste ensembles te weinig.
Maar durven juryleden geen hele lage of hoge scores te geven? Het is bewezen dat juryleden graag zien dat hun scores in lijn zijn met die van hun collega’s. Mensen willen graag tot een bepaalde groep horen en vallen er liever niet buiten. Dit geldt natuurlijk ook voor juryleden. Ook kan onzekerheid een rol spelen. Om de meer extremere cijfers te geven zal je over voldoende zelfvertrouwen moeten beschikken.
Ik ken genoeg koorfestivals waar na afloop elk jurylid het aantal punten mag noemen wat hij of zij wil geven aan het betreffende ensemble. Altijd spannend wie de score mag of moet openen. Het komt zelden voor dat één van de volgende juryleden een erg afwijkende score geeft terwijl ik toch net daarvoor op sommige blaadjes een ander getal had zien staan.
Iets beter gaat het wanneer de scores van de individuele juryleden meteen na afloop bij de juryvoorzitter of -secretaris moeten worden ingeleverd. Als dan blijkt dat een jurylid nogal afwijkt van de collega’s is dit jurylid meestal al snel bereid om de score aan te passen zodat het verschil (soms aanmerkelijk) kleiner wordt.
Beide oorzaken kunnen leiden tot scores die niet heel erg afwijken van de standaard. Dit wordt het “conformity effect” genoemd.
Iets is objectief is als het los kan staan van een mening, neutraal is, dus onpartijdig en waarbij menselijke factoren (zoals bijvoorbeeld voorkeur, gewoonte, activiteit) tot het minimum wordt beperkt. Het moet daarbij zoveel mogelijk gaan over feiten.
Wel, het feit is dat ik de tekst die het koor zingt goed kan verstaan. Mij collega-jurylid heeft toch wel enige moeite met de verstaanbaarheid. Moet mijn collega nu naar Schoonenberg of kan er ook iets anders aan de hand zijn? Wat ik even vergeten was is dat ik dit werk zelf vele malen heb uitgevoerd en de tekst uit mijn hoofd ken. Wat ik ken en weet hoor ik maar collega jurylid kent het werk niet! In dit geval is zijn of haar waarneming waarschijnlijk objectiever dan de mijne. Hoe objectief kun je zijn?
