BEOORDELEN EN WAARDEREN, HET VERSCHIL.

Voor het beoordelen van de kwaliteit van een product heb je objectieve en helder criteria nodig. Het ontwikkelen van deze criteria is in de ogen van vele niet goed mogelijk maar dat valt reuze mee. Het Nederlands Koorfestival heeft in de loop van de jaren beoordelingscriteria ontwikkeld die in de praktijk uitstekend functioneren.

Waardering voor een creatief product, of het nu muziek is, een standbeeld, een film of video, een lantaarnpaal of een Vinex wijk, dat is een kwestie van smaak. Maar het beoordelen van de kwaliteit van deze zaken is dat niet.

Los van hun persoonlijke voorkeur kunnen mensen heel goed beoordelen of ze met prullen te maken hebben of met iets voortreffelijks. De overeenstemming tussen beoordelaars is dan ook onverwacht groot, als er tenminste met een aantal dingen rekening gehouden wordt.

BEOORDELINGSCRITERIA

  • Het aantal beoordelaars moet niet te klein zijn, want anders gaan de persoonsafhankelijke eigenaardigheden van een individuele beoordelaar te veel gewicht in de schaal leggen. Bij een voldoende aantal beoordelaars middelen deze eigenaardigheden zich uit.
  • Ook moeten beoordelingen vergelijkenderwijs plaats vinden, dus beoordelaars moeten van een aantal producten aangeven welke het beste is en het op een na beste enzovoort, bijvoorbeeld door een rangorde aan te brengen. Hoewel er tussen expertbeoordelaars en onervaren beoordelaars vaak weinig verschillen bestaan – beide groepen wijzen vaak dezelfde producten aan als het beste of slechtste – zijn alleen experts enigszins in staat absolute oordelen te geven, omdat zij een schat aan vergelijkingsmateriaal in hun hoofd hebben. Bovendien kunnen zij hun beoordeling inhoudelijk motiveren.
  • Het beoordelen wordt vergemakkelijkt als de te beoordelen producten de nodige variatie aan kwaliteit vertonen. Een jury die een ensemble moet aanwijzen dat in aanmerking komt voor de eerste prijs, heeft het moeilijk als alle ensembles van hetzelfde niveau zijn, maar kan vroeg naar huis als er één ensemble bij is dat er met kop en schouders bovenuit steekt. En daar is ook nooit kwestie over. Het getob begint pas als alle ensembles even slecht, middelmatig of goed zijn.
  • Personen die producten of prestaties beoordelen moeten zich niet af laten leiden door irrelevante kenmerken. Dat gebeurt vaak wel, zoals lange tijd bij de juryleden die kunstschaatsers en turners moesten beoordelen. Om dit te voorkomen kan aan juryleden een lijst met criteria worden gegeven. Zo gebeurt het nu bij het kunstschaatsen en turnen.

In de TV – talentenjacht programma’s mankeert veel aan de kwaliteit van het beoordelen. Het gebeurt niet onafhankelijk, de beoordelingscriteria zijn onduidelijk en niet expliciet en het aantal juryleden is soms te gering. Ze kwekken maar wat en bovendien worden er vaak van te voren al afspraken gemaakt. De belangen van de producers zijn groot.

Dit is geen reden om het beoordelen van creatieve prestaties maar helemaal achterwege te laten. Niet alles kan met objectieve tests worden bepaald en iedereen wordt voortdurend blootgesteld aan subjectieve beoordelingen.

Op school bestaat er zoiets geheimzinnigs als de indruk van de leerkracht, waaraan sommige meer waarde hechten dan aan de objectieve Cito-toets voor het bepalen van de middelbare schoolkeuze.

Veel sportprestaties worden subjectief beoordeeld. Ook tijdens sollicitatiegesprekken ben je overgeleverd aan de subjectieve indruk die je wekt bij een aantal onbekenden, die een ongestructureerd gesprek met je voeren, terwijl je geen idee hebt waar ze op letten. De beoordelingen van je arbeidsprestaties zijn doorgaans ook in hoge mate subjectief.

Jureren en een oordeel uitspreken is dus heel gewoon, maar slechts zelden wordt aan de minimale eisen voldaan om tot een betrouwbaar oordeel te komen.

Veel organisatoren van koorfestivals vragen vaak aan juryleden om vooral toch alles heel positief te benaderen. “En als een koor nu reetevals, onverstaanbaar en ritmisch totaal ongelijk zingt?” Ach, er valt altijd wel iets positief te melden zoals ‘jullie hebben heel goed jullie best gedaan!’ of ‘er is veel aandacht besteed aan de kleurige jurken van de dames’ of ‘fijn dat jullie helemaal naar hier zijn gekomen om mee te doen’.

Zeggen wat je er echt van vindt wordt niet overal even gewaardeerd. Veel organisatoren weten overigens ook niet met welk doel zij koren willen laten jureren.

Helaas moet ik daarnaast ook zeggen dat het regelmatig voorkomt dat juryleden niet zo goed weten waarom, wat en hoe te jureren. Er zijn genoeg festivals waar juryleden in de jurykamer een getal roepen die na enig rekenwerk uitslag geven wie de winnaar is. Waarom ze nou dat getal hebben genoemd is niet altijd duidelijk. Vaak wachten ze met het geven van de beoordeling nadat een collega wel wat heeft gezegd en roepen dan iets wat ook aardig in de buurt komt (conformity effect).

Niemand zal ontkennen dat beoordelingen, van wat dan ook, zo objectief mogelijk horen te gebeuren. Dat dit ook altijd gebeurd is maar zeer de vraag.

Verderop zal duidelijk worden dat er nogal veel factoren een rol kunnen spelen die de objectiviteit ondermijnen. Bij wedstrijden die te maken hebben met jurybeoordelingen is het voor de objectiviteit belangrijk dat er duidelijke en heldere criteria zijn.