Individuele en sociale aspecten van kwaliteitsbeoordeling in peer panels

Introductie

Het Kunstendecreet (met memorie van toelichting) en Besluit van de Vlaamse Regering omschrijven de procedure die subsidiedossiers doorlopen, het principe van de pool van experten en de beoordelingscriteria die ingezet worden bij de kwaliteitsbeoordeling. Een draaiboek, geschreven in samenwerking met de Adviescommissie Kunsten, werkt het beoordelingsproces meer gedetailleerd uit en geeft een aantal werkafspraken weer. De Strategische Visienota van de Minister van Cultuur presenteert bovendien een inhoudelijk kader voor de beoordeling.
Daarmee zijn de regels en afspraken over het verloop van de kwaliteitsbeoordeling in het Kunstendecreet duidelijk uitgetekend en neergeschreven. En toch bepalen ze maar voor een deel het werkelijke verloop van de het beoordelingsproces.

Naast de genoemde expliciete regels, spelen altijd ook impliciete regels, bepaald door de sociale interactie in beoordelingspanels. Het gaat om impliciete afspraken of omgangsvormen die zich installeren wanneer mensen moeten samenwerken om tot een uitkomst te komen. Ook heeft elke individuele beoordelaar zijn of haar eigenheden en bagage die een rol gaan spelen in de beoordeling – bij de individuele lectuur en evaluatie van dossiers en in de interactie rond de commissietafel.

Het is belangrijk om te beseffen dat deze individuele en sociale aspecten niet uit te schakelen vallen. Ze zijn geen fout in het systeem die weggewerkt moet worden. Wel zijn het elementen waar bewust en met zorg mee moet worden omgesprongen. Het uitgangspunt van deze nota is dan ook het volgende: beter inzicht in de impliciete individuele en sociale processen die spelen tijdens het beoordelingsproces geeft de mogelijkheid om zelfbewuster en zorgvuldiger om te gaan met de rol die men als beoordelaar opneemt (als individu) en om elk lid van de beoordelingscommissie zijn of haar rol te laten spelen (als groep) en dus de intersubjectiviteit rond de tafel optimaal te laten spelen. Het vormt met andere woorden een belangrijke basis voor de kwaliteit van de kwaliteitsbeoordeling. Het observeren en bewaken van deze processen is een belangrijke taak van de voorzitters van de commissies, maar ligt ook in handen van elk individueel lid.

Individuele bagage

Opvattingen over kunst

Elke beoordelaar in de pool van het Kunstendecreet is op een of andere manier actief betrokken bij de kunsten en heeft dan ook een – vaak impliciete – opvatting over wat geldt als kunst en wat niet. Deze opvattingen hangen samen met visies op wat subsidiabel is en wat niet. De Vlaamse overheid heeft uiteraard haar eigen logica die de wetgeving schraagt en opvattingen over wat voor praktijken of kunstuitingen subsidiabel zijn onder het Kunstendecreet, maar ook deze officiële opvattingen blijven in hoofdzaak impliciet. Daarom zal de discussie over wat wel of niet onder het decreet past onvermijdelijk ook via concrete dossiers bij de beoordelaars op tafel komen.

De discussie over wat kunst is en wat niet is sinds de moderniteit een belangrijke discussie binnen het kunstenveld. Ze staat op scherp daar waar de nieuwe ontwikkelingen in het kunstenveld plaatsvinden en waar de bruggen met andere sectoren (bv. het onderwijs, de wetenschap, bedrijven, de sociale sector) worden opgezocht. Het is daarom belangrijk dat de beoordelaars deze discussie ter harte nemen en bewust aangaan. Bij druk op de middelen voor de kunsten mag men niet te gauw in de verleiding komen om deze ‘randgevallen’ buiten de zone van het decreet te plaatsen en zo de druk op de subsidiepot wat te verlichten. Ze zijn immers mogelijk van groot belang voor de ontwikkeling van de kunsten zelf.

Ook binnen wat we collectief beschouwen als kunst en als subsidiabel onder het Kunstendecreet, zijn diverse opvattingen mogelijk over wat meer en wat minder belangrijk of prioritair is. Volgende stellingen geven enkele verschillende standpunten weer over waarvoor het Kunstendecreet in de eerste plaats dient. Ze zijn niet noodzakelijk met elkaar in tegenspraak, maar bij beperkte middelen zal de discussie oplaaien over wat prioritair is.

• “Het Kunstendecreet is er in de eerste plaats om artistieke vernieuwing mogelijk te maken.”
• “Het Kunstendecreet moet de diverse uitingen van kunst kunnen herbergen: van traditioneel tot experiment en vernieuwing, al wat kwaliteit heeft.”
• “Subsidies zijn er voor kunstuitingen die niet door de markt gedragen kunnen worden.”
• “Populaire cultuur hoort niet thuis onder het Kunstendecreet. Het decreet is er immers om mogelijk te maken wat niche en specialistisch is.”

Wanneer we, als sectorspelers, als steunpunt of als overheid samen stellen dat we het belangrijk vinden dat er een ‘rijk en gelaagd kunstenlandschap’ is in Vlaanderen, waar staat dat dan eigenlijk voor? Hoe breed en divers willen we daarin gaan?

Keuzestijlen

Mensen hebben hun eigen manieren om tot beslissingen te komen; ze hebben verschillende soorten keuzevoorkeuren of -stijlen. Elk van ons hanteert verschillende stijlen op verschillende momenten en in verschillende situaties, maar elk individu heeft bepaalde stijlen of voorkeuren die meer prominent zijn. Hieronder een lijstje van vijf mogelijke keuzestijlen en hun kenmerken.

De logisch-rationele kiezer

• Beslist logisch, verstandig, gestructureerd en met redelijke argumenten, heeft oog voor feiten en details
• Kan goed het waarom van een beslissing uitleggen

De impulsieve kiezer

• Beslist spontaan, daadkrachtig, snel en zonder stress, op basis van de impuls van het moment
• Houdt van actie, plezier, avontuur, risico, heeft lef

De eigenzinnige kiezer

• Kiest zelfverzekerd, vol overtuiging, origineel, zelfstandig, onafhankelijk. Weet wat hij/zij wil en gaat daar ook voor
• Is trouw aan zichzelf, authentiek, heeft vaak een groot besef van verantwoordelijkheid en van de maakbaarheid van de werkelijkheid

De sociale kiezer

• Kiest sociaal, betrokken, flexibel, past zich gemakkelijk aan
• Vermijdt liever conflicten

De intuïtieve kiezer

• Doet beroep op een diepere bron van weten die onmiddellijk komt opzetten zodra de keuzemogelijkheid zich aandient
• Kiest rustig en is tevreden met de beslissing. Kan de keuze moeilijk verwoorden

In onze huidige samenleving, en a fortiori in professionele contexten, is de logisch-rationele keuzestijl de norm. De kwaliteitsbeoordeling onder het Kunstendecreet vraagt om een duidelijke argumentatie over waarom een subsidieaanvraag positief of negatief geadviseerd wordt. Logisch-rationele kiezers zullen het makkelijker hebben om hun positie te argumenteren en halen zo mogelijk de bovenhand in discussies. Wie minder makkelijk functioneert volgens die norm heeft het mogelijk moeilijker om zijn of haar keuze te onderbouwen. Dat wil echter niet zeggen dat die keuze minder legitiem zou zijn. Een belangrijk collectief werk in commissies zal erin bestaan om elk van de commissieleden de kans te geven om zijn of haar voorkeuren te expliciteren of articuleren en om samen tot een gedeeld begrip te komen.

Kennis en expertise

Het beoordelingssysteem van het Kunstendecreet is gebouwd op peer review. Mensen uit het professionele veld (of met een sterke band met dat veld) treden als experts op in de kwaliteitsbeoordeling. Officieel is de expertise van de beoordelaars getypeerd op basis van hun kennis in relatie tot de disciplines en functies. Iedereen heeft echter meer bagage aan relevante kennis of expertise die mee ingezet wordt in de beoordeling, onder andere met betrekking tot het artistieke, beleid, zaakvoering, communicatie, productieprocessen, interculturaliteit, duurzaamheid, enz.
Beoordelaars zijn experts. De legitimiteit van het feit dat ze de rol als beoordelaar opnemen ligt in hun aantoonbare expertise. Toch zijn er enkele valkuilen verbonden aan het idee van ‘expert zijn’. Drie op een rij:

Als experts specialisten zijn, zijn de beste experts dan ook de besten in hun vakgebied? En betekent dit dat hun eigen niveau van expertise meteen ook de norm stelt voor het niveau dat de indieners moeten halen om een positieve beoordeling te krijgen van deze expert? Indien dat het geval zou zijn, zouden zeer weinig spelers uit het eigen expertisedomein een positieve beoordeling halen en dus kans maken op subsidies. Zo haalt dit type expert het eigen domein leeg.

Veel beoordelaars hebben de neiging strenger te zijn voor indieners uit hun eigen discipline dan voor anderen, op basis van hun grote kennis. Hoe beter men thuis is in een bepaald expertiseveld, hoe scherper men kan kijken, hoe strenger men kan zijn en hoe meer men durft oordelen. Ook hieruit vloeit voort dat de sterkste experts mogelijk degenen zijn die voor hun eigen domein de deuren dreigen te sluiten.

Een derde tendens die speelt is die van homofilie, i.e. de neiging – die we allen hebben – om goed te vinden wat lijkt op onszelf. Ook al ben je er van overtuigd dat je oordeel een zuiver, oprecht kwaliteitsoordeel is op basis van kennis en expertise, dan nog zijn je kijk en opvattingen altijd gesitueerd in je eigen praktijk. De homofilie kan op verschillende niveaus spelen, onder andere met betrekking tot types organisaties, artistieke stijlen, generaties enz. Dit mechanisme vormt een belangrijke basis voor de conservatieve reflex die beoordelingscommissies wel eens worden toegedicht. De uitkomsten van een beoordelingsproces hebben op basis van homofilie de neiging om in zekere mate een reproductie te zijn van het profiel van de beoordelingscommissie zelf. Commissies zijn dan weer doorgaans samengesteld uit (mensen die werken bij) centrale spelers uit het kunstenveld, meer ervaren organisaties met een zekere positie in het veld. Wanneer dat het geval is, is het resultaat dus een zekere reproductie van de verhoudingen in het al bestaande, gevestigde veld.

De autoriteit van experts binnen een commissie en binnen het systeem als geheel gaat voor een goed deel terug op hun professionele track record, hun kennis en expertise in het domein dat ze beoordelen. Of men een goeie beoordelaar is hangt echter ook sterk af van de manier waarop die expertise ingezet wordt in het commissiewerk, van hoe men zich gedraagt. Onderzoek bij peer panels in kwaliteitsbeoordeling binnen wetenschappelijke subsidiesystemen (die erg gelijkaardige mechanismen vertonen als die m.b.t. kunsten) toonde dat een goeie expert-als-beoordelaar vooral ook in staat is om voorbij zijn of haar eigen expertisedomein te kijken.

Motivatie en attitudes in beoordelen

Elke beoordelaar heeft een bepaalde motivatie om de rol van beoordelaar op te nemen. Sommige beoordelaars willen vooral veel leren – over hoe andere spelers in het veld hun organisatie vormgeven, over wat goede en slechte dossiers zijn, over hoe discussiëren over artistieke kwaliteit, over het kunstenbeleid enz. Andere beoordelaars willen vooral beïnvloeden, hun stempel kunnen drukken op het beleid en op de sector. Nog anderen zien het vooral als een verantwoordelijkheid. De beoordeling in het Kunstendecreet is gebouwd op peerreview, dus het is aan de professionals uit het veld om elk op hun beurt die rol op te nemen.
Welke ook je motivatie is om als beoordelaar op te treden, je zit hoe dan ook in een machtspositie. Die kan je niet ontlopen en moet je dus met het nodige verantwoordelijkheidsgevoel en de nodige bescheidenheid opnemen.

‘Beoordelen’ kan gebeuren vanuit erg verschillende attitudes of houdingen. Die verschillende attitudes leiden dan weer tot erg verschillende beoordelingen. Verwante woorden tonen hoezeer de toon kan verschillen: bv. ‘bekritiseren’, ‘evalueren’, ‘waarderen’, ‘naar waarde schatten’. Men kan vooral focussen op het goede en de positieve aspecten stimuleren, of net focussen op het negatieve en ‘afstraffen’.

Om de juiste toon te vinden en de juiste attitude aan te nemen, is het van belang altijd de rol van de beoordelaars in het beoordelingssysteem voor ogen te houden: de beoordelingscommissies formuleren een advies aan de minister over welke organisaties, projecten of kunstenaars een waardevolle en belangrijke bijdrage leveren aan de kunsten, in het licht van het ruimere landschap. Beoordelaars communiceren dus met de minister, niet met de organisaties of kunstenaars die hun dossier indienen. Adviezen dienen dus niet om kritiek te uiten op of feedback te geven aan indieners. Wel om bij de minister aan te dragen welke organisaties en kunstenaars het kunstenveld van de komende jaren zouden moeten kunnen uitmaken.

Als round-up van bovenstaande inzichten, volgende typering van ‘de goede beoordelaar’ in peer panels en van een wenselijke basishouding voor beoordelaars in de lectuur en evaluatie van dossiers.

Profiel van de goede beoordelaar in een beoordelingscommissie

• Expertise, ervaring en/of kennis van zaken hebben.
• Goed voorbereid naar vergaderingen komen en bereid en paraat zijn om dossiers te bespreken.
• To the point zijn in vergaderingen. Niet te lang spreken, niet te traag en geen onnodige uitweidingen maken.
• Respect tonen voor andermans expertise en gevoeligheden. Luisterbereid zijn en collegiaal. Evalueren is zich kwetsbaar opstellen. Omgaan met elkaars kwetsbaarheid, doorheen onenigheid, vraag hoffelijkheid.
• Zich willen laten beïnvloeden.
• Zowel specifieke expertise als een brede blik tentoonspreiden. De capaciteit tonen om voorbij de grenzen van het eigen expertiseveld te spreken, zich te articuleren buiten de specifieke eigen expertise.

Na te streven basishouding van de beoordelaar

• Stap met principieel vertrouwen in een dossier. Los van reeds bestaande beelden of vooroordelen.
• Kijk vanuit de premissen van de aanvrager en niet vanuit de eigen opvattingen.
• Leg creatieve verbeelding aan de dag. Probeer zoveel mogelijk te verbeelden wat de plannen, neergeschreven in de dossiers, kunnen betekenen in werkelijkheid.
• Stel je oordeel uit. Probeer eerst te lezen zonder kritisch oordeel, met creatieve verbeelding lezend vanuit de premissen van de aanvrager. En stel pas in tweede instantie (bvb. bij een tweede lezing) kritische vragen.
• Wik en weeg de diverse elementen van het dossier.
• Focus op beoordelen als ‘waarderen’. Schat plannen naar waarde.
• Wees bescheiden. Elke indiener is expert in zijn of haar eigen praktijk en werkt met hart en ziel.
• Wees zelfkritisch: Hoe kijk ik? Welke kennis of ervaring zet ik in bij mijn oordeel? Met welke voor-oordelen kijk ik naar dit dossier? Enz.

Intermezzo: spanningsveld tussen gelijkberechtiging en maatwerk

De beoordelaars van het Kunstendecreet hebben de opdracht individuele aanvraagdossiers te toetsen aan de beoordelingscriteria. Een fundamenteel principe daarbij – gegeven dat we in een rechtstaat leven – is dat elk dossier een gelijke behandeling moet krijgen, dus op een gelijke manier aan dezelfde set criteria wordt getoetst. Dit is het principe van de gelijkberechtiging. En toch vraagt elk dossier een vorm van maatwerk en dus van geïndividualiseerde behandeling. Dossiers beoordelen betekent dan ook altijd werken binnen het spanningsveld tussen gelijkberechtiging en maatwerk. Door dat spanningsveld lopen enkele assen.

Consistent versus contextueel oordelen

Gelijkberechtiging vraagt om het consistent toepassen van de beoordelingscriteria op elk dossier; dat elk van de criteria telkens  wordt ingezet en dat ze op een gelijkaardige manier worden ingevuld of geijkt. Anderzijds vraagt elk dossier dat de plannen gelezen en geëvalueerd worden vanuit de eigen uitgangspunten, waardenkader en ambities. De beoordeling moet met andere woorden contextueel gebeuren. Wat een zinvolle manier van samenwerken is (cf. criterium ‘positionering en samenwerking’), bijvoorbeeld, en met welk soort partners hangt af van de individuele organisatie die haar plannen indient en van de concrete plannen zelf. Of internationaliseren betekenisvol is voor het traject van een kunstenaar en op welke manier dat het beste gebeurt, moet ook case per case worden bekeken (cf. ‘landelijke en/of internationale betekenis’). In die zin is een uniforme toepassing van de criteria, met een uniforme invulling van wat – in deze voorbeelden – kwalitatieve samenwerkingen of internationale praktijken zijn, onwenselijk.

Excellentie versus diversiteit

De beoordeling in het Kunstendecreet is een kwaliteitsbeoordeling. Wie de meeste artistieke kwaliteit biedt, moet de grootste kans maken op subsidies. (Dit mag dan een evidentie lijken, een vergelijking met andere Vlaamse cultuurdecreten of buitenlandse regelgeving met betrekking tot de kunsten laat zien dat het dat niet is). Kwaliteit staat voorop en toch is het ook wenselijk dit uitgangspunt niet absoluut te nemen. De reden daarvoor is dat de indieners niet opereren in een vacuüm, maar dat hun praktijk deel uitmaakt van een ruimer kunstenlandschap. Welke rol ze innemen in dat kunstenlandschap, is dus altijd een element om mee te nemen in de beoordeling van aanvraagdossiers. Sleutelwoord in deze is de diversiteit van het landschap. Diversiteit kent verschillende vormen. Het kan gaan om het belang van het stimuleren van de diverse stromingen binnen de artistieke disciplines en om het garanderen van voldoende spelers in de diverse schakels van de waardenketen van de kunsten. Maar diversiteit gaat ook over vernieuwing. Willen we voldoende instroom mogelijk maken, is het nodig om jonge beloftevolle spelers op een andere manier te bekijken dan gevestigde waarden die wel al een volledig professionaliseringstraject hebben kunnen doorlopen, vaak dankzij subsidies. Ook het realiseren van meer diversiteit in termen van etnisch-culturele achtergronden of invloeden vraagt soms om het belang van een “rijkgeschakeerd landschap” voorop te plaatsen en niet de pure excellentie.

Gelijkberechtiging is een grondrecht in democratische samenleving en moet dus absoluut gerespecteerd worden. Maatwerk is echter ook nodig om diverse spelers een kans te geven om zich te ontwikkelen en om een rijk kunstenlandschap mogelijk te maken. Daarom is het belangrijk te zorgen voor een gelijkwaardige, eerder dan voor een uniforme behandeling.

Sociale interactie in beoordelingscommissies

Intersubjectiviteit en debat

Bij het herschrijven van het Kunstendecreet is er gekozen om niet te raken aan twee van de belangrijkste fundamenten van het beoordelingssysteem in het Vlaamse kunstenbeleid sinds jaar en dag: de intersubjectiviteit en het debat.

Intersubjectiviteit verwijst naar de optie om meerdere beoordelaars eenzelfde dossier te laten beoordelen en dus te bouwen op een diversiteit aan perspectieven. In de beoordeling van kunst bestaan geen objectieve standaarden waaraan getoetst kan worden. Intersubjectiviteit maakt een legitiem oordeel mogelijk in een context waar objectiviteit geen haalbaar doel is. Elke stem is belangrijk in deze puzzel. Vandaar ook het belang van het voltallig zijn van een commissie bij elke vergadering.

Niet alleen worden meerdere beoordelaars uitgenodigd om hun evaluatie te maken van de aanvraagdossiers, deze beoordelaars gaan bovendien met elkaar in debat om tot een gemeenschappelijk eindoordeel te komen. Hun oordelen staan dus niet naast elkaar, maar ze moeten er samen in slagen om hun diverse perspectieven te verzoenen. Boven hadden we het over de verschillende kunstopvattingen, de verschillende keuzestijlen, de ruime bagage die elk individu meebrengt en de diverse posities die leden van commissies in het kunstenveld opnemen in hun dagelijks leven. Met een commissie van zeven tot maximaal elf mensen samen tot een gedragen oordeel moeten komen is soms erg moeilijk en zorgt voor botsingen. Maar deze uitwisseling tussen diverse individuen vormt de voornaamste basis voor de kwaliteit en legitimiteit van het systeem.

Het debat binnen een commissie brengt de individuele kennis en opvattingen van de leden samen. In dat groepsproces krijgen de beoordelingscriteria hun uiteindelijke invulling, krijgen de visies op de subsidiewaardigheid en prioriteit van aanvragen vorm, en wordt de balans gezocht tussen consistent en contextueel oordelen en tussen excellentie en diversiteit. In de optelsom van de oordelen over individuele dossiers verschijnt het ruimere plaatje van het kunstenlandschap waar de commissie voor staat en vanuit de collectieve visie op het kunstenlandschap krijgen de oordelen over individuele dossiers betekenis.

In de ontmoeting van de verschillende beoordelaars ligt nog een ander belangrijk element dat de kwaliteit van dit systeem bepaalt: de checks-and-balances. Leden van beoordelingscommissies werken niet alleen samen, ze houden elkaar ook in het oog en houden elkaar bij de les. Minder legitieme overwegingen of strategieën van de ene beoordelaar kunnen door de andere gezien en aangewezen worden met het oog op correctie. De voorzitters spelen een belangrijke controlerende rol, maar ook elk commissielid heeft zijn of haar verantwoordelijkheid in dit spel van checks-and-balances.

Debat blijkt ook cruciaal om vertrouwen te creëren. Faire beslissingen ontstaan wanneer een diverse groep experten de ruimte kunnen laten voor twijfel, onzekerheid, het zorgvuldig afwegen van een brede set van parameters en conflicterende ideeën over kwaliteit. Dit vertrouwen moet opgebouwd kunnen worden. Daarom is het zinvol om commissies de tijd te geven een eigen praktijk en common ground te ontwikkelen, i.e. voldoende vergaderingen te hebben als groep.

Mechanismen in beoordelingscommissies met peers

Met de keuze voor de principes van intersubjectiviteit en debat is gekozen voor een systeem dat bouwt op sociale interactie. Sociale interactie tussen mensen wordt altijd mee gestuurd door sociale omgangsregels. Naast de expliciete regels zoals die zijn neergeschreven in het draaiboek van de beoordeling, is er dus ook onvermijdelijk een kader van impliciete omgangsvormen. Michèle Lamont, professor sociologie aan Harvard, deed onderzoek naar typische spelregels en mechanismen die spelen in peer panels. Uit haar boek “How professors Think. Inside the Curious World of Academic Judgement”  uit 2009 (Harvard University Press) ontleen ik volgend overzicht (en ook enkele inzichten die al eerder in deze nota werden verwerkt). De mechanismen die zij beschrijft, komen uit Amerikaanse beoordelingscommissies uit de wetenschap, maar ze zijn erg gelijkaardig aan wat gebeurt in de Vlaamse beoordelingscommissies binnen de kunsten.

BIJ HET BEGIN VAN EEN RONDE: PERFORMING THE SELF

Eigen aan de eerste fase van samen vergaderen, wanneer de leden rond de tafel elkaar nog niet echt kennen, is dat de leden zich gaan positioneren en op verschillende manieren aan elkaar signaleren wat hun expertise en positie is. Dat betekent dat de leden en de commissie als geheel in het begin niet enkel gericht zijn op de dossiers, maar ook op zichzelf. Dossiers die helemaal aan het begin van een vergadertraject worden behandeld, krijgen daardoor mogelijk andere aandacht dan dossiers die op het eind komen.

VOORRANG GEVEN AAN EXPERTISE VERSUS IEDERS RECHT VAN SPREKEN

In hun argumentatie proberen commissieleden aan te geven op basis van welke ervaring of inzichten ze de autoriteit van hun argument bouwen. Ze bouwen aan “ownership“ over een bepaald expertisedomein. Commissieleden hebben de neiging elkaars expertisedomein te respecteren en zich minder fel uit te spreken wanneer iemand anders meer expert is (of lijkt te zijn) in het topic van discussie. Het vooropstellen van expertise is – in een systeem van kwaliteitsbeoordeling door experts/peers – an sich een prima principe, maar heeft een negatieve invloed als het de discussie en dus de intersubjectiviteit doodt. Het is nodig om te onthouden dat alle leden uit de commissie recht van spreken hebben en een zekere expertise hebben.

MACHTSVERHOUDINGEN

Aangezien de beoordelaars als peers uit het professionele kunstenveld komen, spelen de machtsverhoudingen uit het veld onvermijdelijk ook rond de commissietafel. Daarnaast zorgen verschillen in gender, leeftijd en etnisch-culturele afkomst ook mogelijk voor machtsverschillen in het debat. Deze ongelijke verhoudingen zijn niet uit te schakelen, maar moeten zoveel mogelijk gecorrigeerd. Streefdoel is gelijkwaardigheid in (recht van) spreken onder alle leden van een commissie.

AFFINITEITEN EN ALLIANTIES

Doorheen vergaderingen gaan commissieleden soms allianties aan om dossiers positief of negatief geëvalueerd te krijgen. Omdat er altijd toch bepaalde intellectuele, persoonlijke of artistieke affiniteiten bestaan tussen mensen en de interacties plaatsvinden tussen in principe onafhankelijke actoren, zijn allianties gebouwd op affiniteit niet illegitiem. Maar als ze resulteren in een systematische line-up, breekt dit op termijn mogelijk het spel van diversiteit en intersubjectiviteit.

STRATEGISCH EVALUEREN

Strategisch evalueren gaat over het aanpassen van het eigen oordeel, anticiperend op het oordeel van anderen. Commissieleden nemen met andere woorden niet enkel het voorliggende dossier an sich in beschouwing, maar ook de context waarin de evaluatie plaatsvindt, namelijk een competitie om schaarse middelen. Strategisch evalueren kan gaan in twee richtingen. High balloting staat voor het extra positief zijn over een dossier dat je zeker nog een poosje op de tafel wil houden, maar waarvan je verwacht dat anderen het snel zullen afwimpelen. Low balloting staat voor het lager inschalen van een dossier, terwijl je het eigenlijk hoog inschat. Dit laatste wordt als illegitiem beschouwd. Je ontneemt immers onterecht de kansen van dat dossier. High balloting zal maar effect hebben als verschillende andere beoordelaars dit dossier toch ook relatief hoog hadden ingeschat.

TYPISCHE ELEMENTEN AAN HET EINDE VAN DE RONDE

Niet elk dossier vraagt evenveel overleg. Doorgaans is er een stapeltje dossiers waarover de commissieleden het eens zijn dat ze goed en belangrijk zijn en een ander stapeltje waarover zich gauw de consensus vormt dat ze niet goed genoeg of onvoldoende belangrijk zijn. Over de groep dossiers die daartussen ligt, bestaat onenigheid en moet het sterkst worden gedebatteerd. In deze vaak moeilijke discussies duiken de expliciete gesprekken over de invulling en het relatieve belang van criteria het vaakst op, komen argumenten met betrekking tot diversiteit (versus kwaliteit as such) vaker aan bod en gaan commissieleden het vaakst strategisch evalueren.
Het is zinvol met deze vaststelling rekening te houden in de tijdsbesteding van een commissie. De richtlijnen uit het draaiboek met betrekking tot de tijdsbesteding per dossier kunnen gelden als richtinggevend, maar niet als dwingend.

Zoals eerder gesteld: dit soort impliciete spelregels en sociale mechanismen zijn onvermijdelijk en zijn dus niet ‘fout’. Wanneer men ze kan herkennen, kan men ze echter wel in goede banen leiden.

Tot slot: over kwaliteit en vertrouwen in het systeem

Het vertrouwen dat beoordelaars zelf hebben in het systeem heeft een grote invloed op hoe goed het werkt. Geloof in de legitimiteit van het systeem heeft een effect op individueel gedrag van de leden van de commissies en op hun begrip van wat correct gedrag is in het proces. Vertrouwen in het systeem leidt met andere woorden tot kwaliteit in het systeem. En dat leidt dan weer tot vertrouwen. En tot kwaliteit. Enzovoort. Het is aan alle leden en voorzitters om zich te engageren – voor elkaar, voor het systeem en voor de kunstenaars en organisaties in het kunstenveld – om hun taak met de nodige zorg op te nemen.