Beoordelen

1. Balanceren tussen afstand en nabijheid

Met de oproep om zorgzaam met elkaar om te gaan is fair practices al jaren een discussie in de kunstensector. Beoordelingsprocessen komen daarbij ook ter sprake. Beslissingen die niet gemotiveerd worden, bevestigen machtsverhoudingen, werpen drempels op en sluiten mensen uit. Wat maakt dat een beslissing wel als fair wordt ervaren?

Het is een gangbare opvatting dat keuzes maken in de kunsten niet kan op basis van objectieve criteria, zoals in veel andere maatschappelijke sectoren. Artistieke kwaliteiten, in het meervoud, zijn immers uitingen van verschillende waardekaders. (Bots) Deze vormen al eeuwen het debat onder kunstfilosofen over de beoordeling van kunstwerken. (Verheyen) Als een afgewerkt kunstwerk al tot uiteenlopende interpretaties leidt, hoe kan men dan een gefundeerde beslissing nemen over een artistieke visie of projectplan van een kunstenaar die daarmee de kans wil krijgen om een werk te realiseren?

1.1. Betekeniscreatie als proces

Wil dat dan zeggen dat alleen de persoonlijke, emotionele smaak van de beslisser de doorslag mag geven? Filosofen en sociologen hebben hier al grondig onderzoek naar gedaan. (Bots, Chong) Ze bekijken een beslissing als een proces van betekeniscreatie. Daarin spelen verschillende cognitieve en sociale elementen een rol. Als kwaliteitscriteria vooraf bepaald worden, kan persoonlijke smaak getransformeerd worden tot een meer algemeen oordeel. Het lijkt paradoxaal dat persoonlijke kennis, ervaring en motivatie in zo’n context leiden tot meer objectiviteit. Volstaat dat om een door anderen genomen beslissing als fair en legitiem te ervaren? Deze bijdrage zet vier verschillende strategieën voor het innemen en behouden van kritische afstand tijdens een beoordelingsproces op een rij.

Kwaliteitscriteria worden beïnvloed door het discours dat binnen een bepaalde kunstdiscipline heerst. Welke kennis over de kunsten wordt er ontwikkeld en gewaardeerd? Elke beoefenaar, elke groep ontwikkelt in de eigen praktijk artistieke kwaliteitscriteria en zoekt daarvoor erkenning bij kenners en liefhebbers. (Hertmans, Bots) Hierdoor kan zowel een toevoeging als een breuk met de bestaande artistieke logica tot stand komen. In de jaren 1980 daagden jonge choreografen in Vlaanderen het discours van de balletgeschiedenis uit. Op hun beurt kregen ze in de jaren 2000 kritiek van hiphopdansers.

Artistieke kwaliteitscriteria kunnen snel evolueren. De explicitering en de analyse ervan vragen echter tijd. Als een artistiek discours nog in ontwikkeling is, lijken smaakoordelen onvermijdelijk. (Keunen) Toch kan een keuze ook dan legitiem gemaakt worden. De voorwaarde is dat ze ontstaat binnen een transparante procedure. Daarin kunnen affectieve respons en artistieke voorkeur een plaats hebben naast rationele en sociale aspecten. Het komt erop aan het eigen sociale en culturele interpretatiekader te kennen en met die kennis een circulair proces aan te gaan. Door afwisselend afstand te nemen en betrokken te zijn, ontstaat een evenwichtig oordeel. (Chong)

1.2. Vier perspectieven

Bij het zoeken van dat evenwicht spelen verschillende perspectieven een rol. De eerste bekommernis is de keuze te behoeden voor storende invloeden. Die kunnen tweeërlei zijn. Een beoordelaar stelt zich de vraag of die persoonlijk iets te maken heeft met het voorstel dat ter beoordeling voorligt. Daarnaast kunnen invloeden van buitenaf impact hebben. De tweede zorg gaat eerst uit naar het richten van de aandacht op het te beoordelen voorstel zelf. De antwoorden van het voorstel op feitelijke en reflexieve vragen dragen bij aan de uiteindelijke beslissing. Deze vier elementen komen hier elk apart aan bod.

herkennen van belangenconflict

Voor iemand aan een beoordelingsproces begint is dit de eerste vraag: welke relatie is er tot het voorstel of de indiener, welke contacten zijn er in het verleden geweest? Die kunnen persoonlijk, professioneel of allebei zijn. Ook indirecte banden kunnen invloed uitoefenen, zelfs onbewust en zowel positief als negatief. (Dijksterhuis) In de kunstensector zijn informele contacten een snelle manier om de inspiratie te stimuleren, onderling informatie uit te wisselen en in vertrouwen kennis op te bouwen. Het nadeel is dat dit kan bijdragen aan een exclusieve ons-kent-ons-mentaliteit. Dan staat persoonlijke betrokkenheid een integer beoordelingsproces in de weg. De door Chong geïnterviewde literatuurcritici stellen dat een persoonlijk contact met een auteur voor hen een reden is om een boek niet te recenseren. Een veelgebruikte oplossing om subjectieve voorkeuren te neutraliseren is om beoordeling te vragen aan een groep experten. (Bots)

autonomie behouden

Om een autonoom standpunt in te nemen over een artistiek voorstel, wordt dit eerst gelezen en beoordeeld aan de hand van de kwaliteitscriteria. Zo worden invloeden van buitenaf in de eerste fase vermeden. De bijkomende informatie in een dossier kan daarna het eerste oordeel bevestigen, aanvullen of nuanceren. Een C.V. of portfolio geeft je informatie over het afgelegde traject en de opgebouwde ervaring. Het is tegelijk een lijst van beslissingen die werden genomen door andere professionals: critici, collega’s of concurrenten. Die opinies over voorgaand werk kunnen indirect en onbewust, positief of negatief, invloed uitoefenen in een beoordelingsproces.

kwaliteitscriteria als toetssteen gebruiken

Onderzoekers ontkennen niet dat artistieke keuzes deels instinctief en onbewust tot stand komen. Dat ontslaat degene die beslist niet van de verantwoordelijkheid om die emotionele respons met argumenten te onderbouwen. Het onder woorden brengen van onbewuste kennis vraagt een inspanning. (Dijksterhuis) Hierbij komen de vooraf bepaalde criteria te hulp. In een circulair proces toetst de beslisser ze aan de verschillende elementen in het dossier. In welke mate is er wel of niet aan voldaan en waarom? Tegelijk komt het eigen referentiekader opnieuw in beeld en de manier waarop het invloed uitoefent, waardoor het oordeel nog kan worden verfijnd.

reflexief lezen

Een beoordelaar bekijkt een voorstel dus vanuit verschillende standpunten. Naast het lezen, bekijken of beluisteren van de elementen in een dossier is er ook het nadenken erover. Zit de inhoud juist, klopt de vorm, passen de beoogde technieken bij de te realiseren doelen? Hoe haalbaar is een voorstel? Hoe is het oordeel tussen de eerste, subjectieve, kennismaking en de grondige herlezing geëvolueerd? Hierbij gebruikt de beoordelaar verschillende discursieve technieken om van een eerste indruk tot een beargumenteerd, intersubjectief, eindoordeel te komen.

Kortom: artistieke kwaliteiten beoordelen is een onzeker proces, omdat persoonlijke smaak moeilijk te vermijden is. Van programmatoren, curatoren, jury- of commissieleden verwacht een aanvrager of indiener een professioneel oordeel over een artistiek voorstel. Kritische afstand innemen is daarbij een effectieve aanpak die beoordelaars toelaat hun kennis in een oordeel tot uitdrukking te brengen. Het toepassen van de vier besproken elementen biedt ondersteuning aan de betekeniscreatie. Eerst beschermen beoordelaars hun keuze tegen verschillende storende invloeden. Dat helpt hen om de aandacht volledig te richten op het beoordelingsproces over de artistieke kwaliteiten van het voorstel. Daar vooraf én achteraf helder over communiceren, bevordert de aanvaarding van het eindoordeel.

1.3. Bronverwijzingen

Literatuur

2. Individuele en sociale aspecten van kwaliteitsbeoordeling in peer panels

Ter voorbereiding van de advisering over de aanvraagdossiers in het kader van het Kunstendecreet organiseerde de afdeling Kunsten van het Departement CJM in 2015 in samenwerking met Kunstenpunt een coachingstraject voor de voorzitters en de beoordelaars. Delphine Hesters gaf toen een presentatie over de individuele en sociale aspecten van beoordeling in peer panels die uitmondde in een nota. Dit is aangeraden lectuur voor alle professionals die oordelen over de artistieke kwaliteit van kunstpraktijken. Met toestemming van de auteur hebben we waar nodig haar werk geactualiseerd.

2. 1. Introductie

Het Kunstendecreet (met memorie van toelichting) en Besluit van de Vlaamse Regering omschrijven de procedures die subsidiedossiers doorlopen, het principe van de pool van experten en de beoordelingscriteria die ingezet worden bij de kwaliteitsbeoordeling. Een draaiboek, geschreven in samenwerking met de Adviescommissie Kunsten, werkt het beoordelingsproces voor verschillende subsidie-instrumenten meer gedetailleerd uit en geeft een aantal werkafspraken weer. De Strategische Visienota van de Minister van Cultuur presenteert bovendien een inhoudelijk kader voor de beoordeling. Daarmee zijn de regels en afspraken over het verloop van de kwaliteitsbeoordeling in het Kunstendecreet duidelijk uitgetekend en neergeschreven. En toch bepalen ze maar voor een deel het werkelijke verloop van de het beoordelingsproces.

Naast de genoemde expliciete regels, spelen altijd ook impliciete regels, bepaald door de sociale interactie in beoordelingspanels. Het gaat om impliciete afspraken of omgangsvormen die zich installeren wanneer mensen moeten samenwerken om tot een uitkomst te komen. Ook heeft elke individuele beoordelaar zijn of haar eigenheden en bagage die een rol gaan spelen in de beoordeling – bij de individuele lectuur en evaluatie van dossiers en in de interactie rond de commissietafel.

Het is belangrijk om te beseffen dat deze individuele en sociale aspecten niet uit te schakelen vallen. Ze zijn geen fout in het systeem die weggewerkt moet worden. Wel zijn het elementen waar bewust en met zorg mee moet worden omgesprongen. Het uitgangspunt van deze nota is dan ook het volgende: beter inzicht in de impliciete individuele en sociale processen die spelen tijdens het beoordelingsproces geeft de mogelijkheid om zelfbewuster en zorgvuldiger om te gaan met de rol die men als beoordelaar opneemt (als individu) en om elk lid van de beoordelingscommissie zijn of haar rol te laten spelen (als groep) en dus de intersubjectiviteit rond de tafel optimaal te laten spelen. Het vormt met andere woorden een belangrijke basis voor de kwaliteit van de kwaliteitsbeoordeling. Het observeren en bewaken van deze processen is een belangrijke taak van de voorzitters van de commissies, maar ligt ook in handen van elk individueel lid.

2.2. Individuele bagage

Opvattingen over kunst

Elke beoordelaar in de pool van het Kunstendecreet is op een of andere manier actief betrokken bij de kunsten en heeft dan ook een – vaak impliciete – opvatting over wat geldt als kunst en wat niet. Deze opvattingen hangen samen met visies op wat subsidiabel is en wat niet. De Vlaamse overheid heeft uiteraard haar eigen logica die de wetgeving schraagt en opvattingen over wat voor praktijken of kunstuitingen subsidiabel zijn onder het Kunstendecreet, maar ook deze officiële opvattingen blijven in hoofdzaak impliciet. Daarom zal de discussie over wat wel of niet onder het decreet past onvermijdelijk ook via concrete dossiers bij de beoordelaars op tafel komen.

De discussie over wat kunst is en wat niet is sinds de moderniteit een belangrijke discussie binnen het kunstenveld. Ze staat op scherp daar waar de nieuwe ontwikkelingen in het kunstenveld plaatsvinden en waar de bruggen met andere sectoren (bv. het onderwijs, de wetenschap, bedrijven, de sociale sector) worden opgezocht. Het is daarom belangrijk dat de beoordelaars deze discussie ter harte nemen en bewust aangaan. Bij druk op de middelen voor de kunsten mag men niet te gauw in de verleiding komen om deze ‘randgevallen’ buiten de zone van het decreet te plaatsen en zo de druk op de subsidiepot wat te verlichten. Ze zijn immers mogelijk van groot belang voor de ontwikkeling van de kunsten zelf.

Ook binnen wat we collectief beschouwen als kunst en als subsidiabel onder het Kunstendecreet, zijn diverse opvattingen mogelijk over wat meer en wat minder belangrijk of prioritair is. Volgende stellingen geven enkele verschillende standpunten weer over waarvoor het Kunstendecreet in de eerste plaats dient. Ze zijn niet noodzakelijk met elkaar in tegenspraak, maar bij beperkte middelen zal de discussie oplaaien over wat prioritair is.

• “Het Kunstendecreet is er in de eerste plaats om artistieke vernieuwing mogelijk te maken.”
• “Het Kunstendecreet moet de diverse uitingen van kunst kunnen herbergen: van traditioneel tot experiment en vernieuwing, al wat kwaliteit heeft.”
• “Subsidies zijn er voor kunstuitingen die niet door de markt gedragen kunnen worden.”
• “Populaire cultuur hoort niet thuis onder het Kunstendecreet. Het decreet is er immers om mogelijk te maken wat niche en specialistisch is.”

Wanneer we, als sectorspelers, als steunpunt of als overheid samen stellen dat we het belangrijk vinden dat er een ‘rijk en gelaagd kunstenlandschap’ is in Vlaanderen, waar staat dat dan eigenlijk voor? Hoe breed en divers willen we daarin gaan?

Keuzestijlen en -vaardigheden

Mensen hebben hun eigen manieren om tot beslissingen te komen; ze hebben verschillende soorten keuzevoorkeuren of -stijlen. Elk van ons hanteert verschillende stijlen op verschillende momenten en in verschillende situaties, maar elk individu heeft bepaalde stijlen of voorkeuren die meer prominent zijn. Hieronder een lijstje van verschillende keuzestijlen en hun kenmerken:

De logisch-rationele kiezer

• Beslist logisch, verstandig, gestructureerd en met redelijke argumenten, heeft oog voor feiten en details
• Kan goed het waarom van een beslissing uitleggen

De emotionele kiezer

• Beslist op basis van gevoelens, ingevingen en waarden, heeft oog voor de sfeer
• Laat gevoel meer doorwegen dan argumenten

De impulsieve kiezer

• Beslist spontaan, daadkrachtig, snel en zonder stress, op basis van de impuls van het moment
• Houdt van actie, plezier, avontuur, risico, heeft lef

De uitstellende kiezer

• Beslist weldoordacht en neemt daarvoor tijd
• Liever niet kiezen dan fout kiezen

De eigenzinnige kiezer

• Kiest zelfverzekerd, vol overtuiging, origineel, zelfstandig, onafhankelijk. Weet wat hij/zij wil en gaat daar ook voor
• Is trouw aan zichzelf, authentiek, heeft vaak een groot besef van verantwoordelijkheid en van de maakbaarheid van de werkelijkheid

De meegaande kiezer

• Kiest sociaal, betrokken, flexibel, past zich gemakkelijk aan
• Vermijdt conflicten, wil er graag bijhoren

De intuïtieve kiezer

• Doet beroep op een diepere bron van weten die onmiddellijk komt opzetten zodra de keuzemogelijkheid zich aandient
• Kiest rustig en is tevreden met de beslissing, maar kan de keuze moeilijk verwoorden

In onze huidige samenleving, en a fortiori in professionele contexten, is de logisch-rationele keuzestijl de norm. De kwaliteitsbeoordeling onder het Kunstendecreet vraagt om een duidelijke argumentatie over waarom een subsidieaanvraag positief of negatief geadviseerd wordt. Logisch-rationele kiezers zullen het makkelijker hebben om hun positie te argumenteren en halen zo mogelijk de bovenhand in discussies. Wie functioneert volgens een andere keuzestijl heeft het mogelijk moeilijker om zijn of haar keuze te onderbouwen. Dat wil echter niet zeggen dat die keuze minder legitiem zou zijn. Een belangrijk collectief werk in commissies zal erin bestaan om elk van de commissieleden de kans te geven om zijn of haar voorkeuren te expliciteren en om vervolgens samen tot een gedeeld begrip te komen.

Kennis en expertise

Het beoordelingssysteem van het Kunstendecreet is gebouwd op peer review. Mensen uit het professionele veld (of met een sterke band met dat veld) treden als experts op in de kwaliteitsbeoordeling. Officieel is de expertise van de beoordelaars getypeerd op basis van hun kennis in relatie tot de disciplines en functies. Iedereen heeft echter meer bagage aan relevante kennis of expertise die mee ingezet wordt in de beoordeling, onder andere met betrekking tot het artistieke, beleid, zaakvoering, communicatie, productieprocessen, interculturaliteit, duurzaamheid, enz.
Beoordelaars zijn experts. De legitimiteit van het feit dat ze de rol als beoordelaar opnemen ligt in hun aantoonbare expertise. Toch zijn er enkele valkuilen verbonden aan het idee van ‘expert zijn’. Drie op een rij:

• Als experts specialisten zijn, zijn de beste experts dan ook de besten in hun vakgebied? En betekent dit dat hun eigen niveau van expertise meteen ook de norm stelt voor het niveau dat de indieners moeten halen om een positieve beoordeling te krijgen van deze expert? Indien dat het geval zou zijn, zouden zeer weinig spelers uit het eigen expertisedomein een positieve beoordeling halen en dus kans maken op subsidies. Zo haalt dit type expert het eigen domein leeg.

• Veel beoordelaars hebben de neiging strenger te zijn voor indieners uit hun eigen discipline dan voor anderen, op basis van hun grote kennis. Hoe beter men thuis is in een bepaald expertiseveld, hoe scherper men kan kijken, hoe strenger men kan zijn en hoe meer men durft oordelen. Ook hieruit vloeit voort dat de sterkste experts mogelijk degenen zijn die voor hun eigen domein de deuren dreigen te sluiten.

• Een derde tendens die speelt is die van homofilie, i.e. de neiging – die we allen hebben – om goed te vinden wat lijkt op onszelf. Ook al ben je er van overtuigd dat je oordeel een zuiver, oprecht kwaliteitsoordeel is op basis van kennis en expertise, dan nog zijn je kijk en opvattingen altijd gesitueerd in je eigen praktijk. De homofilie kan op verschillende niveaus spelen, onder andere met betrekking tot types organisaties, artistieke stijlen, generaties enz. Dit mechanisme vormt een belangrijke basis voor de conservatieve reflex die beoordelingscommissies wel eens wordt toegedicht. De uitkomsten van een beoordelingsproces hebben op basis van homofilie de neiging om in zekere mate een reproductie te zijn van het profiel van de beoordelingscommissie zelf. Commissies zijn dan weer doorgaans samengesteld uit (mensen die werken bij) centrale spelers uit het kunstenveld, meer ervaren organisaties met een zekere positie in het veld. Wanneer dat het geval is, is het resultaat dus een zekere reproductie van de verhoudingen in het al bestaande, gevestigde veld.

De autoriteit van experts binnen een commissie en binnen het systeem als geheel gaat voor een goed deel terug op hun professionele track record, hun kennis en expertise in het domein dat ze beoordelen. Of men een goeie beoordelaar is hangt echter ook sterk af van de manier waarop die expertise ingezet wordt in het commissiewerk, van hoe men zich gedraagt. Onderzoek bij peer panels in kwaliteitsbeoordeling binnen wetenschappelijke subsidiesystemen (die erg gelijkaardige mechanismen vertonen als die m.b.t. kunsten) toonde dat een goeie expert-als-beoordelaar vooral ook in staat is om voorbij zijn of haar eigen expertisedomein te kijken.

Motivatie en attitudes in beoordelen

Elke beoordelaar heeft een bepaalde motivatie om de rol van beoordelaar op te nemen. Sommige beoordelaars willen vooral veel leren – over hoe andere spelers in het veld hun organisatie vormgeven, over wat goede en slechte dossiers zijn, over hoe discussiëren over artistieke kwaliteit, over het kunstenbeleid enz. Andere beoordelaars willen vooral beïnvloeden, hun stempel kunnen drukken op het beleid en op de sector. Nog anderen zien het vooral als een verantwoordelijkheid. De beoordeling in het Kunstendecreet is gebouwd op peerreview, dus het is aan de professionals uit het veld om elk op hun beurt die rol op te nemen. Welke ook je motivatie is om als beoordelaar op te treden, je zit hoe dan ook in een machtspositie. Die kan je niet ontlopen en moet je dus met het nodige verantwoordelijkheidsgevoel en de nodige bescheidenheid opnemen.

‘Beoordelen’ kan gebeuren vanuit erg verschillende attitudes of houdingen. Die verschillende attitudes leiden dan weer tot erg verschillende beoordelingen. Verwante woorden illustreren hoezeer de toon kan verschillen: bv. ‘bekritiseren’, ‘evalueren’, ‘waarderen’, ‘naar waarde schatten’. Men kan vooral focussen op het goede en de positieve aspecten stimuleren, of net focussen op het negatieve en ‘afstraffen’.

Om de juiste toon te vinden en de juiste attitude aan te nemen, is het van belang altijd de rol van de beoordelaars in het beoordelingssysteem voor ogen te houden: de beoordelingscommissies formuleren een voorstel van beslissing aan de minister over welke werkingen, projecten of kunstenaars een waardevolle en belangrijke bijdrage leveren aan de kunsten, in het licht van het ruimere landschap. Beoordelaars communiceren dus met de minister, niet met de organisaties of kunstenaars die hun dossier indienen. Adviezen dienen dus niet om kritiek te uiten op of feedback te geven aan indieners. Wel om bij de minister aan te dragen welke organisaties en kunstenaars deel zouden moeten kunnen uitmaken van het kunstenveld van de komende jaren.

Als round-up van bovenstaande inzichten, volgende typering van ‘de goede beoordelaar’ in peer panels en van een wenselijke basishouding voor beoordelaars in de lectuur en evaluatie van dossiers.

PROFIEL VAN DE GOEDE BEOORDELAAR IN EEN BEOORDELINGSCOMMISSIE

• Expertise, ervaring en/of kennis van zaken hebben.
• Goed voorbereid naar vergaderingen komen en bereid en paraat zijn om dossiers te bespreken.
• To the point zijn in vergaderingen. Niet te lang spreken, niet te traag en geen onnodige uitweidingen maken.
• Respect tonen voor andermans expertise en gevoeligheden. Luisterbereid zijn en collegiaal. Evalueren is zich kwetsbaar opstellen. Omgaan met elkaars kwetsbaarheid, doorheen onenigheid, vraagt hoffelijkheid.
• Zich willen laten beïnvloeden.
• Zowel specifieke expertise als een brede blik tentoonspreiden. De capaciteit tonen om voorbij de grenzen van het eigen expertiseveld te spreken, zich te articuleren buiten de specifieke eigen expertise.

NA TE STREVEN BASISHOUDING VAN DE BEOORDELAAR

• Stap met principieel vertrouwen in een dossier. Los van reeds bestaande beelden of vooroordelen.
• Kijk vanuit de premissen van de aanvrager en niet vanuit de eigen opvattingen.
• Leg creatieve verbeelding aan de dag. Probeer zoveel mogelijk te verbeelden wat de plannen, neergeschreven in de dossiers, kunnen betekenen in werkelijkheid.
• Stel je oordeel uit. Probeer eerst te lezen zonder kritisch oordeel, met creatieve verbeelding lezend vanuit de premissen van de aanvrager. En stel pas in tweede instantie (bvb. bij een tweede lezing) kritische vragen.
• Wik en weeg de diverse elementen van het dossier.
• Focus op beoordelen als ‘waarderen’. Schat plannen naar waarde.
• Wees bescheiden. Elke indiener is expert in zijn of haar eigen praktijk en werkt met hart en ziel.
• Wees zelfkritisch: Hoe kijk ik? Welke kennis of ervaring zet ik in bij mijn oordeel? Met welke voor-oordelen kijk ik naar dit dossier? Enz.

2.3. Intermezzo: spanningsveld tussen gelijkberechtiging en maatwerk

De beoordelaars van het Kunstendecreet hebben de opdracht individuele aanvraagdossiers te toetsen aan de beoordelingscriteria. Een fundamenteel principe daarbij – gegeven dat we in een rechtstaat leven – is dat elk dossier een gelijke behandeling moet krijgen, dus op een gelijke manier aan dezelfde set criteria wordt getoetst. Dit is het principe van de gelijkberechtiging. En toch vraagt elk dossier een vorm van maatwerk en dus van geïndividualiseerde behandeling. Dossiers beoordelen betekent dan ook altijd werken binnen het spanningsveld tussen gelijkberechtiging en maatwerk. Door dat spanningsveld lopen twee assen.

Consistent versus contextueel oordelen

Gelijkberechtiging vraagt om het consistent toepassen van de beoordelingscriteria op elk dossier; dat elk van de criteria telkens wordt ingezet en dat ze op een gelijkaardige manier worden ingevuld of geijkt. Anderzijds vraagt elk dossier dat de plannen gelezen en geëvalueerd worden vanuit de eigen uitgangspunten, waardenkader en ambities. De beoordeling moet met andere woorden contextueel gebeuren. Wat bijvoorbeeld een kwaliteitsvolle manier van samenwerken is en met welk soort partners, hangt af van de individuele organisatie die haar plannen indient en van de concrete plannen zelf. Of internationaliseren betekenisvol is voor het traject van een kunstenaar en op welke manier dat het beste gebeurt, moet ook case per case worden bekeken (cf. ‘landelijke en/of internationale uitstraling’). In die zin is een uniforme toepassing van de criteria, met een uniforme invulling van wat – in deze voorbeelden – kwalitatieve samenwerkingen of internationale praktijken zijn, onwenselijk.

Excellentie versus diversiteit

De beoordeling in het Kunstendecreet is een kwaliteitsbeoordeling. Wie de meeste artistieke kwaliteit biedt, moet de grootste kans maken op subsidies. (Dit mag dan een evidentie lijken, een vergelijking met andere Vlaamse cultuurdecreten of buitenlandse regelgeving met betrekking tot de kunsten laat zien dat het dat niet is). Kwaliteit staat voorop en toch is het ook wenselijk dit uitgangspunt niet absoluut te nemen. De reden daarvoor is dat de indieners niet opereren in een vacuüm, maar dat hun praktijk deel uitmaakt van een ruimer kunstenlandschap. Welke rol ze innemen in dat kunstenlandschap, is dus altijd een element om mee te nemen in de beoordeling van aanvraagdossiers. Sleutelwoord in deze is de diversiteit van het landschap. Diversiteit kent verschillende vormen. Het kan gaan om het belang van het stimuleren van de diverse stromingen binnen de artistieke disciplines en om het garanderen van voldoende spelers in de diverse schakels van de waardenketen van de kunsten. Maar diversiteit gaat ook over vernieuwing. Willen we voldoende instroom mogelijk maken, is het nodig om jonge beloftevolle spelers op een andere manier te bekijken dan gevestigde waarden die wel al een volledig professionaliseringstraject hebben kunnen doorlopen, vaak dankzij subsidies. Ook het realiseren van meer diversiteit in termen van etnisch-culturele achtergronden of invloeden vraagt soms om het belang van een “rijkgeschakeerd landschap” voorop te plaatsen en niet de pure excellentie.

Gelijkberechtiging is een grondrecht in een democratische samenleving en moet dus absoluut gerespecteerd worden. Maatwerk is echter ook nodig om diverse spelers een kans te geven om zich te ontwikkelen en om een rijk kunstenlandschap mogelijk te maken. Daarom is het belangrijk te zorgen voor een gelijkwaardige, eerder dan voor een uniforme behandeling.

2.4. Sociale interactie in beoordelingscommissies

Intersubjectiviteit en debat

Bij het herschrijven van het Kunstendecreet is er gekozen om niet te raken aan twee van de belangrijkste fundamenten van het beoordelingssysteem in het Vlaamse kunstenbeleid sinds jaar en dag: de intersubjectiviteit en het debat.

Intersubjectiviteit verwijst naar de optie om meerdere beoordelaars eenzelfde dossier te laten beoordelen en dus te bouwen op een diversiteit aan perspectieven. In de beoordeling van kunst bestaan geen objectieve standaarden waaraan getoetst kan worden. Intersubjectiviteit maakt een legitiem oordeel mogelijk in een context waar objectiviteit geen haalbaar doel is. Elke stem is belangrijk in deze puzzel. Vandaar ook het belang van het voltallig zijn van een commissie bij elke vergadering.

Niet alleen worden meerdere beoordelaars uitgenodigd om hun evaluatie te maken van de aanvraagdossiers, deze beoordelaars gaan bovendien met elkaar in debat om tot een gemeenschappelijk eindoordeel te komen. Hun oordelen staan dus niet naast elkaar, maar ze moeten er samen in slagen om hun diverse perspectieven te verzoenen. Boven hadden we het over de verschillende kunstopvattingen, de verschillende keuzestijlen, de ruime bagage die elk individu meebrengt en de diverse posities die leden van commissies in het kunstenveld opnemen in hun dagelijks leven. Met een commissie van zeven tot maximaal elf mensen samen tot een gedragen oordeel moeten komen is soms erg moeilijk en zorgt voor botsingen. Maar deze uitwisseling tussen diverse individuen vormt de voornaamste basis voor de kwaliteit en legitimiteit van het systeem.

Het debat binnen een commissie brengt de individuele kennis en opvattingen van de leden samen. In dat groepsproces krijgen de beoordelingscriteria hun uiteindelijke invulling, krijgen de visies op de subsidiewaardigheid en prioriteit van aanvragen vorm, en wordt de balans gezocht tussen consistent en contextueel oordelen en tussen excellentie en diversiteit. In de optelsom van de oordelen over individuele dossiers verschijnt het ruimere plaatje van het kunstenlandschap waar de commissie voor staat en vanuit de collectieve visie op het kunstenlandschap krijgen de oordelen over individuele dossiers betekenis.

In de ontmoeting van de verschillende beoordelaars ligt nog een ander belangrijk element dat de kwaliteit van dit systeem bepaalt: de checks-and-balances. Leden van beoordelingscommissies werken niet alleen samen, ze houden elkaar ook in het oog en houden elkaar bij de les. Minder legitieme overwegingen of strategieën van de ene beoordelaar kunnen door de andere gezien en aangewezen worden met het oog op correctie. De voorzitters spelen een belangrijke controlerende rol, maar ook elk commissielid heeft zijn of haar verantwoordelijkheid in dit spel van checks-and-balances.

Debat blijkt ook cruciaal om vertrouwen te creëren. Faire beslissingen ontstaan wanneer een diverse groep experten de ruimte kunnen laten voor twijfel, onzekerheid, het zorgvuldig afwegen van een brede set van parameters en conflicterende ideeën over kwaliteit. Dit vertrouwen moet opgebouwd kunnen worden. Daarom is het zinvol om commissies de tijd te geven een eigen praktijk en common ground te ontwikkelen, i.e. voldoende vergaderingen te hebben als groep.

Mechanismen in beoordelingscommissies met peers

Met de keuze voor de principes van intersubjectiviteit en debat is gekozen voor een systeem dat bouwt op sociale interactie. Sociale interactie tussen mensen wordt altijd mee gestuurd door sociale omgangsregels. Naast de expliciete regels zoals die zijn neergeschreven in het draaiboek van de beoordeling, is er dus ook onvermijdelijk een kader van impliciete omgangsvormen. Michèle Lamont, professor sociologie aan Harvard, deed onderzoek naar typische spelregels en mechanismen die spelen in peer panels. Uit haar boek “How professors Think. Inside the Curious World of Academic Judgement”  uit 2009 (Harvard University Press) ontleen ik volgend overzicht (en ook enkele inzichten die al eerder in deze nota werden verwerkt). De mechanismen die zij beschrijft, komen uit Amerikaanse beoordelingscommissies uit de wetenschap, maar ze zijn erg gelijkaardig aan wat gebeurt in de Vlaamse beoordelingscommissies binnen de kunsten.

BIJ HET BEGIN VAN EEN RONDE: PERFORMING THE SELF

Eigen aan de eerste fase van samen vergaderen, wanneer de leden rond de tafel elkaar nog niet echt kennen, is dat de leden zich gaan positioneren en op verschillende manieren aan elkaar signaleren wat hun expertise en positie is. Dat betekent dat de leden en de commissie als geheel in het begin niet enkel gericht zijn op de dossiers, maar ook op zichzelf. Dossiers die helemaal aan het begin van een vergadertraject worden behandeld, krijgen daardoor mogelijk andere aandacht dan dossiers die op het eind komen.

VOORRANG GEVEN AAN EXPERTISE VERSUS IEDERS RECHT VAN SPREKEN

In hun argumentatie proberen commissieleden aan te geven op basis van welke ervaring of inzichten ze de autoriteit van hun argument bouwen. Ze bouwen aan “ownership“ over een bepaald expertisedomein. Commissieleden hebben de neiging elkaars expertisedomein te respecteren en zich minder fel uit te spreken wanneer iemand anders meer expert is (of lijkt te zijn) in het topic van discussie. Het vooropstellen van expertise is – in een systeem van kwaliteitsbeoordeling door experts/peers – an sich een prima principe, maar heeft een negatieve invloed als het de discussie en dus de intersubjectiviteit doodt. Het is nodig om te onthouden dat alle leden uit de commissie recht van spreken hebben en een zekere expertise hebben.

MACHTSVERHOUDINGEN

Aangezien de beoordelaars als peers uit het professionele kunstenveld komen, spelen de machtsverhoudingen uit het veld onvermijdelijk ook rond de commissietafel. Daarnaast zorgen verschillen in gender, leeftijd en etnisch-culturele afkomst ook mogelijk voor machtsverschillen in het debat. Deze ongelijke verhoudingen zijn niet uit te schakelen, maar moeten zoveel mogelijk gecorrigeerd. Streefdoel is gelijkwaardigheid in (recht van) spreken onder alle leden van een commissie.

AFFINITEITEN EN ALLIANTIES

Doorheen vergaderingen gaan commissieleden soms allianties aan om dossiers positief of negatief geëvalueerd te krijgen. Omdat er altijd toch bepaalde intellectuele, persoonlijke of artistieke affiniteiten bestaan tussen mensen en de interacties plaatsvinden tussen in principe onafhankelijke actoren, zijn allianties gebouwd op affiniteit niet illegitiem. Maar als ze resulteren in een systematische line-up, breekt dit op termijn mogelijk het spel van diversiteit en intersubjectiviteit.

STRATEGISCH EVALUEREN

Strategisch evalueren gaat over het aanpassen van het eigen oordeel, anticiperend op het oordeel van anderen. Commissieleden nemen met andere woorden niet enkel het voorliggende dossier an sich in beschouwing, maar ook de context waarin de evaluatie plaatsvindt, namelijk een competitie om schaarse middelen. Strategisch evalueren kan gaan in twee richtingen. High balloting staat voor het extra positief zijn over een dossier dat je zeker nog een poosje op de tafel wil houden, maar waarvan je verwacht dat anderen het snel zullen afwimpelen. Low balloting staat voor het lager inschalen van een dossier, terwijl je het eigenlijk hoog inschat. Dit laatste wordt als illegitiem beschouwd. Je ontneemt immers onterecht de kansen van dat dossier. High balloting zal maar effect hebben als verschillende andere beoordelaars dit dossier toch ook relatief hoog hadden ingeschat.

TYPISCHE ELEMENTEN AAN HET EINDE VAN DE RONDE

Niet elk dossier vraagt evenveel overleg. Doorgaans is er een stapeltje dossiers waarover de commissieleden het eens zijn dat ze goed en belangrijk zijn en een ander stapeltje waarover zich gauw de consensus vormt dat ze niet goed genoeg of onvoldoende belangrijk zijn. Over de groep dossiers die daartussen ligt, bestaat onenigheid en moet het sterkst worden gedebatteerd. In deze vaak moeilijke discussies duiken de expliciete gesprekken over de invulling en het relatieve belang van criteria het vaakst op, komen argumenten met betrekking tot diversiteit (versus kwaliteit as such) vaker aan bod en gaan commissieleden het vaakst strategisch evalueren.
Het is zinvol met deze vaststelling rekening te houden in de tijdsbesteding van een commissie. De richtlijnen uit het draaiboek met betrekking tot de tijdsbesteding per dossier kunnen gelden als richtinggevend, maar niet als dwingend.

Tot slot: over kwaliteit en vertrouwen in het systeem

De hierboven geschetste (impliciete) spelregels en sociale mechanismen zijn onvermijdelijk en dus niet ‘fout’. Wanneer men ze kan herkennen, kan men ze wel in goede banen leiden. Het vertrouwen dat beoordelaars zelf hebben in het systeem heeft een grote invloed op hoe goed het werkt. Geloof in de legitimiteit van het systeem heeft een effect op individueel gedrag van de leden van de commissies en op hun begrip van wat correct gedrag is in het proces. Vertrouwen in het systeem leidt met andere woorden tot kwaliteit in het systeem. En dat leidt dan weer tot vertrouwen. En tot kwaliteit. Enzovoort. Het is aan alle leden en voorzitters om zich te engageren – voor elkaar, voor het systeem en voor de kunstenaars en organisaties in het kunstenveld – om hun taak met de nodige zorg op te nemen.

2.5. Bronverwijzingen

Literatuur

Referenties

Bekijk een overzicht van relevante literatuur via onze Zotero bibliotheek.