Alles is relatief, of: een korte en snelle blik op het jury-oordeel van de slushronde

[First draft] Met Edge.Zero volgen we een drie-stappenproces in de keuze van de verhalen die uiteindelijk door/op Edge.Zero gepubliceerd gaan worden.

In elke ronde wordt elk verhaal beoordeeld op een aantal vooraf bepaalde criteria. Voor ronde één waren dat:

  1. Edgyness — Heeft het verhaal –in de ogen van de juryleden– iets dat “edgy” genoemd kan worden?
  2. Frisheid — Past het verhaal bij “anno nu”? of meer bij 1951?
  3. Eigen stem — Laat de schrijver een eigen stem horen? Is er eigenheid te lezen in het verhaal?
  4. Leeservaring — Nodigde de eerste drie bladzijden van het verhaal uit naar meer?
  5. Direct publiceerbaar — Is het (op basis van die 3 eerste bladzijden) volgens de jury direct publiceerbaar?
  6. Geschikt voor Edge.Zero — Past het bij wat Edge.Zero voortstaat?

Tot mijn grote verrassing waren bij een aantal verhalen de meningen soms totaal tegenstrijdig.

Waar jurylid A op vrijwel alles bij verhaal X een “ja” of “bijna” stemde, kon datzelfde verhaal door jurylid B en C op elke categorie een “nee” krijgen.

 

Mijn eigen ervaring

Relatief laat in de eerste ronde, heb ik (op verzoek van mede-oprichter Mike Jansen) gestemd op de verhalen die door juryleden waren geschreven. Ik had verder (als mede-oprichter van Edge.Zero) volledig inzicht in alle stemmen die werden uitgebracht.

Dat gaf me twee inzichten:

  1. Mijn smaak staat soms lijnrecht tegen dat van andere juryleden.
  2. Die smaak-voorkeur is ook terug te zien in wat we schrijven en in de scores die we aan elkaars verhalen hebben gegeven.

Uiteraard heb ik gekeken naar consistentie in die stemmen. En voor zover ik kon zien was er geen duidelijk bewijs van “wederzijdse wraak”. Het komt simpel en heel banaal gezegd in de meest extreme gevallen neer op: “jij vind mijn favoriete muziek saai of kut en ik voel hetzelfde voor jouw muziek”.

 

Kan dat wel?

Er bestaat het idee dat een jury onpartijdig moet zijn. En volledig volgens objectieve maatstaven moet beoordelen.

Ik denk dat dat niet mogelijk is. Zeker binnen deze eerste ronde, waarin we nog niet naar techniek kijken, waarin de eerste indruk telt. Waarin het gevoelsmatige oordeel voorop staat. “Is dit verhaal volgens jou..?”

Ik denk verder dat dat goed is. Meer mensen, meer smaken.

En ik denk dat Mike Jansen daarin een goede inschatting heeft gemaakt, door te streven naar een jury van 10 mensen.

Wat je nu in de longlist ziet, zijn verhalen die door een aantal juryleden (soms volledig) zijn afgeschoten, bij een aantal andere juryleden (soms heel) goed scoorden en die bij een derde groep op de rand hing tussen “ja” en “nee”.

Dit gaf elk verhaal een kans.

Wat ik verder zie is dat van de schrijvers die 2 of meer verhalen instuurden, veelal het “meer overtuigende verhaal” hogere punten scoort dan het verhaal dat “minder overtuigend” is.

 

 

Had de uitkomst anders kunnen zijn?

Mogelijk wel. Mogelijk ook niet. (Zie beneden voor drie voorbeelden met een alternatieve jurysamenstelling en de daadwerkelijk gegeven scores op 14 verhalen).

Ding is: zo werkt dit. De smaak van de jury bepaalt. De samenstelling van die jury bepaalt. Wie wie kent, bepaalt (Ook al willen we dat heel graag ontkennen.)

 

Tegenstrijdigheden zichtbaar gemaakt

Hieronder zie je drie lijsten:

  1. De verhalen die de hoogste gemiddelden haalden
  2. De verhalen die in het midden zitten
  3. De verhalen die onderaan eindigden.

Let vooral op de blauwe en lichtblauwe vlakjes.

Voor je begrip, de jury had per categorie 3 keuzes: “voldoet wel, voldoet niet, voldoet bijna

  1. Lichtblauw — De jury is het oneens, maar stemde “wel”, “niet” óf “bijna”. Een milde controversie.
  2. Donkerblauw — De jury stemde “ja” óf “nee”. Niemand stemde “bijna”. Een sterke controversie.
  3. Geel en wit — De jury stemde “bijna” en een “ja” of een “nee”. Er is geen controversie in de stemmen.

scores_totaal_hoog

Je ziet in deze lijst dat voor elk verhaal in de top een milde controversie was. Sommige juryleden stemden “nee”, anderen “ja” en weer anderen “bijna”

Bij verhalen #049, #072, #109 en #084 is per verhaal sprake van een situatie waarin de juryleden het verhaal op die categorie ofwel helemaal top vonden, ofwel helemaal niets. (donkerblauw).

Middengebied:

midden

In het middengebied is er voor elk van de verhalen sprake van tegenstrijdige meningen. Sommige juryleden vonden het niets, sommigen vonden dat een verhaal bijna voldeed en anderen dat dat verhaal helemaal voldeed aan de eisen.

Onderste regionen:

onderaan

Kijken we naar de onderkant van de lijst, dan vinden we het bovenstaande plaatje.

Ook daar is controverse. Sommige juryleden stemden volmondig “ja” op een bepaalde categorie, terwijl anderen een “bijna” of een “nee” gaven.

 

Wat kunnen we uit deze scores halen?

Juryleden zijn het (behoorlijk) oneens met elkaar.

Maar deze algemene lijst geeft te weinig inzicht in diepere vragen.

 

Kan de jurysamenstelling de uitkomst bepalen?

Ons vermoeden was: ja. Daarom streefden we naar 10 juryleden in de slushronde.

Mijn conclusie met de cijfers tot nu toe is: “Ja. Inderdaad. De samenstelling van de jury kan (soms zeer drastisch) de uitkomst van een selectie bepalen.”

scores0

Dit is een totaaloverzicht van stemmen voor 14 verhalen, door alle juryleden inclusief ikzelf (X). Groen is: “voldoende punten om door te gaan”. Geel is: “onvoldoende punten om door te gaan”. Wit is: “geen stem” of: “ben ik vergeten te markeren”.

De juryleden zijn anoniem gehouden en genummerd van A tot H.

Je ziet dat sommige juryleden voor deze korte lijst vrijwel overal een voldoende geven (juryleden B, G en H) en andere juryleden vrijwel elk verhaal in deze lijst een “onvoldoende” gaven (juryleden D en F)

 

“Wat als”-scenario’s

Hieronder vind je 3 verschillende jury-opstellingen. We beginnen met juryleden B, D en F.

scores2

De perzik-kleurige scores zijn die van de totaaljury. De groene markeringen “door” in de “verhaal”-kolom is de uitkomst als alleen déze jury de voorronde had beoordeeld.

Door gebrek aan stemmen op verhaal #049 kunnen we niets zeggen over “slagen” of “falen”. Kans is dat dit verhaal ook bij deze jury een voldoende zou hebben gehaald.

De verschillen worden echt zichtbaar bij verhalen #002, #003, #081, #080 en #084.

Nemen we alleen juryleden B, G en H dan krijgen we dit:

scores4

De meeste verhalen in deze lijst zouden doorgegaan zijn naar de volgende ronde. Alleen verhalen #098 en #084 zouden zijn afgevallen. (#002 moet ook groen zijn in dit overzicht). Alleen verhalen #100, #002, #006 en #009 scoren van de “door’ groep onder de 1,5 punten.

Tot slot deze uitkomst, op basis van juryleden C, D en F.

scores5

“OMG! Wat een dramatisch groot verschil, Bob!”

In dit geval zouden alleen verhalen #009, #010 en #080 zijn doorgegaan. De rest van de verhalen scoort (soms zeer zwaar) onder de 1,0.

 

 

 

 

 

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s