Data, der bekræfter eller udforsker

ABSTRACT

I denne artikel tegner vi et detaljeret billede af, hvad der sker når skoleledelser bruger data og feedback med henblik på udvikling af praksis. Vi tegner således et billede af ledelser, der udviser en ansvarliggørende tilgang til data, hvilket indebærer, at ledelserne bruger data til at holde sig selv ansvarlig for både at internalisere og leve op til bestemte standarder. I dette billede indgår også ledelser, der demonstrerer en bekræftende tilgang, hvor data bliver brugt på måder, der først og fremmest bekræfter eksisterende institutionelle narrativer og legitimerer igangværende satsninger – også selvom data ikke nødvendigvis ’berettiger’ en kohærent, sammenhængende fortælling. Og endeligt indeholder billedet også antydninger af ledelser, der anvender en undersøgende tilgange, via hvilken data bruges som afsæt for udforskning af egen praksis og afsøgning af bagvedliggende værdier og målsætninger. På den baggrund advokerer artiklen for et mere nuanceret blik på lederes brug af data.

Udvikling af skolen via (øget) brug af data

I kølvandet på den seneste folkeskolereform bliver skoleledere i stigende grad konfronteret med et politisk ideal om at lede skolen på måder, der understøtter og fremmer ambitionen om et øget læringsudbytte for alle elever. Dette ideal er motiveret dels af viden om, at systematisk brug af data kan fremme arbejdet med at styrke elevers læring og skolens professionelle læringsfællesskab (Earl og Fullan, 2003); og dels af et ønske om at koble ansvaret for elevernes læring tættere sammen med ledelsesarbejdet gennem brug af data om elevernes læring (Koyama, 2013). Det indebærer, at ledelsen af skolen i højere grad forventes at bruge data som del af arbejdet med at sætte mål for samt følge udvikling og progression i elevers læringsudbytte. Dermed står danske skoleledere, i lighed med skoleledere fra flere europæiske lande og Nordamerika, over udfordringen med at forankre brugen af data på måder der giver mening og faktisk støtter arbejdet med elevers læring og kapacitetsopbygningen af skolens fagprofessionelle. Det er ikke nogen nem ’øvelse’. Derfor er forskningen i og om skoleledelse i dag stærkt optaget af at forstå, hvordan skoleledere rent faktisk bruger data samt at forstå hvilken betydning denne brug har for arbejdet med udvikling af skolen. Dog diskuterer forskningslitteraturen om skoleledelse ofte data enten som et instrument til at holde ledelsen ansvarlig for skolens ’resultater’ eller som et formativt værktøj rettet mod udvikling af ledelsespraksisser (Hornskov, Bjerg og Maguire, 2016). Mens nyere studier af den praktiske brug af data og feedback udfordrer, som Jill Koyama beskriver det (2014), den opfattelse, at brug af data fremmer rationelle og lineære beslutningsprocesser i skolen, idet grænserne mellem ansvarliggørelse og udvikling syntes mindre klare, end man skulle tro. Set i lyset heraf det således ambitionen med denne artikel at bidrage med yderligere (mere komplekse) forståelser af, hvordan data indgår i skoleledelsers arbejde med udvikling af skolen.

Indledningsvist vil vi derfor præsentere det case-studie, som artiklen her formidler fra. Der er tale om et mindre empirisk studie, hvor skoleledelses-teams fra en større dansk kommune bruger og fortolker data/feedback på deres egen praksis. Dernæst beskriver og udfolder vi vores analyse af ledelsernes brug af data/feedback. Og afslutningsvist diskuterer vi, hvorvidt disse analyser giver anledning til nye forståelser af, hvordan skoleledelser bruger data. Men først følger en kort opridsning af, hvad vi så der udspille sig.  

 

Hvad så vi? Hvad fandt vi?

Vores empiriske studie var tilrettelagt som en intervention, hvor seks skoleledelsesteams i samarbejde med konsulter og forskere gennemførte et forløb, hvor de arbejdede med data fra CALL-DK. CALL står for Comprehensive Assessment of Leadership for Learning[1], og er et surveybaseret evalueringsredskab, som stiller skarpt på ledelsespraksisser og samarbejdsformer i skolen. CALL tager afsæt i en teoretisk model for læringscentreret skoleledelse, som bygger på en bestemt standard for god skoleledelse (Blitz, Salisbury og Kelly, 2014). Denne standard dækker over en række ledelsespraksisser og samarbejdsformer, som alle har en positiv betydning for udviklingen af produktive læringsfællesskaber blandt skolens fagprofessionelle, og dermed også betydning for kvaliteten i undervisningen og for elevers læringsudbytte. Eksempler på disse praksisser kunne være opbygning af et fælles sprog om læring, organisering og rammsætning af medarbejdernes tid, samt systematisk brug af observation og feedback som et led i kollegialt samarbejde og sparring mellem leder og medarbejder.

CALL-DK surveyet bidrager med indsigt på to fronter. For det første producerer det viden om den enkelte skole som organisation ved at spørge ind til bestemte ledelsespraksisser og samarbejdsformer. Det vil sige, at det sætter spot på, hvad der eksempelvis tales om på møder, hvordan der samarbejdes om udvikling af undervisning eller hvorledes ledelsen rammesætter de fagprofessionelles arbejde. På den måde opnår ledelse såvel som medarbejdere indsigt i egen praksis. For det andet formidler surveyet også - mere eller mindre implicit - indblik i den bagvedliggende ledelsesmodel. Det sker ved, at alle spørgsmålene i surveyet rangordner de forskellige svarmuligheder på en sådan måde, at det hele tiden er tydeligt, hvilken praksis/handling der er bedst. Den vej rundt tegner surveyet et klart billede af de principper for god ledelse, som kendetegner standarden for læringscentreret skoleledelse, og således fremstår den ledelsesmodel, som praksis bliver holdt op i mod, meget klart.

I vores studie blev skoleledelserne præsenteret for data genereret netop på baggrund af CALL-DK. Og konkret blev vores udforskning af ledelsernes brug af data guidet af følgende forskningsspørgsmål:

• På hvilke måder indgår data i ledelsers måde at diskutere udvikling/forandring af skolen i henhold til standarden for læringscentreret skoleledelse?
• Hvordan opstår der en standard for ansvarlig skoleledelse når ledelser interagerer med data?
• Og hvorledes indgår konfirmation og eksploration som et led i lederes måde at både skabe mening med data og i deres måde at handle på data?    

I grove træk så vi følgende tre gennemgående tendenser udspille sig :

For det første brugte skoleledelserne data til at demonstrere ansvarlighed, forstået på den måde, at de i mødet med data påtog sig ansvaret for den bagvedliggende standard. For eksempel påtog de sig meget tydeligt ansvar for samarbejdet mellem de fagprofessionelle og for rammesætningen af deres tid. Men nok så tankevækkende udfoldede denne ansvarlighed sig typisk ved, at lederne forholdt sig til, og i nogen grad internaliserede, selve standarden fremfor de specifikke data.   

For det andet brugte skoleledelserne også data til at bekræfte allerede eksisterende forestillinger/narrativer om deres egen skole. Denne bekræftende tilgang blev typisk brugt med henblik på at opnå legitimitet i forhold til lokale strategier og/eller igangværende indsatser.

Og for det tredje brugte skoleledelserne, om end I mindre grad, data som afsæt for undersøgelse af egen praksis, idet de med afsæt i udvalgte data reflekterede over deres egne begrænsninger som ledere og de værdier og logikker, der muligvis motiver medarbejdernes svar. Som et led i denne undersøgende tilgang åbnede ledelserne op for mere intuitive forståelser og overvejelser knyttet til den indsigt, som data åbnede op for.   

Teoretisk fundering – en epistemisk tilgang

Den teoretiske fundering i det aktuelle studie tager sit overordnede afsæt i videnssociologien. Her finder vi relevante begreber og forståelser, som gør det muligt at undersøge og udfolde måder hvorpå meningsskabelse i organisationer fungerer, samt hvordan refleksive, sågar dissociative, praksisser skaber organisatorisk forandring (Knorr Cetina 2001). Konkret arbejder vi med afsæt i en sociomateriel tilgang, som introducerer til nye måder at begribe de epistemiske dimensioner af professionel (videns)praksis (Nerland & Jensen 2012).

Med reference til denne optik ser vi således i første omgang på CALL-DK som et epistemisk objekt (Nerland & Jensen 2012). Et epistemisk objekt som både udgøres af et ide- eller vidensmæssigt objekt med et immaterielt indhold så vel som et materielt objekt, der manifesterer sig fysisk. Det vil sige, at CALL-DK her ses dels som et vidensobjekt, der formidler viden om standarden for læringscenteret skoleledelse, og dels som en materialitet, der tager form som data, herunder præsentation af data via grafer, rapporter mm. Med denne optik bliver det muligt for os at gøre både de specifikke data og det ’idemæssige’ indhold, altså standarden i CALL-DK, til genstand for analyse; hvorved vi ikke blot kan følge data fra surveyet, men også kan følge, hvorledes de ideer, den viden og de antagelser om sammenhænge indeholdt i principperne for læringscenteret ledelse omsættes og oversættes, som et led i skoleledernes interaktion med CALL-DK.        

Ydermere trækker vi også på begrebet om epistemiske praksisser med henblik på at kunne få blik for, hvordan praktikere, i vores tilfælde skoleledere, forholder sig til det epistemiske objekt. Nerland og Jensen (2012) beskriver epistemiske praksisser som professionelle praktikeres omgang med viden. Indeholdt i dette begreb er en forståelse af, at praktikere aldrig er passive i forhold til epistemiske objekter, idet de altid vil forsøge at mobilisere et givent objekt på måder, der fremmer deres egen dagsorden/verdensudsyn. Ved at trække på dette begreb bliver vi således hjulpet til at forstå brug af data som noget, der både implicerer og medtænker ledelsernes dynamiske agens og strategiske overvejelser. Denne forståelse af databrug, som alt andet end passiv omsætning af viden, flugter i øvrigt med Coburn og Turner (2011b) og Sanderson (2003), som pointer, at brug af data ikke må forstås som en lineær, rationel proces, men snarere bør ses som et produkt af situeret praktikere, der læser data subjektivt og relaterer data til det, der foregår i deres praksis, i deres organisation. Det vil sige, at når vi refererer til praktikeres epistemiske praksis, så dækker det også den sense-making proces, der nødvendigvis finder sted i forbindelse med brug af data. Og med henblik på netop at indfange, hvordan denne meningsskabende proces udspiller sig i vores studie vil vi kigge på skoleledernes tilgang til data med afsæt i kategorierne bekræftelse, der vægter etablerede forståelser, og undersøgelse, som fokuserer på nye erkendelser og belysning af bagvedliggende antagelser (Hermansen og Nerland, 2014).

Sidst, men ikke mindst, inddrager vi begrebet om et bredere epistemisk maskineri. Ifølge Nerland og Jensen (2012) er det en central facet ved den epistemiske proces, at praktikere hele tiden relaterer til og inddrager det de kalder for et bredere epistemisk maskineri. Dette ’maskineri’ udgøres af mere abstrakte, vidtrækkende vidensregimer i form af forskningsfelter, globale og lokale policies samt institutionelle målsætninger mm., som praktikere bruger som reference punkter for deres egen meningsskabelse og ageren. Dette begreb indfanger således de varieret måder professionelle praktikere relaterer et epistemisk objekt til anden viden, som de finder relevant for deres måde at skabe mening og omsætte data. Hermed får vi syn for de måder, hvorpå de konkrete skoleledelser forbinder et epistemisk objekt med et bredere epistemisk maskineri, det vil sige forbinder data fra CALL-DK med egen antagelser, kommunale politikere, globale tendenser, forskningsbaseret viden, medier evt.   

Informeret af Nerland og Jensen (2012) samt Hermansen og Nerland (2014) har vi altså forsøgt at anvende disse noget distanceret og abstrakte begreber om epistemisk objekt, praksis og maskineri, til - på mikro-niveau - at skærpe vores blik for, samspillet mellem data og det, skoleledelserne gør med dem.

 

Metodologi – omrids af et empirisk studie

Interventionsstudiet fandt sted på seks skoler i en større dansk kommune. Skolerne var blevet udvalgt af forvaltningen baseret på deres kapacitet til at indgå i et forpligtende samarbejde med konsulenter og forskere rettet mod udvikling af deres egen praksis. Desuden var det forvaltningens vurdering, at ledelsesteamene på disse skoler havde gode forudsætninger for arbejde datainformeret og vidensbaseret. Skolerne var imidlertid ikke udvalgt som eksempler på en praksis for brug af data på særlig højt niveau. De seks skoler adskilte sig i det hele taget i ikke særligt i forhold til kommunens øvrige skoler. Ud af de seks skoler meldte tre skoler sig frivilligt med henblik på at lade et team af forskere følge og dokumentere deres arbejde med brug af data og feedback. Endeligt blev ledelserne på de tre skoler også interviewet før og efter interventionen fandt sted. De tre skoler er givet fiktive navne i denne artikel.

Selve studiet var tilrettelagt således, at alle medarbejdere på de respektive skoler inklusiv ledelsen, udfyldte CALL-DK surveyet. Besvarelserne fra surveyet indgik herefter i to rapporter. Den ene var en autofeedbackrapport, som med afsæt i hver enkelt skoles unikke data, udpeger fire styrkeområder og fire områder med behov for udvikling. Den anden var en analyserapport, som blev udarbejdet af et forskerteam fra UCC. Disse rapporter blev udarbejdet specifikt til hver af skolerne, og de formidlede foreløbige tolkninger af data og udpegende en række nøgle-fund blev. Endeligt blev samtlige ledelsesteams præsenteret for rapporterne og tilsammen udgjorde de afsættet for to feedbacksamtaler. Målet med disse samtaler var at skabe rum for, at de respektive ledelsesteams fik mulighed for at gå ’på opdagelse’ i den databaseret feedback, de blev præsenteret for. Man kan sige, at samtalerne først og fremmest blev rammesat som et refleksionsrum for ledelsen. Hele ledelsesteamet samt en konsulent og en forsker deltog alle i disse samtaler.

Det empiriske materiale som danner baggrund for dette studie består således i nedenstående elementer:

• Survey-data fra hver af de tre case-skoler
• Auto- og analyserapporter fra case-skolerne
• Lydoptagelser af feedbacksamtalerne
• Lydoptagelser af forudgående og opfølgende lederinterviews[2]

Analyse af skolelederes interageren med data
I henhold til vores teoretiske begrebsapparat er vores analytiske fokus grundlæggende gearet mod at få blik for, hvordan CALL-DK som epistemisk objekt stimulerer forskellige epistemiske praksisser (modes of engagement) spændt ud i mellem både ansvarliggørende, bekræftende og mere undersøgende tilgange. Som en del af dette fokus har vi været orienteret mod at belyse, hvordan arbejdet med CALL-DK fungerer som adgang til et større epistemisk maskineri, der knytter an til andre vidensobjekter og aktuelle politiske dagsordner så som skolereformen og nutidige fordringer om læringscentreret ledelse mv. Konkret har vi kigget på skoleledelsernes måde at skabe mening med den databaseret feedback de blev præsenteret for samt deres måde at bruge denne som afsæt for udvikling af deres egen ledelsespraksis. Og som nævnt tidligere syntes vi i grove træk at kunne identificere tre gennemgående tendenser i ledelsernes måde at gå til data.

 

En ansvarliggørende praksis

Helt gennemgående ser vi, at skoleledelserne på tværs af skolerne på forskelligvis bruger data som en slags anledning til at holde sig selv ansvarlig for at leve op til standarden for læringscentreret ledelse. Indeholdt i denne standard er fordringen om instruerende ledelse, der foreskriver at ledelsen aktivt indgår i organiseringen og rammesætningen af de fagprofessionelles (sam)arbejde, blandt andet ved at understøtte en mere formaliseret, fælles praksis, at sparre med medarbejderne, at eksplicitere formål med møder, at følge op på arbejdsopgaver samt at facilitere hensigtsmæssige betingelser for, at de fagprofessionelle kan koordinere og udføre deres samarbejde. I daglig tale kaldes denne form for ledelse ofte ’tæt på’ ledelse. Og det er netop denne fordring om ledelse ’tæt på’, som ledelserne i vores studie - via deres interageren med data - påtog sig et ansvar for at omsætte.

For eksempel viste survey-data fra alle skolerne, at visse dele af samarbejdet mellem lærerne, især samarbejdet om undervisningsplaner og undervisningsplanlægning, foregår usystematisk, på eget initiativ og i ikke-formaliseret rammer. Da ledelserne blev præsenteret for disse data relaterede nogle af dem til reformen og dennes ambition om et øget fokus på læring, herunder ledelsens rolle med at fremme og understøtte dette fokus. Således udtaler en skoleleder følgende da vedkommende i forbindelse med en feedbacksamtale drøfter data om samarbejdet mellem skolens lærere: ’Vi har hele tiden fokus på elevernes læring… det har vi så meget vi kan’ (Tinglev). Én anden fra teamet tager tråden op og siger: ’Vi er jo vildt interesserede i at børnene bliver så dygtige de kan!’ (Tinglev). På den måde relaterer det pågældende ledelsesteam til de konkrete data ved at henvise til teamets konstante bevågenhed på læring. Det læser vi som et udtryk for, at de inddrager viden om den læringscentret dagsorden, herunder den seneste skolereform, som et referencepunkt i forhold til at skabe mening med data og relatere dem til deres aktuelle situation. Det vil sige, de gør brug af et andet epistemisk objekt som et led i deres måde at forstå data og gøre dem relevante.

I et andet ledelsesteam gav lignende data om lærernes usystematiske samarbejde anledning til følgende ytringer:

’Vi bliver simpelthen nødt til at gå ind og stilladsere lærernes arbejde’ (Risby).

Hertil siger en anden fra teamet:

’Vores akilleshæl er i opfølgningen, som skal sikre at beslutninger bliver implementeret. Vi er meget bevidste om, at implementeringsfasen er afgørende. Vi må tættere på…’ (Risby).

Og en tredje siger:

’Vi har høje forventninger til medarbejderne… Men hvordan skal de kunne gøre noget de ikke har lært? Det er altså vigtigt at fokusere på de bagvedliggende samarbejdsformer der henholdsvis fremmer og hæmmer øget læring. Vi kan ikke bare sige, det sådan vi gør fra nu af! Vi må have fokus på rammesætningen.’ (Risby).

Som udgangspunkt kan man sige, at koblingen mellem data, der peger på en vis u-systematik i skolens fagprofessionelle læringsfælleskab, og ledelsernes opråb til sig selv om, at stilladsere, følge op på beslutninger og øge fokus på rammesætning ikke ligger lige for. Men hvis man medtænker fordringen om instruerende ledelse, som er en del af den ledelsesstandard som surveyet er baseret på, så er det tydeligt, at ledelsesteamet her på hver deres måde refererer til denne ide om ledelse ’tæt på’. Deres udtalelser lægger meget klart op til, at de selv mener at de skal blive bedre til indgå i organiseringen og rammesætningen af lærernes (sam)arbejde, ved blandt andet at følge op på arbejdsopgaver og facilitere hensigtsmæssige betingelser for deres praksis. Og på den måde kan man sige, at også ledelsen i det andet ledelsesteam aktiverer det epistemiske objekt om ledelse ’tæt på’, i deres bestræbelser på at skabe mening med data og begrunde fremrettet handlinger.

Samlet set ser vi altså, at når ledelserne på case-skolerne bliver præsenteret for data, som viser at de fagprofessionelle på deres skole ikke samarbejder systematisk, så reagerer de ved at henvise til deres egen bevågenhed på læring generelt og ved at formulere handleovervejelser i overensstemmelse med fordringen om ’tæt på’ ledelse. Derved mobiliser de andre epistemiske objekter i deres måde at bruge data. Og denne aktivering af et bredere epistemisk maskineri synes først og fremmest at fremme ledelsens måde at relatere data til deres egen organisation og skabe mening med data. Dernæst synes den også at medvirke til, at ledelserne mere eller mindre implicit påtager sig ansvaret for at være læringsorienteret i deres ledelsesarbejde og for at agere instruerende i deres praksis. Jf. udsagnene om at ’vi har hele tiden fokus på læring…’ Og ’vi må tættere på’. Dog syntes denne bevægelse hen imod indoptagelse af ansvar primært at finde sted via henvisninger til de mere generiske epistemiske objekter, fremfor via referencer til specifikke data, der viser hvordan samarbejdet mellem de fagprofessionelle finder sted lokalt.

Som nævnt indledningsvist dækker standarden for læringscenteret ledelse også over en række samarbejdsformer, som ideelt set understøtter udviklingen af produktive læringsfællesskaber blandt skolens fagprofessionelle. Denne standard indeholder blandt andet den norm, at de fagprofessionelles dialoger og drøftelser har et klart indholdsmæssigt fokus på læring, og en opmærksomhed på, hvorvidt disse drøftelser bidrager til udvikling af undervisningen og elevernes læring. Derfor vægter surveyet positivt de praksisser, hvor der er et eksplicit fokus på læring. Og netop den del af den læringscenterede standard synes ledelserne på case-skolerne også at holde sig selv op på, eller tage ansvar for om man vil, eftersom de ad flere omgange henviser til den, når de bliver præsenteret for konkrete billeder på samarbejdspraksisser på deres egne skoler. For eksempel viste survey-data fra samtlige skoler, at møderne på klasse- og optageteams ofte er meget drift-orienteret, idet mange lærere og pædagoger angiver, at de bruger en stor del af deres mødetid på at drøfte elevadfærd, praktisk planlægning og udveksle information. På én af skolerne gav disse data anledning til følgende refleksion:

’Vi har talt om, at de første 20 minutter af mødetiden ikke skal bruges til at tale om adfærd [personlige ting]. For hvad kommer der i realiteten ud af det? Det varierer naturligvis fra team til team, men jeg tænker egentlig at 50% af mødetiden kan bruges bedre til andre formål…’ (Korne).

Her skelner ledelsen altså, i tråd med normen om læreres og pædagogers drøftelser bør have et tydeligt indholdsmæssigt fokus på læring, mellem dialoger om adfærd og dialoger om læring. Denne skelnen er relevant at hæfte sig i denne sammenhæng, fordi ledelsen her meget klart udtaler, at samtaler, som ikke mere eller mindre direkte er rettet mod elevers læring, bør minimeres, og dermed ind-forstår de ligesom en antagelse om, at udvekslinger om adfærd og information er ikke-faglige, idet de har ikke betydning for elevers læring. Det læser vi altså som et eksempel på, at ledelsen så at sige dømmer samtaler om adfærd, praktisk planlægning og drift ude, ligesom standarden for, hvordan et professionelt fællesskab bør arbejde, gør det. Og på den måde kan man sige, at ledelsen tager standarden til sig, eller indoptager den om man vil, i forhold til at overveje og begrunde fremadrettet handlemuligheder.

Samlet set peger vores analyser altså på, at ledelserne i deres måde at forstå og gøre brug af data udviser det, vi har valgt at kalde en ansvarliggørende praksis. Det vil sige en praksis, hvor ledelserne både indoptager standarden for læringscenteret ledelse når de reflekterer over deres ledelsespraksis og på forskellige vis bruger standarden til at holde sig selv ansvarlige for agere (mere) læringscenteret i dagligdagen. På den baggrund synes vi at kunne konkludere, at blandt andet brugte data til at demonstrere ansvarlighed rettet mod den bagvedliggende standard, som både er en del af surveyet men også ’gemmer sig’ i andre epistemiske objekter, så som reformen og i den bredere læringscenteret dagsorden i det hele taget. Det er dog interessant i den forbindelse, at nogle af udtalelserne fra ledelserne på skolerne indikere, at denne ansvarliggørende praksis, i nogle tilfælde, synes at blive yderligere fremmet, når standarden aktiveres som afsæt for selvkritik. Det kommer for eksempel klart til udtryk i følgende udtalelser:

’Vi har i årevis handlet i blinde’ (Tinglev, udtalt som reaktion på at data viste at skolen manglende fælles fokus på læring). Og én anden siger: ’Vi er ikke bedre end det personale vi kritiserer’ (Tinglev, udtalt som reaktion på at data pegede på at ledelsesarbejdet manglede systematik).

 

En bekræftende praksis

Generelt ser vi også, at skoleledelserne på de respektive skoler med jævne mellemrum anvender data til at bekræfte allerede eksisterende narrativer og etablerede antagelser om deres egen skole/praksis. Det vil sige, at lederne mobiliserer det epistemiske objekt, altså CALL-DK surveyet og de data det genererer, som en form for afstiver for egne antagelser og forestillinger. Faktisk indikerer vores gennemgang af materialet, at ledelserne ved flere lejligheder anvendte denne konfirmerende tilgang som en form for automatreaktion. Det er oplagt, at tilbøjeligheden til bruge data til at bekræfte noget man allerede godt ved egentlig er meget forventelig. Det er både en naturlig og umiddelbar måde at skabe mening i mødet med ny viden/data (jf. teorien om confirmation bias, der beskriver at vi som mennesker har tendens til at prioritere information, der bekræfter de synspunkter, vi allerede har, mens vi ignorerer informationer, der modarbejder eller stritter for meget i forhold etablerede antagelser). Men ikke desto mindre synes denne bekræftende tilgang at vidne om en væsentlig facet ved ledelsernes måde at gå til data. Nedenstående udtalelse læser vi som et konkret eksempel på netop det:

’Data har blot gjort det mere klart, at vi må fokusere yderligere på den målstyret læring’ (Korne).

Denne udtalelse falder i forbindelse med ét af de opfølgende lederinterviews, hvor den pågældende leder bliver bedt om at forholde sig til hans umiddelbare tanker i forhold til de data han var blevet præsenteret for. Forud for interviewet havde lederen i forlængelse af feedback-samtalerne fortalt, at netop den målstyret læring var et indsatsområde på deres skole. Det var noget de havde arbejdet meget intenst med, og de var stolte af den udvikling de havde sat i gang. De mente, at det var den rigtige vej at gå for deres skole. Med et glimt i øjet fortæller lederen sågar, at de internt i ledelsesteamet joker med, at det er dem der har sået frøene til skolereformen, der jo som bekendt understøtter den målstyret læringstænkning. Set i dét lys her kan man sige, at det ovenstående udsagn på mange måder illustrerer, hvorledes data i dette tilfælde primært bliver læst som en bekræftelse, måske endda som en legitimering, af en velkendt fortælling om skolen. For rent faktisk vist data fra denne skole, at lærerne kun i begrænset omfang brugte resultater fra egne evalueringer samt fra nationale og kommunale test, som et led i deres planlægning og udvikling af undervisningen. Det vidner til dels om en praksis, der stritter lidt i forhold til fortællingen om, at de på den omtalte skole var kommet rigtigt langt med hensyn til at tage en læringsmålstyret undervisning til sig. Alligevel vælger ledelsen her at læse data som en opfordring til at styrke en i forvejen velkendt satsning, fremfor at læse data som et udtryk for, at der måske er grund til at nuancere fortællingen om skolens fremgang med målstyret læring.

I forbindelse med én af feedbacksamtalerne bliver et af ledelsesteamene på et tidspunkt præsenteret for data, som viser, at der er etableret praksisser på skolen, som understøtter arbejdet med elevernes trivsel og læringsmiljøet generelt. For eksempel svarer flertallet af skolens lærere og pædagoger, at de evaluerer elevernes trivsel og skolens læringsmiljø, samt at disse evalueringer i et begyndende omfang bliver brugt til at sætte mål for og evaluere udviklingen i elevernes læringsudbytte. Med reference hertil kommenterer skolelederen således:

 

Jeg tænker, at data her meget rammende indfanger det arbejde vi har gjort i gennem de sidste to år, hvor vi har haft et klart fokus på læringsmiljøet og på trivsel generelt … Og jeg bliver faktisk glad når jeg ser, at lærernes svar viser, at der reelt er en praksis for dette på vores skole; glad for at se at der er opbakning til det… (Korne)

Her bruger lederen meget klart data til at bekræfte en allerede etableret indsats rettet mod skolens læringsmiljø. Og i forlængelse heraf udtrykker lederen glæde over at få konfirmeret eksistensen af et stærkt læringsmiljø og at medarbejderne bakker op om den praksis, der understøtter det.

En lignende dynamik gentager sig på en af de andre skoler, hvor data viser at lærerne og pædagogerne på skolen mener, at ledelsen medvirker til at tegne en klar vision for arbejdet med elevernes læring. Som reaktion på dette udtaler en fra ledelsesteamet:

Der er visse fund [data] som vi er meget glade for… Vi er for eksempel meget glade for, at medarbejderne ved hvor vi vil hen… det er rart fordi vi har brugt lang tid på at arbejde på dette… så nu ser det ud til at der er en base som vi kan bygge videre på… (Risby)

Her er ledelsen på mange måder optaget af at bekræfte et positivt narrativ om deres klare vision. Det i en grad, som får dem til at se bort fra data, som direkte viser, at billedet var noget mere mudret, når det kom til de konkrete praksisser, hvori medarbejderne skal udfolde og omsætte visionen. Denne higen mod positiv bekræftelse får i dette konkrete tilfælde en yderligere dimension idet ledelsen i samme moment forklarer, at de med henvisning til data fra surveyet kan levere dokumentation for en positiv praksis, som de kan bruge overfor forvaltningen:

Surveyet sætter også fokus på det som går godt… Vi bliver ofte spurgt om hvad vi gør godt og hvad vi arbejder med. CALL-DK er som en slags spejl på lige netop det… (Risby)

Det vil sige, at tilbøjeligheden til at læse data som en bekræftelse på at ting går godt, i dette tilfælde bliver yderligere forstærket af ønsket om at vise et positivt billede frem for omverdenen.

Tilsammen synes disse analyser at antyde, at ledelserne i visse situationer nærmest leder efter anledninger, via hvilke de kan bekræfte og forstærke gode fortællinger om deres eget arbejde og skolens udvikling. Med reference til Hermansen (2014) kan man sige, at det epistemiske objekt, survey-data, i vores materiale bliver specificeret og adapteret med henblik på at bekræfte og legitimere aktiviteter, som har pågået i gennem længere tid. Det vil altså sige, de ledelserne her udviser en bekræftende praksis i forhold til deres tilgang til data. Denne bekræftende tilgang synes i visse tilfælde at blive yderligere motiveret af det simple forhold, at en bekræftende brug af data leverer en form en målestok for deres egne aktiviteter og fremskridt.  

 

En eksplorativ praksis

I andre, om end klart færre situationer så vi også at ledelserne gik et skridt videre og gjorde sig fri af deres umiddelbare behov for at bekræfte det velkendte til fordel for en mere undersøgende tilgang til data. De stillede sig nysgerrigt an og forholdt sig eksplorativt til de forhold, som data satte fokus på. Følgende udveksling mellem to ledere i samme team eksemplificerer til dels denne nysgerrige og udforskende tilgang:

Jeg synes de her svar er meget vigtige. Der er noget problematisk ved det forhold, at vi [ledelsen] kun sjældent kommer ind i klasseværelserne for at observere undervisningen; og lærerne synes tilsyneladende ikke at det er et problem… Jeg mener, der er jo ikke ret mange som mener, at det er vigtigt at vi sparrer individuelt med hver enkelt … synes I ikke det er tankevækkende? Hertil svarer den anden leder fra teamet efter en kort pause med et uddybende spørgsmål: Men hvad er det mon for en tænkning, der ligger bag lærernes besvarelser? (Korne).

Denne udveksling finder sted i forlængelse af en længere drøftelse af feedbackrapporten, som med afsæt i den aktuelle skoles data fastslår, at ledelsen stort set aldrig kommer på besøg i klasserummene med henblik på at observere undervisningen for på den baggrund at sparre med og give feedback til hver enkelt medarbejder. Både ledelsen såvel som konsulenten og forskeren ved, at den ledelsesmodel, som CALL-surveyet er baseret på, fremhæver at netop lederes korte besøg i undervisning efterfulgt af feedback og sparring kan fremme lærernes faglige udvikling og dermed potentielt også have betydning for elevernes læring. Og netop derfor undrer den ene leder sig over, at lærerne på skolen åbenbart ikke synes det er vigtigt, at de som ledelse ikke sparrer med og giver feedback til hver enkelt af dem. Og foranlediget af sin egen underen spørger den pågældende leder ud i rummet om ikke de andre synes det er tankevækkende; hvorefter en anden fra teamet svarer med et nyt spørgsmål rettet mod tænkningen bag medarbejdernes svar. På den måde bruger ledelsesteamet data undersøgende måde, idet de reflekter og udforsker, hvorfor lærerne tilsyneladende ikke vægter, at de arbejder individuelt med hver enkelt af dem. De udfordrer med andre ord sig selv på at være nysgerrige omkring, HVORFOR lærerne svarer som de gør og på HVILKEN tænkning (værdier, idealer), der eventuelt ligger bag.

Ved næste feedbacksamtale på samme skole gav den selvsamme rapport igen anledning til eksploration i ledelsesteamet. Her giver en fra teamet udtryk for bekymring i forhold til, hvordan medarbejderne forholder sig til strategien og visionen for skolen:

Jeg er faktisk lidt overrasket over det her. En stor del af medarbejderne har svaret, at de ikke har noget klart billede af vores prioriteringer. Jeg mener, vi har igennem de seneste mange år opbygget en solid forståelse for, hvad for en skole vi er og organisationen omkring den… Vi har brugt lang tid på at kommunikere vores ledelsesstrategier… og så… Ja, måske er det bare sådan, at organisationen aldrig er som man forestiller sig den… (Korne)

Her undrer lederen sig grundlæggende over data, som viser, at nogle af skolens ansatte ikke har et klart indtryk af ledelsens visioner. Men lederen nøjes ikke med at specificere og forstå, hvad data viser, men bruger snarere data som et startsted for refleksion over, hvorvidt det overhovedet er et problem, at en gruppe af medarbejderne tilsyneladende ikke helt ved, hvilke strategier og prioriteringer ledelsen igennem flere år har kommunikeret ud. Man kan måske gå så vidt som til at sige, at lederen her reflekterer over sin egne begrænsninger som leder, i forhold til at få alle medarbejdere med på fælles fodslag.

På én af de andre skoler finder vi også et eksempel på, hvordan ledelsen på samme måde bruger data som et startsted for refleksion. Det er ligeledes i forbindelse med en feedbacksamtale, hvor en leder, efter lidt drøftelse frem og tilbage mellem ledelsesteamet og konsulenten, udbryder:

Nu må vi prøve at bevæge os mere i retning af lærernes perspektiv. Vi har talt en masse om organisationen, men hvordan ser den ud set fra et klasserumsperspektiv? (Risby).

Her sætter den pågældende leder skub i en bevægelse væk fra en generel interesse i udvikling af skolen som organisation hen imod en nysgerrighed omkring, hvordan skolen opleves fra lærernes og pædagogernes perspektiv. På måde bliver data i dette tilfælde anledningen til, at ledelsen bliver nysgerrige på, hvordan verden ser ud fra medarbejdernes perspektiv.  

På tværs af skolerne ser vi altså eksempler på, at ledelserne demonstrerer en såkaldt undersøgende praksis, hvor de på forskellig vis bruger data til at gå på opdagelse i de grundantagelser, der muligvis guider medarbejdernes svar og til at spørge ind til deres egne begrænsninger som ledere. Dog synes der at være en tendens til, at villigheden til at eksplorere med afsæt i data, i nogen grad, afhænger af om data kan tegne et billede af praksis, som de respektive ledere indledningsvist kan genkende deres skole i. Vi så i hvert fald, at lige så snart data i ledelsernes øjne bekræftede noget genkendeligt/forventeligt, så opnåede data accept og tilslutning. Og netop denne accept og tilslutning synes i visse tilfælde at udgøre anledningen til, måske endda forudsætningen for, at skolelederne brugte data til at eksplorere og udforske. Og på den baggrund syntes der at være grund til yderligere granskning af forholdet mellem ledelsers henholdsvis bekræftende og mere undersøgende tilgang til data.

 

Konkluderende bemærkninger

Som omtalt indledningsvist er vi aktuelt vidne til et politisk ideal om, at skoleledere skal lede skolen med afsæt i en styrket brug af data. Naturligvis kan data være mange ting, og derfor er det heller ikke så entydigt at afkode, hvilke data der er eller kan være tale om i denne sammenhæng. I vores studie har vi haft fokus på brug af data fra CALL-surveyet. Konkret har vi kigget på, hvordan professionelle praktikeres brug af data ser ud. Med overordnet inspiration fra videnssociologien valgte vi at tale om data fra CALL-DK som et epistemisk objekt, og i forlængelse heraf har vi læst brug af data som et udtryk for en epistemisk praksis, der involverer et bredere epistemisk maskineri – et maskineri som aktiveres og udfoldes når praktikere, i vores tilfælde skoleledere, inddrager anden viden (andre epistemiske objekter) som referencepunkter for deres egen sense-making og handling. Dermed stiller artiklen her skarpt på netop den videnspraksis, som udspiller sig når skoleledere interagerer med data.

I lighed med Koyamas studier, der som omtalt udfordrer mere logiske, rationelle og retlinede antagelser om databrug, så vi at ledelserne i vores studie var alt andet end retlinede i deres omgang med data. Jævnfør analysens fund så vi tre overordnet tendenser udspille sig i deres tilgang til data; og disse tendenser vidner på hver deres måde om, at det er et komplekst billede der tegner sig, når vi kigger på skoleledelsers brug af data. Dermed giver det aktuelle casestudie altså anledning til, at gentage en efterhånden velkendt pointen om, at processen med at gå fra data til handling er kringlede og mange-facetteret. Dog er der i denne sammenhæng grund til at nævne, at i modsætning til skolelederne i Koyamas studie, så var ledelserne på caseskolerne mindre optaget af, hvordan de fremstod. De syntes at være mindre strategiske i deres ageren. De udviste selvfølgelig en ansvarlighed i forhold til at indoptage standarden knyttet til den læringscentrede dagsorden. Men denne ansvarlighed syntes primært rettet mod at ville udvikle egen praksis og egen skole, mere end at ville fremstå som ansvarlige i forvaltningens øjne.

Denne forskellighed beror formentligt i høj grad på kontekst. Fænomenet ansvarlig skoleledelse i Danmark har endnu ikke, som i USA, udviklet sig til et spørgsmål om at placere ansvaret for løbende forbedring af læringsudbyttet på de enkelte skoler og deres ledelse (Kelly, Modeste, Bjerg, Hornskov 2016; Modeste og Kelley 2015). I en dansk sammenhæng bliver ansvarlighed almindeligvis forbundet med en række ledelsespraksisser møntet på at udvikle og styrke udvalgte dele af skolens formålsparagraf. Det kan for eksempel være praksisser rettet mod at understøtte elevers trivsel og fremme brugen skolens lokale ressourcer (jf. ambitionen om ’åben skole’) (Järvinen & Mik-Meyer, 2012). Det er derfor oplagt, at vores indsigt i den kompleksitet, der kendetegner lederes omgang med data, bør læses og forstås med gyldig reference til den kontekst, hvori brug af data finder sted.

 

Litteratur

Blitz, M., Salisbury, J., & Kelley, C. (2014). The role of cognitive validity testing in the development of CALL, the comprehensive assessment of leadership for learning. Journal of Educational Administration, 52(3), 358–378. http://doi.org/10.1108/JEA-01-2013-0008

Coburn, C. E., & Turner, E. O. (2011a). Putting the “Use” Back in Data Use: An Outsider’s Contribution to the Measurement Community’s Conversation About Data. Measurement: Interdisciplinary Research & Perspective, 9(4), 227–234. http://doi.org/10.1080/15366367.2011.634653

Coburn, C. E., & Turner, E. O. (2011b). Research on Data Use: A Framework and Analysis. Measurement: Interdisciplinary Research & Perspective, 9(4), 173–206. http://doi.org/10.1080/15366367.2011.626729

Earl, L.; Fullan, M. (2003). Using Data in Leadership for Learning. Cambridge Journal of Education, 33(3).

Geijsel, Femke P.; Krüger, Meta L.; Sleegers, P. J. C. (2010). Data Feedback for School Improvement: The Role of Researchers and School Leaders. Australian Educational Researcher (Australian Association for Research in Education), 37(2), 59–75.

Halverson, R. (2010). School Formative Feedback Systems. Peabody Journal of Education, 85(2), 130–146. http://doi.org/10.1080/01619561003685270

Hermansen, H. (2014). Recontextualising assessment resources for use in local settings: opening the black box of teacher’s knowledge work. The Curriculum Journal. http://doi.org/10.1080/09585176.2014.956771

Hermansen, H., & Nerland, M. (2014). Reworking practice through an AfL project: an analysis of teachers’ collaborative engagement with new assessment guidelines. British Educational Research Journal, 40(1), 187–206. http://doi.org/10.1002/berj.3037

Hornskov, Søren; Bjerg, Helle; Maguire, L. (2016). Brug af data i skoleledelse. Lederliv, (September). Retrieved from http://lederliv.dk/artikel/brug-af-data-i-skoleledelse

Järvinen, M., & Mik-Meyer, N. (2012). At skabe en professionel. Ansvar og autonomi i velfærdsstaten. BOOK, København: Hans Reitzel.

Kelley, C.; Dikkers, S. (2016). Framing Feedback for School Improvement Around Distributed Leadership. Educational Administration Quarterly, 52(3), 392–422.

Kelley, C.; Halverson, R. (2012). The Comprehensive Assessment of Leadership for Learning : A Next Generation Formative Evaluation and Feedback System. Journal of Applied Reserach on Children: Informing Policy for Children at Risk, 3(2).

Kelley, Carolyn; Modeste; Marsha; Bjerg, Helle; Hornskov, S. (2016). Exploring the Role of Cultural and Policy Context in Distributed Leadership Practices in the US and Denmark. In School Leadership.

Knorr Cetina, K. (2001). Objectual practice. In T. R. Schatzki, K. Knorr Cetina, & E. von Savigny (Eds.), The Practice turn in contemporary theory (pp. 184–197). London - New York: Routledge.

Koyama, J. (2013). Principals as Bricoleurs: Making Sense and Making Do in an Era of Accountability. Educational Administration Quarterly, 50(2), 279–304. http://doi.org/10.1177/0013161X13492796

Lord, Charles G.; Ross, Lee; Lepper, M. R. (1979). Biased Assimilation and Attitude Polarization: The Effects of Prior Theories on Subsequently Considered Evidence. Journal of Personality and Social Psychology, 37(11), 2098–2109.

Modeste, Marsha; Kelley, C. (2015). Ledelse for læring i en reformtid. Amerikanske perspektiver. In At lede efter læring (pp. 373–392). Frederiksberg: Samfundslitteratur.

Nerland, M., & Jensen, K. (2012). Epistemic practices and object relations in professional work. Journal of Education and Work, 25(1), 101–120. http://doi.org/10.1080/13639080.2012.644909

Piety, P. (2013). Assessing the Educational Data Movement. Technology, Education--Connections (TEC). Teachers College Press. Retrieved from http://eric.ed.gov/?id=ED540006

Sanderson, I. (2003). Is it “what works” that matters? Evaluation and evidence based policy making. Research Papers in Education, 18(4), 331–345. http://doi.org/10.1080/0267152032000176846

Schatzki, T. R., Knorr Cetina, K., & Savigny, E. von. (2001). The practice turn in contemporary theory. BOOK, London and NY: Routledge.