Peer-reviewed article
1Institutt for lærerutdanning og skoleforskning, Universitetet i Oslo, Norge; 2Institutt for språkfag, Høgskolen i Sørøst-Norge
Sammendrag
Til tross for en etablert oppfatning av tilbakemeldingers betydning for læring, er elevenes oppfatning og vurdering av tilbakemelding et lite utforsket område. Hvilke tilbakemeldinger synes elevene er nyttige? Denne artikkelen presenterer en studie som undersøker hvilke lærerkommentarer elever på ungdomstrinnet finner nyttige og mindre nyttige. Det empiriske materialet består av en spørreundersøkelse besvart av 159 elever fra 10. trinn i norsk ungdomsskole på grunnlag av en spesielt tilrettelagt tilbakemeldingssituasjon. Resultatene av spørreundersøkelsen viser at elevene foretrekker lærerkommentarer på globale tekstnivå (som innhold, ideer og sjanger) og kommentarer som spesifikt forklarer hva eleven bør gjøre og hvorfor. Elevene setter pris på ros, men også kritiske kommentarer vurderes som nyttige. Resultatene drøftes med bakgrunn i tidligere forskning på området.
Nøkkelord: Respons; lærerkommentarer; skriving; vurdering; vurderingspreferanser; elevperspektiv
Abstract
Even though there is a general consensus that feedback is an important part of the learning process, there is little research on pupils’ perceptions of feedback. This includes, for instance, what type of feedback students find useful. This article presents a study that investigates pupils in Norwegian lower secondary schools’ perceptions about teacher comments on a writing sample. Data consist of a survey answered by 159 pupils from 10th grade, based on a specifically adapted feedback situation. The results of the survey show that students prefer teacher comments which are on a global text level (such as content, ideas and genre), that are specific and which clearly formulate what the student should do and why. Students appreciate praise, but also consider critical comments useful. The results are compared with results from previous studies.
Keywords: Response; written teacher comments; writing; assessment; feedback preferences; student perspective
Received: October 2015; Accepted: April 2016; Published: June 2016
*Correspondence to: Agnete Andersen Bueie, Høgskolen i Sørøst-Norge, Institutt for språkfag, Postboks 7053, 3007 Drammen. Email: agnete.bueie@hbv.no
©2016 A. A. Bueie. This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 International License (http://creativecommons.org/licenses/by/4.0/), allowing third parties to copy and redistribute the material in any medium or format and to remix, transform, and build upon the material for any purpose, even commercially, provided the original work is properly cited and states its license.
Citation: A. A. Bueie. «Nyttige og mindre nyttige lærerkommentarer – slik elevene ser det.» Nordic Journal of Literacy Research, Vol. 2, 2016, pp. 1–28. http://dx.doi.org/10.17585/njlr.v2.188
Innenfor vurderingsforskning viser flere studier at tilbakemelding på elevers arbeid er effektivt for læring. Særlig to studier, nemlig Black og Wiliam (1998) og Hattie og Timperley (2007), har fått betydning for arbeidet med vurdering i skolen. Disse har rettet oppmerksomheten mot hvordan vurdering kan fremme læring, og de viser også hva som kjennetegner effektive tilbakemeldinger. Den effektive tilbakemeldingen forteller eleven hvor han skal (målet for oppgaven), hvordan han gjør det i forhold til målene, og hva som må gjøres for å komme videre i læringen. Videre viser den både styrker og svakheter ved elevprestasjonen, den er konkret og individrettet, og den oppfordrer eleven til å gjøre noe basert på tilbakemeldingene (Black & Wiliam, 1998; Hattie & Timperley, 2007).
Gjennom disse studiene får vi kunnskap om effektiv tilbakemelding generelt. Det er imidlertid ikke enighet om verdien av slik generell kunnskap. Bennett (2011) hevder at den generelle kunnskapen må kobles til fagspesifikk kunnskap, og adresserer et behov for å knytte forskning på formativ vurdering sterkere til spesifikke fag. Studien jeg presenterer i denne artikkelen er nettopp et svar på dette behovet, ved at jeg undersøker elevers syn på tilbakemeldingers nytteverdi innenfor skriving i norskfaget. Det å gi tilbakemelding på elevtekster er en viktig del av skriveopplæringen. Av den grunn er det av avgjørende betydning at elevene forstår og nyttiggjør seg tilbakemeldingene.
Til tross for at tilbakemeldinger henvender seg til elevene, har mye av tilbakemeldingsforskningen enten fokusert på lærernes tilbakemeldingspraksiser eller prinsipper for å karakterisere effektiv respons (Huot & Perry, 2009; Lee, 2008). Flere forskere har pekt på behovet for forskning som undersøker hvordan studenter og elever opplever og reagerer på lærers tilbakemeldinger (Gamlem & Smith, 2013; Hattie & Gan, 2011; Hounsell, Slowey, & Watson, 2003; Lee, 2008; Murphy, 2000). Innsikt i elevers tilbakemeldingspreferanser kan på den ene siden gi lærere støtte til å vektlegge former for respons som mange elever finner relevante og nyttige for videre bearbeiding av et tekstutkast. På den andre siden kan denne kunnskapen vise oss hvor elevene trenger veiledning for å kunne nyttiggjøre seg tilbakemeldingene. Denne kunnskapen kan hjelpe oss å utvikle praksis både for hvordan vi kommuniserer tilbakemeldinger og tilpasser denne viktige delen av skriveopplæringen til elevenes behov.
Min studie undersøker altså hvor nyttig elever på ungdomstrinnet finner ulike skriftlige tilbakemeldinger på en konkret elevtekst. Studien er kalkert etter Richard Straubs Students’ Reactions to Teacher Comments: An Exploratory Study (Straub, 1997), men tilpasset en norsk kontekst og en yngre informantgruppe. Straub problematiserte eksisterende responsforskning fordi den analyserte lærerkommentarer i form av store eller udefinerte kategorier (som ros versus kritikk, direktiver versus spørsmål som åpner for refleksjon), eller for å ikke referere til konkrete kommentarer i det hele tatt, bare til abstrakte kategorier. Det var på denne bakgrunn han designet sin egen studie, som er den som har inspirert min studie her. I Straubs studie svarer 142 studenter i høyere utdanning på hvor nyttig de oppfatter lærerkommentarene på en argumenterende eksempeltekst. Slik kunnskap har vi ikke i en norsk kontekst, og det er derfor interessant å gjennomføre en liknende studie her. Mitt bidrag er, i likhet med Straubs, å gi innsikt i preferanser knyttet til helt konkrete lærerkommentarer. Ved å undersøke dette på ungdomstrinnet, supplerer jeg ikke bare Straubs studie, men forskning på feltet rent generelt. Forskningsspørsmålet for studien er: Hvilke lærerkommentarer vurderer elevene som nyttige og mindre nyttige som respons på skriftlige tekster i norskfaget?
For å finne svar på spørsmålet bruker jeg samme forskningsmetodiske tilnærming som Straubs studie fra 1997, men i en annen utdanningskontekst. Min studie kan på ett plan betraktes som en replikasjonsstudie. Til tross for at replikasjoner kan gjøre forskningen mer robust (Duncan, Engel, Claessens, & Dowsett, 2014), er det liten tradisjon for slike studier i norsk skriveforskning. I dette tilfellet bruker jeg Straubs metodiske design som et verktøy for min egen studie. Straub har utviklet og prøvd ut verktøyet i en konkret utdanningskontekst, og det foreligger dokumenterte resultater som kan legges til grunn for sammenligninger. Min studie kan likevel bare i begrenset grad betraktes som en ren replikasjon av Straubs, siden mine informanter er ungdomsskoleelever, mens hans er collegestudenter. I motsetning til de norske ungdomsskoleelevene er collegestudentene en selektert gruppe, og de har lengre erfaring både med å skrive og å få tilbakemeldinger. Dette kan virke inn på tilbakemeldingspreferansene på ulike måter. Det vil likevel være interessant å se på hvilke punkter funnene fra de to studiene skiller seg fra hverandre og hvor de er sammenfallende. På den måten kan min studie være et viktig bidrag til responsforskningen generelt.
I det følgende skal vi først se på hva vi vet om elevers/studenters tilbakemeldings-preferanser fra tidligere forskning. Deretter beskrives metodisk tilnærming, før resultater presenteres og drøftes.
Antallet studier som undersøker elevers og studenters oppfatning av lærers tilbakemeldinger, er begrenset, men økende. I hovedsak er slike studier gjort i høyere utdanning, og det er stor variasjon både i studienes omfang og metodiske tilnærminger.
Et viktig funn fra studier på dette feltet er at studenter og lærere kan ha ulik oppfatning av tilbakemeldingenes verdi. I en storskala-survey fra åtte universiteter i Hong Kong finner Carless (2006) at lærerne tror de gir mer detaljerte tilbakemeldinger enn hva studentene oppfatter, og videre at lærerne tror tilbakemeldingene er mer nyttige for studentene enn det studentene oppfatter dem som. Også Adcroft (2011) finner i en survey fra høyere utdanning i UK at studenter og lærere har ulike oppfatninger. Forskjellene her er knyttet til hyppighet og variasjon i hvordan tilbakemeldinger gis. Lærerne sier at de gir tilbakemelding hyppigere og i mer varierte former enn det studentene opplever at de gjør, mens studentene på sin side uttrykker at karakter og skriftlige tilbakemeldinger er henholdsvis mer viktig og mer nyttig enn det lærerne gir uttrykk for. Også Orsmond og Merry (2011) finner gjennom intervjuer av 19 biologistudenter og seks lærere at det ikke alltid er samsvar mellom lærernes og studentenes oppfatninger av tilbakemeldingene. Derimot finner Montgomery og Baker (2007) i en studie av ESL-studenter og deres lærere at det er nokså godt samsvar mellom lærernes egen vurdering og studentenes oppfatning av skriftlige lærertilbakemeldinger, men at studentene i dette tilfellet oppfattet at de fikk flere tilbakemeldinger enn lærerne mente de ga, og at lærernes tilbakemeldinger fokuserte mer på lokale tekstnivå enn lærerne selv ga uttrykk for.
Når det gjelder preferanser, viser flere studier at studenter verdsetter tilbakemeldinger som er detaljerte, oppgaveorienterte, som er gitt i rimelig tid etter oppgaven ble utført og som fokuserer på både styrkene og det som kan forbedres (Carless, 2006; Ghazal, Gul, Hanzala, Jessop, & Tharani, 2014; Gibbs & Simpson, 2004; Rae & Cochrane, 2008; Straub, 1997; Weaver, 2006). Weaver (2006) finner at det er fire former for tilbakemeldinger som oppfattes som lite nyttige, nemlig kommentarer som er for generelle eller vage, som mangler veiledning, som fokuserer på det negative og som ikke er relatert til vurderingskriteriene. Jonsson (2013) framhever at det studentene oppfatter som nyttige tilbakemeldinger, er tilbakemeldinger som gir nok informasjon til at studentene kan handle på grunnlag av dem, og som er spesifikke, detaljerte og individualiserte, og ikke for autorative (Jonsson, 2013). Liknende kan vi se hos Treglia (2009), som finner at studenter foretrekker tilbakemeldinger som anerkjenner arbeidet deres, og som gir dem konkrete forslag til forbedringer, men uten å ta for mye kontroll, ved å gi studentene muligheter for å ta egne valg.
Lizzio og Wilson (2008) har undersøkt australske studenters oppfatning av skriftlige tilbakemeldingers kvalitet og effektivitet. De skiller mellom utviklende, oppmuntrende og rettferdige tilbakemeldinger, og finner at det er de utviklende tilbakemeldingene, altså de som gir informasjon om hvordan studenten kan forbedre teksten sin, som er mest effektive. I en australsk surveystudie av lærerstudenters tilbakemeldingspreferanser finner Ferguson (2011) at studentene foretrekker korte, skriftlige kommentarer gjennom teksten og en skriftlig oppsummering til slutt i teksten, mens en karakter ikke ble vurdert som særlig nyttig. Videre foretrekker studentene tilbakemeldingene som går helt spesifikt på den aktuelle studentteksten. De mest nyttige tilbakemeldingene knytter seg til overordnede ideer i tekstene, mens tilbakemeldinger på detaljnivå (formelle trekk) vurderes som minst nyttig.
Et diskusjonstema i studiene av tilbakemeldingspreferanser er språket som brukes og forholdet mellom ros og kritikk. Kritiske kommentarer kan formildes og avdempes (Treglia, 2008), for eksempel ved at man kombinerer ros og kritikk eller endringsforslag, eller ved at man bruker dempende ord. Dette kan fungere ulikt. På den ene siden viser Hyland og Hyland (2001) i en kasusstudie av to læreres tilbakemeldinger og seks L2-skriveres (universitetsnivå, New Zealand) oppfatning av disse, at tilbakemeldinger som er formulert indirekte og med bruk av dempende ord, kan føre til misforståelser og forvirring hos studentene. Også Baker og Bricker (2010) peker på at studenter kan misforstå høflighet som ikke er forventet, og finner at slike høflige kommentarer er særlig utfordrende for L2-skrivere. På den andre siden finner Treglia (2008) i en studie av 14 L1- og L2-studenter i høyere utdanning, at bruk av dempende ord har en viktig rolle for å motivere og engasjere studenter til å innta en aktiv rolle i revisjonsarbeidet. Selv om dempende formuleringer ikke har betydning for omfang og kvalitet i studenters revisjon (Treglia, 2006), kan det virke positivt på skrivernes motivasjon og holdninger til skriving (Treglia, 2008).
Generelt verdsetter studenter positive og rosende tilbakemeldinger, og de ønsker en balanse mellom positive og negative tilbakemeldinger fordi dette har betydning for motivasjon og selvtillit (Ferguson, 2011; Lizzio & Wilson, 2008; Treglia, 2008). En studie av Voerman, Korthagen, Meijer og Simons (2014) undersøker hvordan ros har betydning for læring, og hevder at ros kan skape positive følelser for læring og bidra til å bygge opp selvtillit. Omvendt kan negative følelser, som kan oppstå ved negativ respons, virke motsatt. Hvordan tilbakemeldinger har betydning for både motivasjon og selvregulering, er også undersøkt både i høyere utdanning (Ekholm, Zumbrunn, & Conklin, 2015) og på sjette til tiende trinn (USA) (Zumbrunn, Marrs, & Mewborn, 2015). Begge disse studiene finner sammenheng mellom oppfatning av tilbakemeldinger og selvregulering. Studiene er interessante fordi de viser så tydelige forskjeller mellom studentgrupper. Noen studenter har positive erfaringer med det å få tilbakemeldinger, og det igjen fører til positive holdninger til det å skrive og til en åpenhet for å motta tilbakemeldinger. Andre studenter, derimot, har negative erfaringer med å få tilbakemeldinger, noe som fører til negative følelser, enkelte uttrykker at de vil unngå å motta eller å lese tilbakemeldingene. Dersom studenter utvikler slike følelser og holdninger til tilbakemeldingene, vil det å få tilbakemeldinger i liten grad føre til læring.
Straubs studie fra 1997 viser at studentene setter likeverdig pris på kommentarer både på globale og lokale tekstnivå, men de er skeptiske til kommentarer som er negative til deres egne ideer og som tar kontroll over teksten. De liker både rosende og kritiske kommentarer, men særlig dersom kommentarene forklarer hvorfor noe er bra eller dårlig. De mest foretrukne kommentarene er de som gir råd, helst gjennom spørsmål eller forklaringer (Straub, 1997).
Nordiske studier som omhandler lærerkommentarer, har ulike tilnærminger. En tidlig norsk studie av hvordan 510 sjette- og sjuendeklassinger oppfatter lærerens rettinger (Helgetun, 1982), viser gjennom en survey at elevene ønsket både positive og negative kommentarer, men at de ofte hadde problemer med å forstå rettingene de fikk, og dette problemet var størst i norskfaget. Rosenberg (1997) viser i sin hovedoppgave («speciale») hvordan lærerkommentarer fra ti danske gymnasielærere, på 107 kommenterte tekster, ser ut. Til tross for at dette er kommentarer på ferdige tekster, er kommentarene utformet som direktiver for bearbeiding. Videre funn fra denne studien er at læreren i stor grad er en korrekturleser og at det er flere direktiver enn det Rosenberg kaller «fremhjælpende» kommentarer.
I to kasusstudier undersøker Kronholm-Cederberg (2009) og Bueie (2014) henholdsvis åtte og fem elevers forståelse av lærerkommentarer. Mens Kronholm-Cederberg finner at de finske elevene ofte ikke forstår lærerkommentarene, finner Bueie at elevene i norsk ungdomsskole i hovedsak viser adekvat forståelse av kommentarene de får. Igland (2008) studerer respons som samhandling, blant annet for å se hvordan elever på ungdomstrinnet nyttiggjør seg lærerens respons. Igland (2008) og Bueie (2014) undersøker responsoppfølging i situerte skriveprosesser. Funn fra disse studiene er at elevene reviderer tekstene sine, og revisjonene er i hovedsak svar på lærers respons, det er få spor av egeninitierte revisjoner.
Det finnes altså noen responsstudier i en nordisk sammenheng, men vi mangler studier som undersøker elevers preferanser. Min studie utvider således eksisterende responsforskning både gjennom forskningsfokus og metodisk tilnærming.
Studien har et deskriptivt design som kombinerer kvantitative og kvalitative data. Forskningsverktøyet mitt er et spørreskjema1. Utgangspunktet for spørreunder-søkelsen er en konstruert responssituasjon, med en eksempeltekst med tilhørende lærerkommentarer. Respondentene vurderer hver lærerkommentar ved hjelp av en firegradert skala (1=ikke nyttig, 2=lite nyttig, 3=ganske nyttig og 4=veldig nyttig). Spørreskjemaet har også et kommentarfelt der elevene kan skrive inn kommentar til sine vurderinger.
Studiens empiri baserer seg altså på kommentarer til en debattartikkel om hverdagsrasisme skrevet av en elev på tiende trinn. Debattartikkelen (vedlegg 1) er skrevet i en autentisk skrivesituasjon, som besvarelse på en heldagsprøve i norsk, en skrivesituasjon der eleven skrev teksten i løpet av fem timer på skolen, uten respons og revisjon. Teksten er skrevet av en middels sterk skriver. Valget av akkurat denne elevteksten er gjort av flere grunner. For det første er teksten et eksempel på en middels god besvarelse. Teksten kan videreutvikles både på lokale og globale tekstnivå, og det åpner for å få en viss bredde i typer lærerkommentarer. Videre er teksten valgt fordi den ble vurdert å ha passe omfang, om lag to sider. En for lang elevtekst kunne gjøre at respondentene ble pålagt et for stort arbeid.
Debattartikkelen er utstyrt med et utvalg lærerkommentarer (vedlegg 1). Jeg har bedt norsklærere fra ulike ungdomsskoler om å kommentere teksten slik de pleier. Henvendelsen ble sendt til rektorer ved åtte skoler som jeg hadde kontakt med, enten fordi de er praksisskoler eller fordi de deltar i prosjektet Ungdomstrinn i utvikling. Rektorene ble bedt om å videresende henvendelsen min til skolenes norsklærere. Det viste seg å være vanskelig å få lærere til å kommentere elevteksten. En mulig årsak er at henvendelsen ikke nådde fram til norsklærerne. Jeg fikk rektors/inspektørs bekreftelse på at den var videresendt ved fire av skolene. Åtte norsklærere fra tre skoler svarte på min henvendelse og kommenterte elevteksten. Av disse lærernes kommentarer, totalt 124, gjorde jeg et utvalg på 41 kommentarer, et utvalg som består av fra fire til sju kommentarer fra hver av de åtte lærerne. 37 av kommentarene er margkommentarer. De siste fire er sluttkommentarer. Tre av lærernes sluttkommentarer var skrevet på denne måten, med utgangspunkt i vurderingskriteriene, og sluttkommentarene er valgt ut blant disse. Sluttkommentarene følges av tre innledende setninger, som gir en helhetlig ros, og deretter en kobling mellom margkommentarene og sluttkommentarene. Elevene ble ikke bedt om å vurdere disse innledende setningene.
Tabell 1 gir en oversikt over lærernes kommentarer. Kommentarpraksisen er nokså lik. To lærere kommenterer for hånd, de øvrige ved merknader i Word. Alle gir margkommentarer, og med ett unntak oppsummerende sluttkommentarer. Lærer 1 skiller seg noe ved å gi fargekoder ut fra et system elevene kjenner til, og noe færre skriftlige kommentarer. Antall kommentarer totalt varierer fra 7 til 19, og hovedvekten av kommentarene angår globale tekstnivå.
Kommentarutvalget er videre styrt av at jeg ville undersøke preferanser for ulike typer kommentarer, både når det gjelder innhold og form, for eksempel bruk av forskjellige språkhandlinger som ros, kritikk, råd, instruksjon, spørsmål og direktiv. For å få en viss bredde i kommentarene, var det nødvendig å utstyre teksten med flere kommentarer enn det man ville gitt i en vanlig responssituasjon. Utover dette er utvalget av kommentarer forsøkt gjort slik at de danner et rimelig bilde av en autentisk kommenteringspraksis.
Av de 41 kommentarene er elleve knyttet til lokale tekstnivå, to kan knyttes både til lokale og globale nivå, mens de resterende omhandler det globale, slik det også var en overvekt av kommentarer til globale tekstnivå i det totale kommentarutvalget. Det er få kommentarer til rettskriving og tegnsetting. Dette skyldes at debattartikkelen er nokså korrekt skrevet, og således har lærerne gitt få kommentarer på formverk. Kommentarene på lokale tekstnivå retter seg i stor grad mot ordvalg. På globale tekstnivå er kommentarene knyttet til både innhold, struktur, mottakerbevissthet og sjanger. I en vanlig responssituasjon vil 41 lærerkommentarer være uvanlig mange kommentarer. Dette ble også elevene gjort oppmerksom på under gjennomføringen av spørreundersøkelsen.
Lærerkommentarene til debattartikkelen (vedlegg 1) er så lagt til grunn for studiens spørreundersøkelse, ved at hver kommentar vurderes ut fra en firedelt skala, og med et tilhørende åpent kommentarfelt.
159 elever på tiende trinn har besvart undersøkelsen. Respondentene er fordelt på sju klasser fra sju skoler i fem kommuner (to fylker). Utvalget er et bekvemmelig-hetsutvalg. Ettersom informantene ble bedt om å sette seg inn i en ukjent elevtekst og ta stilling til en rekke lærerkommentarer fra en tenkt lærer, noe som er en krevende oppgave, ønsket jeg å være tilstede under datainnsamling. Forespørsel om å delta i studien ble derfor sendt til rektor ved sju skoler i ulike kommuner som det var praktisk gjennomførbart å reise til. Alle forespurte skoler ønsket å delta, og rektorene valgte en klasse på tiende trinn som informanter til studien. Deltakelse er basert på informert samtykke av elever og foresatte, og prosjektet er godkjent av Norsk samfunnsvitenskapelig datatjeneste (NSD).
Av de 159 respondentene er 53% gutter og 47% jenter. Snittkarakteren i norsk skriftlig hovedmål hos respondentene er 3,91, basert på den karakteren elevene oppga å ha fått ved forrige karakteroppgjør, våren niende trinn.
Datainnsamling foregikk likt i alle sju klasser, og gjennomføringen tok en skoletime. Instruksen til elevene var at de skulle tenke seg at den kommenterte debattartikkelen var deres egen tekst som de hadde fått respons på. Hvilke kommentarer synes de var nyttige og mindre nyttige dersom de skulle revidere teksten? Jeg gjennomgikk først oppgaveteksten som elevteksten var et svar på, deretter leste vi elevteksten høyt og snakket om skrivesituasjonen, for å sikre en felles forståelse. Elevene ble så bedt om selv å lese den kommenterte elevteksten, før de besvarte selve spørreundersøkelsen. De fikk beskjed om å vurdere hver enkelt kommentar ut fra den firedelte skalaen, og skrive i kommentarfeltet dersom de hadde synspunkter som de ønsket å utdype. 27 av elevene har ikke skrevet noe i kommentarfeltene. Av de 132 elevene som har skrevet kommentarer, er det stor variasjon knyttet til hvor mange kommentarer som er lagt inn, fra tre elever som har lagt inn én kommentar, til seks elever som har kommentert alle de 41 lærerkommentarene. Median for antall kommentarer er 16,5. Totalt sett er det 2457 kommentarer av varierende lengde, fra enkeltord som «enig» eller «uenig» til lengre kommentarer. Flest kommentarer har lærerkommentar K1 fått, med 93 kommentarer, mens K41 har fått færrest med 35 kommentarer. Skalavurderingene gir kvantitative data, og kommentarene gir kvalitative data.
Spørreundersøkelsen ble gjennomført på papir, og deretter kodet og registrert digitalt (SPSS). I denne artikkelen blir de kvantitative analysene brukt for å sortere og gi oversikt over elevenes vurderinger. De kvalitative dataene trekkes inn for å supplere, utdype og belyse de kvantitative funnene. De elevutsagnene som er valgt ut for dette formålet, er valgt ut fordi de representerer synspunkter uttrykt av flere elever.
I mine analyser bruker jeg de samme kategoriene som Straub2 (1997), nemlig fokus, spesifisering og form, og studiens resultater er strukturert etter disse. Fokus viser til hvilke tekstnivå kommentaren knyttes til, og vi kan skille mellom globale nivå (som ideer, innhold, sjanger og struktur) og lokale nivå (som syntaks, ordforråd og rettskriving og tegnsetting). Noen av lærerkommentarene kan oppfattes å angå både lokalt og globalt tekstnivå, og for noen kommentarer kan det være tvil om hva lærer har ment. Kommentarene K4 og K35 (se vedlegg 2) er slike kommentarer, og er kategorisert med globalt/lokalt for å vise at det kan være rom for ulike tolkninger. Spesifisering handler om hvor eksplisitte kommentarene er, her konkretisert ved kategoriene vag, middels og spesifikk. Med vag mener jeg at kommentaren er uklar, mens en spesifikk kommentar er tydelig og gir eleven retning for videre arbeid. Kommentarer som plasserer seg mellom disse ytterpunktene, karakteriserer jeg som middels. Form brukes om måten responsen formuleres på, i mitt materiale skiller jeg mellom ros (positiv vurdering), kritiske kommentarer, spørsmål (åpne/lukkede), direktiver, råd og instruksjon, fordi det er disse språkhandlingene jeg finner i lærerkommentarene. Å kategorisere kommentarene er imidlertid ikke helt uproblematisk, da hver kommentar, slik jeg ser det, både har et fokus, en grad av spesifiserbarhet og en form. En og samme kommentar kan således passe inn i flere kategorier. Straub problematiserer ikke dette i sin artikkel, selv om man kan diskutere hans kategorisering av enkelte kommentarer, for eksempel skillet mellom kommentarer som råd og kommentarer i imperativ. Jeg har valgt å løse kategoriseringsproblemet med å vise hvordan hver kommentar forholder seg til de tre variablene. Gjennom å nyansere analyseapparatet på denne måten, utvikler jeg Straubs tilnærming. En fullstendig oversikt over hvordan jeg har kategorisert lærerkommentarene i forhold til fokus, spesifisering og form finnes i vedlegg 2.
Når det gjelder validitet, er studiens utvalg et geografisk avgrenset bekvemmelighetsutvalg. Resultatene kan således ikke generaliseres. Studien gir likevel innblikk i 159 elevers tilbakemeldingspreferanser, og muligheten for å sammenligne resultatene med liknende internasjonale studier, styrker validiteten.
I vedlegg 3 gis en fullstendig oversikt over elevenes vurdering av lærerkommentarene. Resultatene viser at elevene har klare preferanser når det gjelder ulike typer kommentarer. Et gjennomgående trekk er at kommentarer til globale tekstnivå vurderes som mer nyttige enn kommentarer til lokale tekstnivå. Videre er det de spesifikke og forklarende kommentarene som skårer høyest. Vi skal nå se nærmere på resultatene fordelt på de tre variablene fokus, spesifisering og form.
Elevene vurderer kommentarer til globale tekstnivå jevnt over som nyttige. Tabell 2 viser snittskår for kommentarer på globale nivå.
Av tabellen ser vi at samlet snitt for disse kommentarene er over 3, noe som betyr at flertallet av elevene har vurdert disse kommentarene som nyttige. Det kan være flere grunner til dette. Elevutsagnene uttrykker at de finner disse kommentarene konkrete, de sier hva som er bra og hva som bør utvikles. Videre er de enige i at ved å endre teksten i tråd med disse kommentarene, vil teksten kunne bli et bedre svar på oppgaven: «Det er viktig å skrive om det oppgaven ber om, og har du startet på et tema må du besvare ordentlig» (elev om K9).
Når det gjelder kommentarene knyttet til lokale tekstnivå, vurderer elevene de som foreslår endring av ordvalg som mindre nyttige enn de som foreslår å presisere språket. I elevutsagnene om ordvalgskommentarer kan vi finne utsagn som «Ordet kan brukes» og «Det forandrer ikke innholdet i teksten» (to elever om K3). Elevene som ikke synes disse kommentarene er nyttige, er enten uenige med lærerkommentarene eller de mener at kommentarene også burde hatt forslag til bedre ord. Kommentarer som handler om å presisere språket, vurderes som mer nyttige. Flere elever skriver at de er enig i at det er viktig å uttrykke seg presist, og at de synes disse kommentarene er konkrete. En liten gruppe elever som ikke vurderer kommentarene på presiseringsnivå som nyttige, uttrykker at de mener det går an å forstå hva som menes slik det er skrevet i teksten: «Jeg føler at jeg skjønner godt hva «dere» betyr og tenker at læreren vet det også, men læreren vil at skriveren skal poengtere det bedre» (en elev om K8).
Debattartikkelen har få formelle feil. Det er to lærerkommentarer knyttet til rettskriving og tegnsetting. Kommentar K1, om rettskriving, er blant de kommentarene som skårer lavest (2,14), mens kommentar K18, om tegnsetting, skårer litt høyere (2,63). En elev sier om kommentar 1 at «Feilen kan like gjerne være en slurvefeil», mens flere elever skriver at K18 er nyttig fordi riktig tegnsetting er viktig.
Resultatene viser at spesifikke kommentarer vurderes som mer nyttige av elevene enn mindre spesifikke eller vage kommentarer. Den kommentaren som har høyest snittskår totalt (3,39), K37, kjennetegnes av at den er svært konkret, ved at den gir elevene en oppskrift på hvordan internettkilder skal oppgis. Også flere av kommentarene som går på innhold, er konkrete og gir klar retning for bearbeiding. Disse skårer også høyt, for eksempel K5 (3,2), K9 (2,97) og K12 (3,22). Elevutsagnene til disse kommentarene er at de er nyttige fordi de er konkrete, peker på det som er bra og det som må bli bedre: «Slike kommentarer er de som hjelper. Forteller noe bra, noe som mangler og hvordan gjøre bedre» (elev om K12).
Videre er et fellestrekk ved de kommentarene som rangeres som de mest nyttige (unntatt K11 og K21), at de er utfyllende og forklarende. Motsatt er de kommentarene som skårer lavest (for eksempel K28, K3, K1, K16 og K30), korte, bare noen få ord, uten ytterligere forklaring. Den kommentaren som har dårligst snittskår, K28 («Dette står litt alene», snittskår 2,01) karakteriseres av at den er vag, uten noen forklaring på hva som menes, og gir heller ikke råd for hva eleven bør gjøre. En elev skriver om K28: «En litt unøyaktig tilbakemelding». Slike utsagn går igjen til flere av kommentarene som er lite konkrete eller som ikke gir råd for revisjonen, her ønsker flere elever at lærer skulle gitt eksempler på hva de kunne ha gjort eller forklart bedre hvorfor noe bør endres. For noen av de vage kommentarene er det elever som kommenterer at de synes det er vanskelig å skille mellom om lærer bare presenterer sin reaksjon på det eleven skriver, eller om han mener at noe bør endres i teksten. Et eksempel på dette finner vi til K31: «Alle endringer? Jeg liker måten du tenker på, men alt er kanskje ikke endringer til det bedre?», der ni av elevene skriver kommentarer som uttrykker usikkerhet omkring hvordan de skal reagere på lærerkommentaren, for eksempel: «Vil lærer at det skal komme bedre fram i teksten?» (elev om K31).
Elevene har ulike preferanser også når det kommer til kommentarenes utforming. Dette går fram både av deres vurderinger av kommentarene og av det elevene skriver som oppfølging til kommentarene. Tabell 3 viser ulike kommentarformer og deres snittskår3. I fortsettelsen presenterer jeg resultat fra analysene av de ulike kommentarformene nærmere.
Svært tydelig er det at elevene liker ros og positive kommentarer. Debattartikkelen har to slike kommentarer (K11: «Fint at du har konkrete eksempler!» og K21: «Flott, viktig avsnitt»). Disse skårer henholdsvis 3,18 og 3,3, til tross for at de egentlig ikke er spesifikke og forklarer hvorfor noe er bra. Mange av elevene skriver at de setter pris på positive kommentarer: «Det er fint å få tilbakemelding på noe som en gjør bra», «Da vet jeg at jeg skal gjøre noe liknende neste gang» og «Jeg blir glad for positive tilbakemeldinger og ikke bare negative. Motivasjon!» (tre elever om K21). En av elevene som derimot ikke synes K11 er nyttig, skriver: «Får ikke noe ut av dette, men er hyggelig å høre!» (elev om K11).
Elevene vurderer også kritiske kommentarer som nyttige. Som det framgår av tabell 3, har kritiske kommentarer en snittskår på 2,87, og tre av disse skårer rundt 3,2, som innebærer at flertallet av elevene har vurdert disse kommentarene som veldig nyttig eller ganske nyttig. Det at elevene finner kritiske kommentarer nyttige, har trolig sammenheng med at kommentarene er konkrete, de peker på hva svakhetene er, og gir ofte råd for revisjonen.
Som tabell 3 viser, er det forskjell på elevenes vurdering av kommentarer formulert som råd (snittskår 2,92) og direktiver (snittskår 2,4). De rådgivende kommentarene følges av utsagn som at «Bra at læreren forklarer hvordan det kunne vært bedre» (elev om K5). Akkurat det at kommentarene er forklarende, ser ut til å være avgjørende for at elevene vurderer dem som nyttige. Felles for de tre kommentarene som har form som direktiver, er nettopp at flere elever etterlyser bedre forklaringer. Et eksempel på dette gjelder K16 («Sagt før, kan tas bort!»), der noen elever skriver at det er uklart hva som bør tas bort, om det er et enkelt ord eller hele setningen. For K33 («Litt uklart hva du mener. Skriv om, slik at jeg forstår.») er det flere elever som sier at lærer burde forklart bedre hva som var vanskelig å forstå, og «Bra, men burde si litt mer om hva man kan gjøre, ikke bare skriv om» (elev om K33). Også for kommentar 36 («Ta bort!») ønsker flere elever en forklaring til kommentaren, slik uttrykker to av elevene dette: «Kunne kanskje forklart hvorfor?» og «Forklar hva som kunne vært der i stedet. Det er ikke noe hjelp i denne kommentaren» (elever om K36). Ut fra elevenes utsagn er det ikke direktivformen som gjør at kommentarene er lite eller ikke nyttige, men snarere at kommentarene mangler en forklaring. Kommentarer som gir eleven tydelige råd, vurderes som mer nyttige.
Om lag halvparten av kommentarene til debattartikkelen er formulert som spørsmål. Av tabell 3 ser vi at åpne spørsmål (snitt 2,6) skårer noe høyere enn lukkede spørsmål (snitt 2,23). Det er imidlertid slik at noen spørsmål vurderes som mer nyttige enn andre. Blant de som skårer dårligst, er spørrende kommentarer på ordvalg (K3 og K7), rettskriving (K1) og litt vage kommentarer (som K24: «Kan du reflektere noe over denne informasjonen?») med skår fra 2,06 til 2,42. Kommentarer som stiller spørsmål til innholdet, som K12 og K20, skårer bra (3,22 og 2,96). Hvorvidt elevene synes spørsmålene er nyttige, ser altså ut til å henge sammen med hvilket tekstnivå kommentaren gjelder og hvor konkret spørsmålet er formulert. Spørsmål som handler om hvordan eleven kan utvikle innhold eller tilpasse det bedre til mottaker, vurderes som mer nyttige enn spørsmål til ordvalg og rettskriving.
Elevene har litt ulik vurdering av spørsmål som ikke følges av en ytterligere forklaring. Dette uttrykkes for eksempel i elevenes tanker om K2 («Du presenterer temaet innledningsvis. Kan du også fange leseren?»). Flere av elevene som vurderer kommentaren som nyttig, begrunner det med at det er «Viktig at leseren synes teksten er nyttig og interessant» (elev om K2). Elevene som derimot vurderer kommentaren som lite eller ikke nyttig, sier at lærer også burde gitt eksempler på hvordan man kan fange leseren eller hva som menes med å fange leseren. Som en av informantene skriver: «Forteller ikke hvordan man kan endre sånn at den kan fange leseren, men det er viktig å fange leseren» (elev om K2). Det er også noen av elevene som vurderer kommentaren som ikke nyttig og skriver at de synes innledningen fungerer fint slik den er. Disse er altså uenige i lærerens kommentar.
I elevenes oppfølgingskommentarer kommer det fram at elevene har ulikt syn på kommentarer som er formulert som spørsmål. Et flertall av de elevene sier at de synes spørsmålene får dem til å tenke gjennom det som blir kommentert. Det er imidlertid en liten gruppe elever som skriver at de blir irriterte over kommentarer som er stilt som spørsmål, eller at de synes læreren uttrykker usikkerhet gjennom å stille spørsmål. Dette ser vi for eksempel for kommentar 1 («Liten e?»): «Hvorfor spørsmålstegn, enten skal det være liten e eller ikke» (elev om K1). En kommentar som får flere negative reaksjoner, er K27 («Dette er et mer muntlig ord, som ikke alltid passer så bra i en tekst. Hva synes du selv her?»). Noen av elevene som har reflektert rundt denne kommentaren, sier «Å ta med «Hva synes du selv?» der blir helt feil», og «Først står det at det ikke passer inn, og så spør om jeg synes det gjør det?» (elever om K27). Disse elevutsagnene tyder på at noen elever oppfatter enkelte spørsmål som en slags dobbeltkommunikasjon, der læreren peker på et trekk ved teksten, men så later som eleven kan vurdere dette like godt selv.
Debattartikkelen har margkommentarer og sluttkommentarer. Alle sluttkommentarene (K38-41) skårer relativt høyt, med et snitt på 3,16. Sluttkommentarene til innhold og sjanger (K38 og 39) er blant de som er høyest rangert (nummer 3 og 4 av de 41 kommentarene) av elevene. Felles for disse er at de er konkrete, de peker på hva som er bra og hva som kan bli bedre, helt i tråd med det vi innledningsvis så at kjennetegner effektive tilbakemeldinger.
Oppsummert foretrekker elevene tilbakemeldinger på globale tekstnivå, kommentarer som er konkrete og som gir tydelig retning for revisjonen. Også rosende kommentarer vurderes som nyttige. Når det gjelder kommentarer som er formulert som spørsmål, er noen mer nyttig enn andre, og det ser ut til å henge sammen med enten hvilket tekstnivå kommentaren gjelder, eller hvor tydelig spørsmålet indikerer hva eleven bør gjøre.
Sammenlignet med Straub, som min studie er kalkert etter, finner vi både likheter og ulikheter. I begge tilfellene viser det seg at skriverne foretrekker konkrete, detaljerte kommentarer, formet som råd eller veiledning for videre skriving. De minst nyttige kommentarene er vage, uten slik veiledning. Det at kommentarene er spesifikke og fokuserte, framstår som mye viktigere enn kommentarenes form. På andre områder skiller resultatene seg fra hverandre. Hos Straub satte studentene likeverdig pris på kommentarer på alle tekstnivå, mens mine informanter foretrekker kommentarer på globale tekstnivå. Også på et annet viktig punkt skiller resultatene seg fra Straubs. Elevene i min studie synes kommentarer som er kritiske til deres ideer eller som tar kontroll over skrivingen, er mer nyttige enn studentene i Straubs studie.
Når vi skal tolke forskjellene mellom de to studiene, må jeg igjen minne om at det er to ulike utdanningskulturer og to ulike aldersgrupper som undersøkes. Det at mine informanter foretrekker kommentarer på globalt tekstnivå, kan for eksempel forklares ved at de yngre skriverne har mer behov for hjelp til å utvikle innhold, sjanger og struktur enn de eldre. Det kan derimot ikke forklare hvorfor de har større toleranse for kommentarer som er kritiske til skriverens ideer eller som tar kontroll over skrivingen. Selv tror jeg forklaringen ligger i måten kommentarene er formet på. Det er et gjennomgående trekk i mitt materiale at kritiske kommentarer er vennlig formulert, mens de er nokså skarpt formulert hos Straub.
Hvordan korresponderer så min studie med funn fra annen forskning på feltet? Vi har sett at mest nyttige for mine informanter, er konkrete og utfyllende kommentarer som gir retning for videre arbeid. Lizzio og Wilson (2008) kaller slike tilbakemeldinger utviklende tilbakemeldinger, og også i deres studie vurderes de utviklende tilbakemeldingene som mest effektive blant studentene. Det samme støttes i en rekke andre studier (Carless, 2006; Ghazal, Gul, Hanzala, Jessop & Tharani, 2014; Gipps & Simpson, 2004; Rae & Cochrane, 2008). Karakteristisk for de kommentarene som skårer best hos mine informanter, med unntak av de rosende kommentarene, er at de forklarer hva som kan gjøres bedre, og noen ganger gis det også konkrete forslag til hva eleven kan gjøre. Disse kjennetegnene stemmer godt overens med det man innenfor vurdering for læring anser som effektiv tilbakemelding (Black & Wiliam, 1998; Hattie & Timperley, 2007). Motsatt mangler de tilbakemeldingene som skårer lavt, nettopp en slik forklaring, og da er det flere elever som uttrykker at de ikke vet eller skjønner hva de skal gjøre med kommentaren. De generelle prinsippene for effektiv tilbakemelding konkretiseres i en del av lærerkommentarene til debattartikkelen, og det er slike kommentarer elevene finner mest nyttig.
Et annet viktig funn er at elevene vurderer ros som nyttig motiverende. Også i Straubs studie verdsettes ros, men samlet rangeres ros noe høyere i min studie. Dette kan være et uttrykk for at ros er enda viktigere for yngre skrivere.
At skrivere ønsker positive kommentarer, bekreftes også i andre studier (Ferguson, 2011; Lizzio & Wilson, 2008; Treglia, 2008). Treglia (2008) finner at studenter liker en tilbakemeldingspraksis som kombinerer ros og kritikk, så lenge de kritiske kommentarene formuleres høflig eller med bruk av dempende og formildende uttrykksformer. Likeledes finner Weaver (2006) at studenter ønsker kommentarer som balanserer positive og negative kommentarer, og at ensidig vekt på negative kommentarer virker demotiverende. Som i min studie, finner også Weaver at de positive kommentarene har en tendens til å være mer vage og mindre spesifikke enn de kritiske eller negative kommentarene, likevel ønsker studentene slike kommentarer. Også ifølge Hillocks (2008) og Gee (1972) er rosende kommentarer viktige. De gjør ikke nødvendigvis tekstene bedre, men de styrker elevenes motivasjon og deres holdninger til skriving. Det at generell ros kan ha en viktig motivasjonsskapende funksjon, trekkes også fram hos Igland (2001).
Hvordan elevers oppfatning av tilbakemeldinger virker inn på deres selvregulering og motivasjon for skriving, går også fram av Zumbrunn et al. (2015). De finner at tilbakemeldinger for noen elever virker positivt, noe som igjen gjør elevene mer positive og åpne for å motta tilbakemeldinger, mens det for andre elever virker omvendt, de utvikler et negativt forhold til det å få tilbakemeldinger, og mister troen på seg selv som skrivere. Dette er interessant sett i lys av formativ vurderingsteori. Ifølge Hattie og Timperley (2007) er feedback i form av ikke-spesifikk ros ikke regnet som særlig effektiv for læring fordi slike tilbakemeldinger i liten grad inneholder læringsrelatert informasjon. Her ser vi altså et skille mellom effektiv tilbakemelding og tilbakemeldingspreferanser. Selv om rosende kommentarer ikke nødvendigvis er så effektive for læring, kan de ha en verdifull affektiv funksjon. Dette kan være enda viktigere for elever i ungdomsskolen enn for studenter i høyere utdanning.
Mine informanter har en preferanse for kommentarer på globale tekstnivå. Dette er sammenfallende med funn hos Ferguson (2011), som finner at de mest foretrukne tilbakemeldingene er de som angår det globale nivået, mens kommentarer på detaljnivå vurderes som mindre nyttige. De minst nyttige kommentarene i min studie, er korte i den forstand at de består av ett eller noen få ord. Heller ikke hos Ferguson (2011) vurderes slike korte kommentarer som særlig nyttige.
Flere av kommentarene på lokale tekstnivå omhandler ordvalg. Slike kommentarer er ikke blant dem elevene finner mest nyttige, og elevene uttrykker at de ikke alltid er enige med lærers endringsforslag. Det samme finner Bueie (2014) i en studie av elevers forståelse og reaksjon på lærerkommentarer. I den grad elevene der reagerer med protest på enkelte lærerkommentarer, gjelder det kommentarer på ordvalg. Felles for disse studiene er at elevene mener de opprinnelige ordene er like gode som lærerens forslag.
Noen av elevene forklarer hvorfor de ikke finner lærerkommentarene til lokale tekstnivå særlig nyttige med at de ikke er enige med lærerens kommentar. En slik uenighet er knyttet til hvorvidt det er riktig å sette komma der lærer har kommentert dette (K18), andre går på presiseringer (K4, K8, K32, K33), der flere elever skriver at leseren forstår hva skriveren mener, og at det ikke er nødvendig å kommentere alt, dersom det er mulig å forstå slik det opprinnelig er skrevet. Uenigheten elevene oppviser, kan bunne i helt legitime vurderinger, der elevene uttrykker kvalifiserte oppfatninger som skiller seg fra lærerens. Det at elevene går i dialog med responsen på denne måten, er verdifullt fordi det viser at elevene reflekterer over tilbakemeldingene, og ikke bare aksepterer dem. Det indikerer også at elevene har en selvstendighet knyttet til å forstå og forholde seg til tilbakemeldingene.
Et siste interessant funn i denne studien gjelder kommentarer formet som spørsmål. Mange av lærerkommentarene her er formulert som spørsmål, og i responsteori er det å respondere på elevtekster i form av spørsmål en anbefalt strategi (Straub, 2003), fordi det kan åpne for at skriveren selv må tenke gjennom og reflektere rundt revisjonsmuligheter. Flere av elevene i denne studien uttrykker også at de synes spørsmålene fungerer slik. Det er imidlertid noen elever som ikke synes spørsmål er nyttige, enten fordi det egentlig ligger et direktiv bak, eller fordi det uttrykker usikkerhet fra læreren. Spørrende kommentarer til innholdet i teksten vurderes som mer nyttige enn spørsmål til lokale tekstnivå. Dette understreker elevenes preferanse for kommentarer til globale tekstnivå. Selv om det å gi respons i form av spørsmål er ansett som en god tilbakemeldingspraksis, indikerer funnene her at spørrende kommentarer kan fungere ulikt, og at det er noen typer kommentarer som egner seg bedre som spørsmål enn andre. Det er anbefalt responspraksis å gi forslag framfor direktiver (Straub, 2003), og det kan forklare hvorfor noen direktive kommentarer her har form som spørsmål. Slike spørsmål skårer imidlertid dårligere enn kommentarer med reelle spørsmål hos mine informanter.
Et viktig forbehold må tas for resultatene av denne studien, knyttet til at responssituasjonen i studien er konstruert. Elevene blir bedt om å sette seg inn i en debattartikkel skrevet av en for dem ukjent skriver, med kommentarer av lærere som elevene heller ikke kjenner. Responssituasjonen avviker fra en vanlig responssituasjon fordi det personlige aspektet ved skrive- og vurderingssituasjonen blir tatt bort. Flere forskere har vist hvordan skriftlige tilbakemeldinger inngår i et samspill mellom elev, elevtekst og lærer (for eksempel Igland (2008) og Strand (2013)), og fraværet av denne relasjonen og konteksten kan ha betydning for hva eleven finner nyttig. På den annen side kan det at relasjonen til læreren er utelatt gjøre at man får fokus på selve kommentarene, og således kan dette også styrke forskningsinstrumentet. Et annet forbehold er at elevene heller ikke skulle gå videre med teksten, bare forestille seg at de skulle gjøre det. Det kan også være forskjell på hva man liker og hva man lærer noe av, og når elevene ikke skal gjøre noe med kommentarene, kan denne forskjellen viskes noe ut. Det er også viktig å merke at preferansene gjelder kommentarer til en debattartikkel. Valget av sjanger i studiens design har betydning for hvilke kommentarer lærerne har gitt, og dermed også for studiens resultater. Mange av lærerkommentarene handler om argumentasjonen i elevteksten, og det er således en del sjangerspesifikke trekk ved kommentarene. En fortellende fiksjonstekst ville fått andre kommentarer, for eksempel ville en slik sjanger ikke fått kommentarer til referanseteknikk, som er den kommentaren som verdsettes høyest i studien her. Like fullt, i studien har 159 elever vurdert ulike lærerkommentarer, og dette kan gi oss innsikt i hvordan elever tenker omkring lærerkommentarers nytteverdi når det gjelder skriving av argumenterende tekst, som er en sjanger elevene møter i en rekke fag.
Hvilke didaktiske implikasjoner har så denne studien? Studien gir oss innsikt i elevenes preferanser når det kommer til lærerkommentarer, og dette kan gi retning både for lærerutdanningens opplæring i det å vurdere elevtekster og for læreres tilbakemeldingspraksis. Nyttige tilbakemeldinger, slik elevene ser det, er konkrete og gir tydelig informasjon om hvordan eleven kan videreutvikle teksten, samtidig som det forklares hvorfor dette vil gjøre teksten bedre. Mange av lærerkommentarene til eksempelteksten i denne studien er nettopp slike utviklende tilbakemeldinger, og dette synes å være en god tilbakemeldingspraksis. Et annet råd for vurderingspraksis kan være å tenke gjennom hvilke typer kommentarer som egner seg stilt som spørsmål, at det er virkelige spørsmål og ikke andre kommentarer «innpakket» som spørsmål. Og sist, rosende kommentarer kan ha betydning for motivasjonen, men også slike kommentarer bør ha forklaring. Ved å tilstrebe mer spesifikke rosende tilbakemeldinger, kan nytteverdien av ros økes ytterligere.
Det er viktig å vite noe om hvilke lærerkommentarer elevene finner nyttige, men også hvilke kommentarer de ikke finner nyttige. Det er ikke nødvendigvis slik at lærerkommentarer elevene finner lite nyttige, er uviktige. Dersom det ikke er samsvar mellom det læreren mener er viktig å vektlegge i tilbakemeldingene og det elevene oppfatter som nyttige tilbakemeldinger, kan det være behov for å gjøre enkelte tilbakemeldinger tydeligere for eleven, eller å hjelpe elevene til å forstå og vurdere nytten av ulike kommentarer.
En viktig forutsetning for at tilbakemeldinger skal være effektive for læring, er at de brukes (Black & Wiliam, 1998; Sadler, 1989). For at tilbakemeldinger skal bli brukt, må de forstås og elevene må se nytteverdien av dem. Det må også legges til rette for at tilbakemeldingene faktisk brukes. Studier viser at det er vanlig å legge mye arbeid i førskrivingsfasen, mens tekstrevisjon ikke vies samme oppmerksomhet (Roe & Helstad, 2014). Tatt i betraktning at tilbakemeldinger er et sentralt element i skriveopplæring, kan det være fornuftig å organisere skriveopplæringen slik at arbeidet med å bruke tilbakemeldingene får en større plass, både når det gjelder å utvikle forståelse for kommentarene helt konkret, men også forståelse for hvordan de kan bidra til å utvikle tekstene. Dette, i tillegg til at kommentarene faktisk brukes i revisjoner, vil styrke elevenes tekst- og revisjonskompetanse og bidra til at kommentarene faktisk blir nyttige for elevene.
Forfatteren ønsker å takke fagfellevurderere og professor Frøydis Hertzberg og professor Synnøve Matre for svært nyttige innspill i skriveprosessen.
Adcroft, A. (2011). The mythology of feedback. Higher Education Research & Development, 30(4), s. 405–419.
Baker, W., & Bricker, R. H. (2010). The effects of direct and indirect speech acts on native English and ESL speakers’ perception of teacher written feedback. System, 38(1), s. 75–84.
Bennett, R. E. (2011). Formative assessment: a critical review, Assessment in Education: Principles. Policy & Practice, 18(1), s. 5–25.
Black, P., Harrison, C., Lee, C., Marshall, B., & Wiliam, D. (2004). Working inside the black box: Assessment for learning in the classroom: Granada Learning.
Black, P., & Wiliam, D. (1998). Assessment and classroom learning. Assessment in education, 5(1), s. 7–74.
Bueie, A. (2014). «Jeg synes det er ett fett om det er ‘klarte’ eller ‘hadde’.» Om elevers forståelse og reaksjon på lærers tekstrespons i norsfaget. I A. J. Aasen. m. fl. (Red.) Skriv! Les! Trondheim: Akademika forlag.
Carless, D. (2006). Differing perceptions in the feedback process. Studies in higher education, 31(2), s. 219–233.
Duncan, G. J., Engel, M., Claessens, A., & Dowsett, C. J. (2014). Replication and robustness in developmental research. Developmental psychology, Advance online publication. http://dx.doi.org/10.1037/a0037996.
Ekholm, E., Zumbrunn, S., & Conklin, S. (2015). The relation of college student self-efficacy toward writing and writing self-regulation aptitude: writing feedback perceptions as a mediating variable. Teaching in Higher Education, 20(2), s. 197–207.
Ellis, R. (2009). A typology of written corrective feedback types. ELT journal, 63(2), s. 97–107.
Ferguson, P. (2011). Student perceptions of quality feedback in teacher education. Assessment & Evaluation in Higher Education, 36(1), s. 51–62.
Gamlem, S. M., & Smith, K. (2013). Student perceptions of classroom feedback, Assessment in Education: Principles. Policy & Practice, 20(2), s.150–169.
Gee, T. C. (1972). Students’ responses to teacher comments. Research in the Teaching of English, 6(2), s. 212–221.
Ghazal, L., Gul, R., Hanzala, M., Jessop, T., & Tharani, A. (2014). Graduate Students’ Perceptions of Written Feedback at a Private University in Pakistan. International Journal of Higher Education, 3(2), s. 13–27.
Gibbs, G., & Simpson, C. (2004). Conditions under which assessment supports students’ learning. Learning and teaching in higher education, 1(1), s. 3–31.
Hattie, J., & Gan, M. (2011). Instruction based on feedback. I R. E. Mayer og P. Alexander (Red.). Handbook of research on learning and instruction. New York: Routledge, s. 249–271.
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of educational research, 77(1), s. 81–112.
Helgetun, O. (1982). Synsvinklar på evaluering i grunnskolen, og ei undersøkjing om elevane sitt syn på formell og uformell evaluering. Universitetet i Trondheim, Upublisert hovedoppgave.
Hillocks, G. (2008). Writing in secondary schools. I C. Bezerman (Red.) Handbook of research on writing: History, society, school, individual, text. New York: Routledge (Taylor & Francis Group), s. 311–329.
Hillocks, G. J. (1987). Synthesis of Research on Teaching Writing. Educational Leadership, 44(8), s. 71–76, 78, 80-82.
Hounsell, D., Slowey, M., & Watson, D. (2003). Student feedback, learning and development. Higher education and the lifecourse, s. 67–78.
Huot, B., & Perry, J. (2009). Toward a New Understanding for Classroom Writing. I R. Beard, D. Myhil, J. Riley & M. Nystrand (Red.) The SAGE handbook of writing development, London: Sage Publication Ltd., s. 423–435.
Hyland, F., & Hyland, K. (2001). Sugaring the pill: Praise and criticism in written feedback. Journal of second language writing, 10(3), s. 185–212.
Igland, M. (2001). Mens teksten blir til: Lærarkommentarar og felles bearbejdingsprosjekt. Ingår i O. Dysthe (Red.). Dialog, samspel og læring, s. 241–268.
Igland, M.-A. (2008). Mens teksten blir til (B. no. 96). Oslo: Unipub forl.
Jonsson, A. (2013). Facilitating productive use of feedback in higher education. Active Learning in Higher Education, 14(1), s. 63–76.
Krashen, S. D. (1984). Writing, research, theory, and applications: Pergamon.
Kronholm-Cederberg, A. (2009). Skolans responskultur som skriftpraktik. bo: Åbo akademis förl.
Lee, I. (2008). Student reactions to teacher feedback in two Hong Kong secondary classrooms. Journal of Second Language Writing, 17(3), s. 144–164.
Lizzio, A., & Wilson, K. (2008). Feedback on assessment: Students’ perceptions of quality and effectiveness. Assessment & Evaluation in Higher Education, 33(3), s. 263–275.
Magno, C., & Amarles, A. (2011). Teachers’ feedback practices in second language academic writing classrooms. The International Journal of Educational and Psychological Assessment, s. 21–30.
Montgomery, J. L., & Baker, W. (2007). Teacher-written feedback: Student perceptions, teacher self-assessment, and actual teacher performance. Journal of Second Language Writing, 16(2), s. 82–99.
Murphy, S. (2000). A sociocultural perspective on teacher response: Is there a student in the room? Assessing Writing, 7(1), s. 79–90.
Orsmond, P., & Merry, S. (2011). Feedback alignment: effective and ineffective links between tutors’ and students’ understanding of coursework feedback. Assessment & Evaluation in Higher Education, 36(2), s. 125–136.
Rae, A. M., & Cochrane, D. K. (2008). Listening to students How to make written assessment feedback useful. Active Learning in Higher Education, 9(3), s. 217–230.
Roe, A., & Helstad, K. (2014). Den andre skriveopplæringen i Norge - om prosesskriving og skriving i og på tvers av fag. I R. Hvistendahl & A. Roe (Red.). Alle tiders norskdidaktiker. Oslo: Novus, s. 171–194.
Rosenberg, A. T. (1997). Ret rimeligt!: om skriftlige kommentarer til danske stile: Institut for Filosofi, Pædagogik og Retorik, Københavns Universitet.
Sadler, D. R. (1989). Formative assessment and the design of instructional systems. Instructional science, 18(2), s. 119–144.
Silver, R., & Lee, S. (2007). What Does it Take to Make a Change? Teacher Feedback and Student Revisions. English Teaching: Practice and Critique, 6(1), s. 25–49.
Strand, T. (2013). Norskfaget: klasseledelse og vurderingsarbeid i et danningsperspektiv. I H. Christensen, & I. Ulleberg (Red.). Klasseledelse, fag og danning. Oslo: Gyldendal akademisk, s. 173–189.
Straub, R. (2003). Responding – Really Responding – to Other Students’ Writing. I W. Bishop (Red.). The Subjekt Is Writing: Essays by Teachers and Students. (3rd ed.) Portsmouth, NH: Boyton/Cook-Heinemann, s. 162–172.
Straub, R. (1997). Students’ reactions to teacher comments: An exploratory study. Research in the Teaching of English, s. 91–119.
Straub, R., & Lunsford, R. F. (1995). Twelve readers readings: Responding to college student writing. Hampton Press.
Treglia, M. O. (2006). A Study of Teacher-written Commentary in Relation to Student Revisions and Perceptions in College Writing Classes. New York University, School of Education.
Treglia, M. O. (2008). Feedback on Feedback: Exploring Student Responses to Teachers’ Written Commentary. Journal of Basic Writing (CUNY), 27(1), s. 105–137.
Treglia, M. O. (2009). Teacher-Written Commentary in College Writing Composition: How Does It Impact Student Revisions? Composition Studies, 37(1), s. 67–86.
Voerman, L., Korthagen, F. A., Meijer, P. C., & Simons, R. J. (2014). Feedback revisited: Adding perspectives based on positive psychology. Implications for theory and classroom practice. Teaching and Teacher Education, 43, s. 91–98..
Weaver, M. R. (2006). Do students value feedback? Student perceptions of tutors’ written responses. Assessment & Evaluation in Higher Education, 31(3), s. 379–394.
Zumbrunn, S., Marrs, S., & Mewborn, C. (2015). Toward a better understanding of student perceptions of writing feedback: a mixed methods study. Reading and Writing, s. 1–22.
Vedlegg 1: Debattartikkel (elevtekst) med lærerkommentarer
1Spørreskjemaet kan gjøres tilgjengelig på forespørsel.
2Kategorisering av respons kan gjøres på ulike måter, se for eksempel Hyland og Hyland (2001), Silver og Lee (2007), Magno og Amarales (2011) og Ellis (2009).
3Noen kommentarer inneholder råd og er formulert som spørsmål. Disse er lagt inn i begge kommentarformer. Kommentarer som kan kategoriseres på flere måter, f.eks. som åpent og lukket spørsmål (K17), er utelatt i utregningen her.