Figur 1. McNamaras (1996) modell for språkprøver.
Peer-reviewed article
Gustaf B. Skar*, and Arne Johannes Aasen
Fakultet for lærer- og tolkeutdanning & Nasjonalt senter for skriveopplæring og skriveforsking, Norges teknisk-naturvitenskapelige universitet, Trondheim, Noreg
Abstract—norsk
Denne artikkelen undersøker ein elevtekst frå dei nasjonale utvalsprøvene i skriving som ei rekkje ekspertvurderarar har bedømt svært ulikt. Formålet med analysen er å avdekke vurderingsområde som kan vere krevjande å vurdere når oppgåver ikkje spesifiserar kva sjanger elevane skal skrive. Analysen viser at ein elevtekst kan lesast på ulike måtar, som anten sakprega eller litterær tekst. Valet av lesemåte verkar inn på kor vidt teksten møter kvalitetskriterium, altså om han blir vurdert som god eller ikkje. Relevansen av ein slik analyse ligg i at denne typen kunnskap har implikasjonar for utvikling av skriveoppgåver, vurderingskriterier og vurderingsrettleiingar.
Nøkkelord: Vurdering; vurdering av skriving; tekstanalyse; skriveprøve
Abstract—engelsk
This article presents an investigation of a student script that has received highly different ratings by a group of expert raters. The purpose of the analysis is to shed light on rating scales that might be difficult to use when prompts in a writing test do not specify which genre the student is supposed to use. The results show that it is possible to read the specific script in two ways, either as fiction or as non-fiction. Choosing to read it in a particular way effects the interpretation of criteria associated with different band levels on different scales. The results are relevant for all working with writing test development, including teachers designing classroom assessment tasks.
Keywords: Assessment; writing assessment; text analysis; writing test
Received: October 2015; Accepted: January 2016; Published: February 2016
*Correspondence to: Gustaf B. Skar, Norges teknisk-naturvitenskapelige universitet, HIST Rotvoll, 7004 Trondheim. Email: gustaf.b.skar@ntnu.no
©2016 G.B. Skar and A.J. Aasen. This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 International License (http://creativecommons.org/licenses/by/4.0/), allowing third parties to copy and redistribute the material in any medium or format and to remix, transform, and build upon the material for any purpose, even commercially, provided the original work is properly cited and states its license.
Citation: G.B. Skar and A.J. Aasen. “Risikotrekk og skjulte kvalitetar i elevtekstar.” Nordic Journal of Literacy Research, Vol. 2, 2016, pp. 1–20. http://dx.doi.org/10.17585/njlr.v2.199
Sidan hausten 2014 tilbyr det norske Utdanningsdirektoratet læringsstøttande prøver i skriving (heretter kalla Skriveprøva). Det viktigaste formålet med prøvene er at dei har ein «formativ funksjon» (Evensen, 2010; Black & Wiliam, 2009). Dei blir lasta ned av lærarar som ønskjer å vurdere skrivekompetansen til elevane sine for å drive systematisk skriveopplæring. Dessutan skal prøvene bidra til ei felles nasjonal forståing blant lærarar av kva det vil seie å skrive for ulike formål, korleis lærarar støttar elevane i skriveutviklinga deira og kva ein kan forvente av skriveprestasjonar blant elevar på ulike årstrinn.
I denne artikkelen vil vi sjå nærare på ein elevtekst frå dei norske utvalsprøvene i skriving som ei rekkje ekspertvurderarar har bedømt svært ulikt. Nokre av ekspertane vurderer teksten til å vere langt over forventa nivå for elevar på åttande årstrinn, medan andre vurderer han til å vere langt under forventa nivå. Denne usemja blant ekspertane er problematisk i og med at vurderingane blir brukt til å utvikle ein formativ reiskap for undervising, den læringsstøttande prøven i skriving. Å undersøkje manglande samsvar mellom vurderarane er viktig for kvaliteten på Skriveprøva som test, ettersom usemje m.a. kan indikere at vurderingskriterium ikkje fangar opp alle relevante eigenskapar ved elevtekstane.
Til grunn for utviklinga av Skriveprøva ligg dei nemnde utvalsprøvene i skriving. Desse blir gjennomført kvar haust på eit representativt utval (sjå t.d. Skar & Iversen, 2015) som skriv ei til to oppgåver. Kvar oppgåve ber elevane om å utføre ei skrivehandling for å realisere eit formål. Teksten som vi skal analysere, svarar på ei oppgåve som ber eleven om å beskrive: «Ein venn kjem heim frå utlandet og skal begynne på skulen din. Beskriv skulekvardagen for venen din.» (Sjå nedanfor for meir utfyllande informasjon om oppgåva og prøvesituasjonen). Denne oppgåva ber altså ikkje elevane om å skrive innan ein bestemt sjanger for å utføre skrivehandlinga. Trass i dette har dei fleste elevane skrive tekstar i brevsjangeren. Likevel har visse elevar utført skrivehandlinga på andre måtar, og det gjeld m.a. den elevteksten som vi skal undersøkje. Vi vil analysere denne teksten for å identifisere trekk ved han som får vurderarar til å vurdere han svært ulikt.
Ein slik analyse vil vere nyttig for kunnskapen vår om vurderingsområde som kan vere krevjande å vurdere. Slik kunnskap er nemleg nødvendig for utviklinga av skriveprøver som skal fungere formativt; dersom lærar skal kunne bruke informasjonen frå tekstvurdering til å anten gi eleven respons eller forbetre planlegging og gjennomføring av undervising, må Skriveprøva innehalde verktøy for vurdering også av tekstar som er vanskelege å vurdere, såkalla risikotekstar.
Artikkelen er bygd opp slik: Først blir Skriveprøva presentert. Deretter vil vi presentere det teoretiske og metodologiske utgangspunktet for analysen. Sjølve analysen vil undersøkje trekk ved elevteksten, og den påfølgjande drøftinga vil undersøkje kvifor vurderarane trekkjer så ulike slutningar om teksten.
Dei læringsstøttande skriveprøvene blei lansert i 2014. Som nemnt inngår desse i Utdanningsdirektoratets prøvebank, noko som inneber at det er frivillig å bruke dei, og resultata frå dei skal tene til å støtte læringa til elevane. Oppgåvene blir utvikla med bakgrunn i eit konstrukt som er representert gjennom Skrivehjulet (Berge, Evensen, & Thygesen, 2016; Smemo & Solem, 2015). Skrivehjulet byggjer på ideen om at skriving er funksjonelt, noko som inneber at vi utfører skrivehandlingar for å realisere skriveformål. Kvar oppgåve i skriveprøvene tek utgangspunkt i ei av følgjande skrivehandlingar: å reflektere, å beskrive, å utforske, å sjå føre seg og å overtyde. Døme på oppgåver kan vere å beskrive kva ein bruker datamaskin til, reflektere over kva ein kan bidra med for å redusere energiforbruket til familien, sjå føre seg kva det vil seie å vere ein vaksen, og overtyde rektor om at skulen skal kjøpe inn datamaskiner til alle elevar.
Desse prøvene blir utvikla gjennom ein treårig prosess der oppgåvene blir utforma, pilotert i fleire rundar, og gjennomført som nasjonal utvalsprøve som gir grunnlag for sluttproduktet, nemleg dei læringsstøttande skriveprøvene. Utvalsprøvene blir gjennomført på eit representativt utval elevar på femte og åttande årstrinn. Kvar haust deltek ca. 1700 elevar. Ei prøve blir gjennomført på ca. ein time. Dette inkluderer felles idémyldring og mellom 45-60 minutt til skriving. Deretter blir tekstane frå prøvene vurdert av eit panel med ekspertvurderarar, det vil seie lærarar med fleire års erfaring frå mellomtrinn og ungdomstrinn som er skulert av Skrivesenteret. Vurderingane til panelet gir grunnlag for analysar av kva som kjenneteiknar elevtekstar som er bedømde på ulike nivå. Ut frå desse analysane lagar Skrivesenteret vurderingsrettleiingar til dei læringsstøttande prøvene i skriving.
Eit overordna mål med skriveprøvene er at dei skal bidra til utviklinga av felles normer for korleis vi vurderer elevtekstar på ulike årstrinn, og såleis kva ein kan forvente av skrivekompetansen til elevane. Til grunn for vurderingane ligg normer for vurdering av skriving som er utvikla innan rammene av NORM-prosjektet (Matre et al., 2011). Desse normene skal fungere som standardar som skal føre til at ekspertvurderarane skal gi den same vurderinga av ein tekst, og til at lærarar i skulen skal vurdere tekstar rettferdig og innrette undervisinga si etter standardane. Det er eit mål at standardane kan bidra til at lærarar har ei felles forståing av mål, ambisjonar og progresjon i skriveopplæringa. NORM-prosjektet har vist at felles normer, høge ambisjonar og systematisk undervising kopla til normene gir sterk effekt på skrivekompetansen til elevar (Berge & Skar, 2015).
Elevtekstane frå skriveprøvene blir vurdert på seks område: kommunikasjon, innhald, tekstoppbygging, språkbruk, rettskriving og teiknsetting. For kvart vurderingsområde er det laga separate skalaer med tre meistringsnivå for femte årstrinn og fem meistringsnivå for åttande årstrinn. Kvart meistringsnivå skildrar ulike kvalitative trekk ved vurderingsområdet som byggjer på funn i NORM-prosjektet og analysar av tekstar frå utvalsprøvene. Til dømes har vurderingsområdet innhald på åttande årstrinn, nivå tre, desse deskriptorane: «har et innhold som er tematisk relevant og som kan vise faglig innsikt i temaet» og «har noen innholdsmomenter som er utdypet». Formålet med slike deskriptorar, eller meistringsnivåbeskrivingar, er å gjere mogleg valid og reliabel vurdering. Det vil seie at ein ser etter dei same eigenskapane ved tekstar når ein vurderer, og at desse eigenskapane blir vurdert likt på skalaane (jf. Messick, 1996).
Trass i at slike skalaer er ein føresetnad for valid og reliabel vurdering, vil ikkje skalaer garantere fullstendig samsvar mellom ulike vurderarar. Dette kan kome av at vurderarar tek i bruk skalaer på ulike måtar (Berge, 2009; Myford & Wolfe, 2003; Skjelten, 2013). Dessutan vil elevar skrive tekstar som bryt med forventingane som meistringsnivåbeskrivingane uttrykkjer. Slike tekstar har i andre samanhengar blitt kalla risikotekstar (Anderson & Hertzberg, 2005), og den elevteksten som vi skal sjå nærare på, har desse eigenskapane: Vurderarane i panelet har vurdert han ulikt og han skil seg frå andre tekstar i utvalsprøvematerialet.
Desse divergerande vurderingane viser at det er vanskeleg å fastslå kva eleven meistrar, og kva støtte eleven treng for vidare utvikling av skriveferdigheitene sine. Dessutan inneber spriket mellom vurderarane at vurderingsverktøya, som t.d. meistringsnivåbeskrivingar, ikkje er treffande for akkurat denne teksten. Dette inneber at denne teksten, og liknande tekstar, potensielt vil få svært ulik handsaming av ulike lærarar. Dermed utfordrar slike tekstar det som har med prøveutvikling å gjere, altså det å lage gode oppgåver og rettleiingar (Otnes, 2015). I forlenging av dette opererer vi med følgjande forskingsspørsmål: For det første spør vi korleis elevteksten realiserer oppgåvebestillinga, altså den instruksjonen som oppgåva gir. For det andre spør vi om kva eigenskapar ved teksten det er som fører til ulik vurdering. For det tredje spør vi kva implikasjonar dette har for vidare utvikling av oppgåver og rettleiingar. Det første forskingsspørsmålet blir undersøkt i kapittelet «Tekstanalyse», det andre i «Risikotrekkanalyse» og det tredje i «Drøfting».
For å forstå vurdering av skriving, må ein identifisere dei interaksjonane og komponentane som inngår i ein typisk vurderingsprosess. Desse komponentane er mellom anna framstilt i McNamaras (1996)1 modell for språkprøver:
Figur 1.
McNamaras (1996) modell for språkprøver.
Elevteksten er plassert i midten av figuren som eit sentrum for vurderingsprosessen. Ved sida av teksten ser vi sjølve manifestasjonen av vurderinga, ofte uttrykt som ein karakter eller annan verbal respons (tal, bokstav, tekst). Manifestasjonen er eit resultat av arbeidet til vurderaren. Han må analysere kvalitetane til teksten i lys av kriterium, og basert på det empiriske grunnlaget som teksten utgjer, trekkjer ein slutningar om kompetansen til eleven. Til dømes skal ein vurderar i ekspertpanelet avgjere kva deskriptorar av staveferdigheiter som best beskriv ortografien i teksten til eleven. I og med at kriterium er abstraksjonar som er tenkt å skulle representere kvalitetsdrag i tekstar, føreset valid bruk av kriterium ei brei empirisk erfaring med korleis desse kjem til uttrykk i den gitte teksten og konteksten (Sadler, 1987, 2009). Når ein har denne erfaringa, kan kriterium brukast som minnestøtte for kva ein skal sjå etter i teksten.
I underdelen av figuren ser vi eleven og oppgåva. Figuren uttrykkjer det faktum at elevteksten er eit svar på ei tolking av oppgåveformuleringa. Ideelt sett skal eleven tolke oppgåva slik prøveutviklar og lærar har føresett og svare på forventa måte. Likevel veit vi at elevar svarer på den same oppgåva på mange ulike måtar. Det er minst to grunnleggjande årsaker til dette: For det første vil den meininga vi produserer når vi les ein oppgåvetekst, vere avhengig av tidlegare erfaringar frå tekstar, situasjonar og kulturar ein har vore del av (Barthes, 1991). Desse erfaringane gjer at kvar lesar møter ein tekst med forskjellige forståingshorisontar, og at kvar leseprosess er ein særeigen dialogisk prosess (Bakhtin, 1981). Ulike lesarar vil derfor tolke teksten ulikt (jf. Kronholm-Cederberg, 2009, om å «misforstå» oppgåver). For det andre, og sjølv om alle som møter ei oppgåveformulering skulle gjere den same tolkinga, vil alle ha ulike erfaringar med å løyse den typen problem som ligg i oppgåveformuleringa (Gee, 2015). Det vil seie at når ein går frå å lese oppgåva til å svare på ho, gjer ein val av reiskap ut frå dei erfaringane og den bakgrunnen ein har. Døme på reiskap her er syntaks, ordtilfang, tekststruktur, modalitetar m.m., og desse verktøya kan brukast på uendeleg mange måtar for å svare på den same oppgåva (Evensen, 2010; Kress, 2003). Altså vil ei oppgåve som ber elevar om å argumentere for noko, kunne tolkast ulikt, og avhengig av tidlegare erfaringar med å skrive t.d. argumenterande tekstar i liknande samanhengar, vil skrivehandlinga bli utført på ulike måtar med ulike setningsstrukturar, omgrep, komposisjon osb. I forlenging av dette, er det openbart at høgresida i figuren, sjølve resultatet av vurderinga, er eit produkt av komplekse interaksjonar mellom vurderar og kriterium og mellom elevar og oppgåveformulering.
Modellen til McNamara gir mest meining i situasjonar der eleven er motivert og prøver å yte sitt beste når dei svarer på ei oppgåve. Slik er det sjølvsagt ikkje alltid. Dei val elevar tek, kan til dømes vere å stille seg i opposisjon til prøvesituasjonen i seg sjølv, eller at dei rett og slett berre vil bli ferdige med den oppgåva som læraren har gitt dei. Dette er to døme på risikotrekk ved elevtekstar frå prøvesituasjonar (Anderson & Hertzberg, 2005). Risikotrekk er trekk ved tekstar som vurderingskriterium ikkje tek høgde for og som dermed står i fare for å bryte med forventingane til lærarar og vurderarar. Dersom dette skjer, kjem vurderarar til å mangle reiskap for å vurdere teksten, og vurderingane blir derfor meir skjønnsbaserte og dermed vilkårlege. Andre risikotrekk kan vere at elevar uttrykkjer seg i ein stil som ikkje er forventa (munnleg, høgstemt, tabuord m.m.), at innhaldet er provoserande (provoserande haldningar, innslag med vald og sex m.m.) og at teksten bryt med sjangerforventing. Felles for desse risikotrekka, når dei blir utført bevisst, er at elevar så å seie «gamblar med kontrakten» (ibid), altså skriv på ein måte som kan utfordre dei normene som er forventa av lesarane (lærar, vurderar, sensor).
Tidlegare forsking på sprikande vurdering har lagt vekt på anten åtferda til vurderarar (t.d. Eckes, 2012, 2015; Engelhard, 1994; Lumley, 2002; Myford & Wolfe, 2009; Weigle, 1998) eller vurdering relatert til tekstlingvistiske trekk (Freedman, 1979; Fritz & Ruegg, 2013; Wolfe, Song, & Jiao, 2016; Xie, 2015; Östlund-Stjärnegårdh, 2002). Vår studie har eit anna utgangspunkt: når oppgåver er sjangerlause, vil ein føresetnad for at vurderingane ikkje skal sprike, vere at ein møter tekstar med same lesemåte.
Oppgåvene i skriveprøvene ber, som nemnt ovanfor, elevane om å gjennomføre ei skrivehandling, og i tillegg er oppgåvene kontekstualiserande gjennom å konstruere ein tenkt situasjon som eleven skal ytre seg innanfor med ein spesifisert mottakar. I vurderingane må ein ta stilling til i kva grad tekstane realiserer den spesifikke skrivehandlinga og er tilpassa situasjon og mottakar(ar). Oppgåva vil derfor bidra til at vurderarane, som lesarar, møter elevtekstane med visse forventingar, og desse forventingane vil igjen kunne medføre at dei les tekstane på bestemte måtar og med bestemte fordommar. Skriveoppgåver som ber elevane om å skrive i bestemte sjangrar, vil på liknande måte gi vurderarar spesifikke forventingar som ein møter elevtekstar med, i og med at sjangrar nettopp kan definerast som konvensjonar for utføring av kommunikative handlingar (Miller, 1984). Forskjellen mellom sjangeroppgåver og oppgåvene i Skriveprøva er at skrivehandlingane i sistnemnde prøve opnar for at elevane fritt kan velje sjanger så lenge formålet med teksten er ivareteke. På ei anna side vil skrivehandlingsbaserte oppgåver kunne opne for spenningar og diskrepans mellom forventingar og førestillingar til eleven og vurderaren om korleis skrivehandlinga skal realiserast i samsvar med oppgåva.
I tilfellet vårt har eleven skrive ein tekst ut frå skrivehandlinga å beskrive. Då vil det vere avgjerande kva slags forventingar vurderarane har til beskrivande tekstar, altså kva slags lesemåtar dei oppfattar som relevante for å ta stilling til om elevtekstane beskriv. Det er truleg at beskrivande tekstar ofte er forventa å vere sakprega tekstar, men ein kan også tenkje seg at visse tema og kontekstar kan opne for forventingar om skjønnlitterære tekstar. Dersom vi les ein beskrivande tekst om korleis ein skal bake ei kake, vil vi forvente ein sakprega tekst. Men dersom tematikken er å beskrive sollyset i ei sommareng, kan ein like gjerne møte teksten med andre forventingar. I og med at den same skrivehandlinga kan realiserast gjennom ulike sjangrar, bør vurderarane ideelt sett kunne tilpasse lesemåte ut frå eigenskapane til den enkelte teksten. Med Langer (2011) kan ein seie at vurderarane må justere korleis dei orienterer seg mot meining i elevteksten. Ho skil mellom ein lesemåte der ein les innafor rammene av ei etablert heilskapleg forståing, medan ein innan den andre lesemåten er meir open for at heilskapsforståinga kan endre seg gjennom leseprosessen (Langer, 2011). Eit sentralt spørsmål i analysen blir derfor kva slags lesemåte som vurderarar møter elevtekstane med.
Vi skal ikkje her gå inn i den komplekse diskusjonen om forskjellar og slektskap mellom sakprosa og skjønnlitteratur (jf. Tønnesson, 2008), men avgrense oss til på ein enkel måte å anvende omgrepa sakprega og litterær lesemåte. Dersom lesaren forventar at ein elevtekst er ein sakprega tekst, vil det sannsynlegvis innebere at teksten blir forstått som ei direkte ytring om røyndommen, det vil seie at innhaldet ikkje er fiktivt (Tønnesson, 2008). Dersom lesaren forventar at teksten er litterær, inneber det at ein ikkje berre forventar seg fakta eller saksopplysingar, men også at ein som lesar må vere med på å gjenskape, konstruere og akseptere eit fiktivt univers. Denne konstruksjonen skjer gjennom at lesaren aktivt må setje saman ulike meiningssamanhengar i teksten; ein forventar ikkje ein tekst som er eksplisitt på korleis lesaren skal produsere meining.
Vi bruker modellen til McNamara ut ifrå ei sosiokulturell forståing av ein prøvesituasjon (jf. Moss, 2008), men må likevel ha ei tekstanalytisk tilnærming til forskingsproblemet. Grunnen til dette er at vi ikkje kan føreseie kva tekstar som kjem til å bli vurdert ulikt. Risikotekstar blir først synlege i analysane av vurderingsarbeidet til ekspertpanelet, og det inneber at vi ikkje har høve til å samle data frå korkje prøvesituasjonen eller vurderingssituasjonen. Konsekvensen er at vi ikkje veit korleis elevar eller ekspertvurderarar har tolka oppgåveformuleringa og kriteria. Derimot vil tekstanalysen synleggjere sannsynlege eller moglege tolkingar.
For å svare på den første problemstillinga, korleis elevteksten realiserer oppgåvebestillinga, vil vi gjennomføre ein tekstanalyse der vi går ut frå den funksjonelle forståinga av skriving som ligg til grunn for Skrivehjulet. Det vil seie at fokuset ligg på korleis ein kan realisere ulike formål gjennom skrivehandlingar. Den funksjonelle forståinga av skriving er materialisert i dei ulike skalaene til Skriveprøva.
Vi hentar tekstanalysereiskap frå skalaene til Skriveprøva, og vi vil særleg fokusere på dei såkalla funksjonskompetansane (Matre & Solheim, 2014): kommunikasjon, innhald, tekstoppbygging og språkbruk. Desse funksjonskompetansane fangar ulike aspekt ved funksjonane til skriving; ein god tekst vender seg på ein relevant måte til lesarar (kommunikasjon), har eit relevant innhald og har føremålstenleg tekstoppbygging og språkbruk. I vurdering av relevansen til ei ytring stiller ein spørsmål rundt relasjonen mellom ytringa og den kultur- og situasjonskontekst ho er del av (Berge, 2012; Russell, 1997). I ein vurderingssamanheng vil ein bedømme kvaliteten til teksten. I vår analyse derimot skal vi ikkje vurdere teksten, men stille spørsmål til han ved hjelp av kriteria som ligg i skalaen til skriveprøvene.
For å svare på den andre problemstillinga, kva eigenskapar ved teksten er det som fører til ulik vurdering, vil funn i den første delen av analysen bli vurdert opp mot oppgåveformuleringa og ulike typar risikotrekk (Anderson & Hertzberg, 2005). Den tredje problemstillinga vil bli omhandla i ei drøfting om utvikling av oppgåver, kriterium og vurderingsrettleiingar. Drøftinga tar utgangspunkt i modellen til McNamara (1996).
Den teksten som vi skal undersøkje, blei skriven hausten 2014 av ein elev på åttande årstrinn. Gjennomføring av prøva følgjer ein fast mal og inneber at oppgåva blir presentert, at læraren leier ei idémyldringsøkt, og at elevane får utdelt eit ark til å skrive på med ein kortversjon av oppgåva. Eleven fekk oppgåva:
Ein barndomsvenn av deg har gått på skule i utlandet heilt sidan 1. klasse. Snart skal denne vennen flytte attende til Noreg og begynne på skulen din. Ho eller han har spurt deg korleis skulekvardagen på skulen dykkar er. Du svarar med å beskrive skulekvardagen for han eller ho.
Ein venn kjem heim frå utlandet og skal begynne på skulen din. Beskriv skulekvardagen for vennen din.
Heile denne oppgåveteksten blei lesen opp av læraren, men berre dei to siste kursiverte setningane står på oppgåvearket.
Vurderingane av teksten viste at han er ein potensiell risikotekst, og det er grunnen til valet av nettopp denne teksten. Han blei vurdert av 21 vurderarar. På vurderingsområdet kommunikasjon meinte 11 vurderarar at teksten motsvarte midtnivået, altså nivå 3. Fem meinte at han låg under midtnivået, og fem meinte at han låg over. Nokre vurderarar meinte at han motsvarte det høgste meistringsnivået, medan andre meinte at han motsvarte det lågaste. Dette inneber at vi har å gjere med ein tekst som er vanskeleg å vurdere med dei kriteria som er tilgjengelege. Dette antydar at vi har med ein risikotekst å gjere.
Sjølve teksten består av 474 ord og har som overskrift «Skuledagen». Dei første avsnitta gir eit representativt bilde av utforminga av teksten (sjå vedlegg 1 for heile teksten):
Skoledagen
Sitat 1.
Den første problemstillinga omhandlar korleis elevteksten realiserer oppgåvebestillinga, og det første spørsmålet for analysen er om vi finn ein eller fleire skriveposisjonar i teksten. For å svare på spørsmålet må vi analysere dei kommunikasjonssituasjonane som blir implisert i teksten og som teksten er ein del av. Det mest iaugefallande med teksten er at han består av ein dialog mellom to ungdommar. I og med at teksten er utforma som ein dialog, kan ein reise spørsmålet om korleis ein kan forstå forholdet mellom det forteljande «eg» og den biografiske eleven som skriv teksten. Dersom teksten var utforma som ein sakprega tekst med ei setning som t.d. «På min skule får vi ikkje varm-mat», vil vi forvente at det forteljande «eg» og den biografiske eleven er den same personen. Når teksten imidlertid er utforma som ein dialog, er det uklart om ein skal lese han som ein sakprega tekst eller som ein litterær fiksjonstekst – ulike sjangrar aktiviserer ulike forventingar, fordommar og konvensjonar for lesing. Dersom vi les teksten litterært, kan vi seie at forfattaren posisjonerer seg som ein som har kunnskap om tematikken og diskursen (språket til to ungdommar som samtalar om skule), og i tillegg posisjonerer forfattaren dei to talande subjekta i teksten som henholdsvis ekspert og mindre informert. Dersom vi les teksten som ein sakprega tekst, er eksperten den biografiske eleven og forfattaren som beskriv skulekvardagen. Desse posisjonane som ekspert førekjem i begge lesingane og får konsekvensar for korleis vi oppfattar andre dimensjonar ved teksten, noko vi kjem attende til.
På eit anna nivå handlar posisjonering om relasjonen mellom skrivar og faktisk lesar, adressaten. Her får det uavklarte rundt dei to lesemåtane større konsekvensar. I ei litterær lesing vil ein skrive for ein adressat som må akseptere ein kontrakt om ein fiktiv lesemåte (Penne, 2013). Det føreset også at ein må gjenskape konteksten gjennom inferensar, det vil seie at lesaren må produsere meiningssamanhengar som ikkje er eksplisitte. I sakprega lesing ser kontrakten annleis ut: Lesaren kan forvente å bli eksplisitt orientert om meiningssamanhengane i teksten. Sjølvsagt må også sakprega tekstar tolkast gjennom ein aktivt meiningsskapande leseprosess, men lesaren kan altså forvente at forfattaren orienterer lesaren og inviterer lesaren til å forstå teksten. Den aktuelle elevteksten blir innleia utan ei eigentleg innleiing, men går frå overskrift og rett inn i ein dialog. Med andre ord orienterer ikkje forfattaren om tema for teksten, anna enn i overskrifta som imidlertid blir meiningsfull først i relasjon til resten av teksten. I ei litterær lesing er vage eller krevjande koplingar mellom overskrift og resten av teksten vanleg, og lesaren vil forvente at forståinga av tittelen vil bli endra og utvida gjennom lesinga av heile teksten. I ein sakprega tekst vil vi kunne forvente at tittelen anten er meiningsberande i seg sjølv eller etter at vi har lest innleiinga (jf. Langer, 2011). I og med at den første delen av elevteksten handlar om mat på skulen, vil ein måtte lese heile teksten for å forstå at han omhandlar skulekvardagen meir generelt. Teksten krev med andre ord ein lesar som gjer inferensar, og teksten adresserer derfor ein litterær lesar.
I oppgåva som er gitt i denne Skriveprøva, finst to parallelle adressatar. Den eine er spesifisert gjennom oppgåveformuleringa som ein ven som ein skal skrive til, det vil seie ein intendert lesar. På ei anna side har vi den faktiske lesaren som eleven kan tenkje seg er læraren eller profesjonelle vurderarar, det vil seie empiriske lesarar. Mange av tekstane frå prøva adresserer eksplisitt den intenderte lesaren («du»), medan den empiriske lesaren kanskje først og fremst er adressert gjennom å halde seg til instruksjonen om å ytre seg til den intenderte lesaren og andre konvensjonar for sakprega tekstar (innleiing, orientering osb.). I vår tekst er ikkje venen den intenderte lesaren i og med at ho er iscenesett som deltakar i dialogen. Dette gjer at det er uklart kven som er den intenderte lesaren for denne teksten.
Innhaldsdimensjonen i teksten dreier seg om kva teksten handlar om, og vi finn noko av den same ambiguiteten her som et resultat av at teksten kan lesast på ulike måtar. Ved første augnekast ser teksten som heilskap ut til å handle om ulike aspekt ved skulekvardagen: matpause, timeplan, skuletransport, friminutt, klede, skulebygg og fag. Den første replikken er eit godt døme på at innhaldet er relevant i høve til oppgåva, og det er også utdjupa: Han seier noko om eit aspekt ved skulekvardagen (matpausen), og presiserer vidare ulike delaspekt (ein får ikkje varmmat, ein må ta med niste, ein kan ikkje ta med godteri, ein får berre drikke vatn i timane, men et kva ein vil i friminutta). Med andre ord er teksten faktisk ganske informasjonstett, og den informasjonen framstår som korrekt og sakleg.
På ei anna side er informasjonen om skulekvardagen berre eitt innhaldslag, nettopp fordi teksten er utforma som ein dialog. Fleire stader i teksten er det ikkje berre skulekvardagen som kjem i sentrum i replikkane, men også relasjonen mellom dei to dialogpartnarane. I utdraget nedanfor spør venen korleis elevane titulerer lærarane, og svaret set spørsmålsteikn ved sjølve spørsmålet:
Sitat 2.
På denne staden i dialogen er det like mykje relasjonen mellom to elevar med ulik skulebakgrunn som kjem i forgrunnen, som kva som kjenneteiknar norsk skulekvardag. Svaret «Kva slags spørsmål er det» viser at den eine eleven har teke det for gitt at ein titulerer lærarar med fornamn, og gir uttrykk for undring over at det finst andre konvensjonar for dette i utanlandske skular, noko som m.a. kjem til uttrykk gjennom nølinga i svaret («for, for»). Her kjem vi attende til spørsmålet om posisjonering (gjennom relasjonen mellom forfattar og innhald), for vi ser her at det er ein distanse mellom den faktiske forfattaren av teksten og eleven som presenterer informasjonen om skulekvardagen. Denne eleven har altså mindre innsikt enn den faktiske forfattaren, som sjølvsagt er godt klar over forskjellar i ulike konvensjonar mellom ulike land sin skulekultur. Dette underbyggjer at det er rimeleg å møte teksten med ein litterær lesemåte for å kunne avdekkje alle innhaldslag.
I analysen av tekstoppbygging vil vi først sjå på global tekstbinding, altså den overordna strukturen i teksten. Som nemnt er teksten prega av at han består av ein dialog som byrjar så å seie in medias res. Det vil seie at det ikkje er nokon innleiing eller presentasjon av tema eller den situasjonen som dialogen finn stad i. Ved ei litterær lesing kunne vi forvente at ein dialog består av anslag, opptrapping, konflikt og avrunding; ved ei sakprega lesing kunne vi forvente innleiing, hovuddel og avslutning: Vi finn ikkje noko av dette i denne teksten. Teksten er imidlertid delt i to delar gjennom eit linjeskifte i midten, der den første delen omhandlar det ekstrafaglege (mat, tidsramme, transport, friminutt) og den andre delen til ei viss grad kjerneverksemda i skulen (fag og rammer for læring).
Dersom vi flytter perspektivet til tekstbindingsmekanismar på lokalnivå, ser vi at det er spørsmål-svar-strukturen som bind fleire av setningane saman. I det første sitatet ser vi at den første replikken blir innleia med eit «ok» til eit spørsmål som ikkje står i teksten, men som kanskje svarer på det implisitte spørsmålet som ligg i oppgåveformuleringa. Dette kan kanskje forklare den in-medias-res-aktige opninga. Det neste svaret frå venen byrjar med ei stadfesting av at ho har forstått det som handlar om mat på skulen, og det blir etterfølgt av eit spørsmål om når skulen startar. Slik blir emneskifta markert gjennom spørsmål og påfølgjande svar. Ved nokre høve byggjer spørsmålet frå venen eksplisitt på det føregåande svaret, noko vi ser i dei to første linjene i dette sitatet:
Sitat 3.
I dette sitatet kjem det fram korleis det overordna temaet om faglegheit inneheld tre delaspekt: fag, bøker og lekser. Den første replikken blir innleia med fag som tema, og går over til å omtale bøkene i faga gjennom ein tema-rema-kopling som igjen går over i ein ny remadel, om lekser.
Ved andre høve innleiar replikken til venen med ei oppfølging av eit tema (t.d. siste replikk i sitat 3), men avsluttar replikken med spørsmål som skiftar tema (t.d. siste setning i sitat 3). Med andre ord blir alle tema veldig kort omtalt, dei går snøgt over i andre tema som har ein slags affinitetsrelasjon, men replikkane kan også avslutte med temaskifte. Ei sakprega lesing vil kunne etterlyse ein tydelegare struktur der kvart tema blir omhandla i eigne avsnitt, men i ei litterær lesing (av ein dialog) framstår replikkane som truverdige gjennom å utvikle ein dialog der det tilsynelatande er interessene til dialogpartnarane som gir hyppige overgangar mellom tema. Kommentaren «Vi var mye lengre på skolen da» støtter inntrykket av ein truverdig dialog. Denne kommentaren refererer til opplysingane ovanfor i elevteksten om kor lenge skuledagen varer («vi starter klokka 08.30 hver morgen …»)og er ei moderering av den føregåande setninga. Slik lukkast venen i å stadfeste samtalepartnaren i å hente inn informasjon som er nemnt tidlegare i samtalen, samtidig som temaet (forskjellar i praksis med lekser) blir utreia. Tekstforfattaren let den dialogiske og sosiale relasjonen mellom dei to samtalepartnarane ta plass, noko som får konsekvensar for struktureringa av informasjon som handlar om skuledagen.
Analysen av tekstoppbygging viser at teksten har ein struktur som kan forståast på ulike måtar, men at det først og fremst er ei lesing av teksten som ein dialog som synleggjer strukturen som logisk, sjølv om han er assosiativ.
Den siste funksjonskompetansen som ligg til grunn for analysen vår, er språkbruk, og vi vil særleg undersøkje den språklege stilen. På den eine sida er skildringane av skuledagen prega av å vere saklege og verdinøytrale. Dette ser vi t.d. i sitat 1 i skildringa av når skulen byrjar og sluttar; ein kunne førestelle seg at eleven kunne gitt kritiske eller positive vurderingar av lengda på skuledagen, men det skjer ikkje, og dette er representativt for skildringane av eigenskapane til skulen. På den andre sida er sjølve dialogen prega av å vere ei truverdig framstilling av ein samtale mellom to ungdommar. Dette kjem til uttrykk i utsegn som «Ok, skjønner!», «Helt seriøst?» og «Hva slags spørsmål er det?» som markerer affektive reaksjonar på det som blir sagt (jf. Martin & White, 2005). Der informasjonen om skuledagen er affektlaus, er nokre av replikkane affektive gjennom å uttrykkje overrasking over forskjellane mellom skulekulturar i to ulike land. Dialogforma opnar for eit register med stilistiske trekk som vi ikkje vil forvente (eller akseptere) i ei sakprega skildring. Med ein litterær lesemåte framstår ikkje den munnlege stilen med affektive innslag som konvensjonsbrot, men tvert om som ei truverdig framstilling av ein samtale mellom to ungdommar som samtidig gir relevant og truverdig informasjon om skuledagen.
Teksten som ligg til grunn for analysen, er valt fordi vurderingane av han spriker. Formålet med analysen har vore å undersøkje eigenskapane til teksten for å få innblikk i kva trekk ved han som gjer han til ein risikotekst. Risikotekstar er utmerka anten av eigenskapar som vurderingsdimensjonane ikkje fangar opp, eller at dei på ulike måtar bryt med forventingane til vurderarane, t.d. gjennom innslag av tabuord, vald, sex og munnleg språk.
Analysen av kommunikasjonsdimensjonen ved teksten viser at forståinga av posisjonering, adressering og orientering er avhengig av om ein vel ein litterær eller ein sakprega lesemåte. Dette inneber ein risiko for at teksten ikkje svarer til dei forventingane som ein vurderar møter teksten med. Med andre ord må ein lesar justere fordommar etter kvart som han les teksten for å kunne orientere seg mot det meiningsproduserande potensialet til teksten. Denne justeringa skjer gjennom ei lesing der møtet med enkeltdelar av teksten fører til ein revisjon av forventingane til lesaren om kva teksten som heilskap uttrykkjer. Med andre ord krev han ein lesemåte som følgjer rørslene til ein hermeneutisk sirkel der heilskapen blir forstått i høve til delane, og omvendt at delane blir forstått i høve til heilskapen. Når nokre vurderarar gir teksten karakteren 5 og andre 1 på området kommunikasjon, kan det kanskje lesast som ein indikasjon på om vurderarane oppfattar det som mogleg å justere fordommar, gitt at dei skal vurdere teksten som svar på ei oppgåve ut frå bestemte kriterium. Denne justeringa av fordommar, som inneber ei justering av lesemåte frå ein sakprega til ein litterær, er truleg ein føresetnad for å godta inferensar i teksten og det at teksten ikkje posisjonerer lesaren på ein tydeleg måte.
I analysen har vi sett at innhaldet i elevteksten er sakleg, relevant og utdjupa. I tillegg ser vi at det gjennom litterær lesemåte kjem ytterlegare innhaldslag fram. Teksten isceneset to karakterar gjennom ein dialog, og ein av dei har mykje relevant kunnskap om norsk skule. Imidlertid får denne karakteren spørsmål frå venen som ho opptrer som overraska og nølande til, noko som er eit uttrykk for at den faktiske forfattaren har meir innsikt enn «ekspertkarakteren». På den måten kan det altså seiast at tekstforfattaren nærmast «skjuler» kunnskapen sin, ettersom vi berre får tak i innhaldet gjennom inferensar i dialogen. Dersom ein forventar ein tekstforfattar som vender seg eksplisitt til lesaren (eit «du»), blir dette eit risikotrekk. For å oppfatte innhaldslaget som ligg i dialogen, krev det ei justering av fordommane ein har om korleis ein skildrande tekst er meir eksplisitt og denotativ enn litterære tekstar som gjerne er meir konnotative, og der meininga må lesast mellom linene.
Analysen av tekstoppbygging viser at teksten har ein struktur, men at det er først og fremst dersom ein les teksten som ein dialog at strukturen framstår som logisk, sjølv om han er assosiativ. Dette er eit risikotrekk i og med at fleire vurderarar truleg vil forvente seg at beskrivande tekstar har ei oppbygging på makronivå med innleiing, midtdel og avslutting, og på mesonivå med avsnittsinndeling. Vi har vist at dialogforma opnar for andre former for koherens, men at desse først trer fram dersom ein vel ein litterær lesemåte.
I analysen av språkbruk har vi sett at den språklege stilen er prega av verdinøytrale utsegn om skuledagen og meir affektive utsegn i den delen av diskursen som utviklar relasjonen mellom dei to samtalepartnarane. Innslag av affektive utsegn vil truleg vere eit brot på normene for beskrivande tekstar, men dei tilfella vi finn i elevteksten er temmeleg harmlause (jf. vald og sex), og derfor er dei truleg ikkje noko alvorleg risikotrekk.
For å oppsummere analysen av risikotrekk: Vi har vist at teksten faktisk skildrar skulekvardagen, men at det er dialogforma som medfører ein risiko for at vurderarar ikkje les teksten som eit adekvat svar på oppgåva. Vi kan med andre ord seie at eleven som har skrive denne teksten, «gamblar med kontrakten» som blir etablert i dei relasjonane som ligg i modellen til McNamara (1996).
Eit resultat på ein skriveprøve er frukta av interaksjonen mellom elev og oppgåve på den eine sida, og mellom vurderar, kriterium og elevtekst på den andre (sjå McNamaras modell i figur 1). Vi har i denne artikkelen undersøkt ein tekst som er vurdert med divergerande resultat. Dette tyder på at det er noko i desse interaksjonane som fungerer suboptimalt. Vi vil no drøfte funna i lys av oppgåveutvikling, kriterium og vurderingsrettleiing.
Det er openbert at denne oppgåva opnar for mange ulike måtar å løyse ho på, noko som gjeld alle skriveoppgåver. Derfor går det ikkje umiddelbart å seie at denne elevteksten løyser eller ikkje løyser oppgåva. Vi kan derimot konstatere at eleven har tolka oppgåva på ein måte som gir vurderarane utfordringar i å applisere vurderingskriteria. Testteoretisk er dette uheldig – ein ønskjer ikkje uventa variasjon av desse grunnane (sjå Messick, 1996, om construct-irrelevant variance). Spørsmålet er imidlertid om denne og liknande tilfelle av oppgåvetolkingar impliserer strammare typar oppgåver eller rammer for oppgåver, t.d. namngitte sjangrar? Vil slike innstrammingar vere hemmande for at enkelte elevar får vise skrivekompetansen sin? På ei anna side kan vi med (Blikstad-Balas og Hertzberg, (2015) spørje om fråvære av sjangerrammer gjer det vanskelegare for elevane å skrive. Dersom oppgåva t.d. hadde bedt elevane om å skrive eit brev til denne venen, ville dei fått skrive innan rammer som truleg er kjende for dei fleste. For eleven vår hadde ei brevoppgåve gjort det nødvendig å ta andre val og kanskje avgrensa det lystbetonte med skrivinga. Det hadde også truleg ført til mindre sprik mellom vurderarane og mindre risiko for å (feilaktig) bli klassifisert på nivå 1 på vurderingsområdet kommunikasjon. Analysen vår gir ingen eintydige implikasjonar for oppgåveformulering. Dersom oppgåverammene hadde vore strammare, ville handlingsrommet til eleven minska utilrådeleg. Dersom prøvene framleis bruker tilsvarande form på oppgåvene, har vi risiko for variasjon og feilaktige klassifiseringar som kan få negative konsekvensar for den forståinga elevar har av seg sjølve som skrivarar. Derfor må ein i det vidare arbeidet med skriveprøvene finne måtar å balansere kravet om tydelegheit på kva elevane skal gjere med tilstrekkeleg vide rammer for at dei skal kunne realisere heile potensialet sitt.
Eit sentralt spørsmål er kva implikasjonar denne teksten, og analysen ovanfor, har for vidareutvikling av kriterium for vurdering. Det er openbert at kriteria ikkje er eintydige nok til å sikre akseptabelt samsvar mellom vurderarane i slike tilfelle som denne teksten. På ei anna side vil kriterium med nødvendigheit vere generaliseringar av kvalitetstrekk. Det vil seie allmenne nok til å kunne skildre dei fleste tekstane, sjølv om det inneber at kriterium sjeldan fullt ut vil kunne skildre enkelttekstar. Derfor er enkelttilfelle av sprikande vurdering ikkje nødvendigvis ein indikasjon på at kriteria ikkje fungerer, men derimot eit signal om behovet for å komplettere kriteria med andre vurderingsinstrument. Derfor vil vurderingsrettleiingar vere eit nødvendig supplement til kriterium.
Elevteksten og analysen ovanfor indikerer at det vil vere nødvendig å inkludere døme på spriktekstar i vurderingsrettleiingane. Gjennom å gjere det, vil ein kunne demonstrere korleis kriteria kan brukast i vurderinga av atypiske elevtekstar. Dette vil ikkje kunne eliminere sprik i vurderingssamsvar, men vil kunne synleggjere korleis vurderarar må halde seg kritiske til kriteria og utøve profesjonelt skjønn ved vurdering for å få auge på gode kvalitetar ved elevtekstane. Analysen har vist at dette m.a. vil krevje fleksibilitet i val av lesemåtar som er adekvate for å møte det mangfaldet av måtar elevar kan løyse skriveoppgåver på. Samtidig må rettleiingane innehalde typiske døme frå elevtekstar på dei ulike vurderingsområda, men i ein balanse med desse risikotekstane som krev ei nyansert forståing av vurderingskriteria.
Det endelege formålet med skriveprøvene er at dei skal vere ein ressurs i skriveopplæringa til lærarar i skulen. Då er det eit spørsmål om kva lærarar skal gjere i møte med risikotekstar som til dømes han som er undersøkt i denne artikkelen. Informasjonen frå vurderinga av teksten kan brukast til to hovudformål: revisjon av undervising eller respons til eleven. Det er uansett viktig at lærarane får verktøy for å få auge på kvalitetane i elevtekstane og byggje vidare på det elevane faktisk kan og meistrar. Så er det eit spørsmål om kva ein gjer med det som ikkje fungerer i tekstane. Dersom ein lærar skulle gitt ein elev respons på «Skolehverdagen», vil det vere viktig å vise eleven dei mange gode kvalitetane ved teksten: at han lukkast med å skildre skulekvardagen gjennom ein dialog. Samtidig er det nødvendig å drøfte med eleven at dette er ein tekst som skil seg frå dei andre elevtekstane og at han truleg ikkje vil svare til forventingane som lærarar har ut frå oppgåveteksten. Korkje gode kvalitetar eller risikotrekk vil bli formidla til eleven på ein føremålstenleg måte dersom responsen består i å gi eleven sifferresultat eller ei matrise der det er sett pluss og minus på (generelle) kriterium. Responsen må heller vere selektiv for å framheve nokon kvalitetar og nokon utviklingstrekk (Kvithyld & Aasen, 2011). På ei anna side treng ikkje læraren å bruke informasjonen frå vurderingane til å gi direkte respons til eleven. Læraren kan heller bruke denne informasjonen til å revidere eiga undervising, altså leggje vekt på visse tema (t.d. funksjonskompetansen kommunikasjon) for heile elevgruppa, der ein meir sympatisk tilnærming vil innebere at læraren bruker utdrag frå elevtekstar for å demonstrere korleis ein kan bruke posisjonering på ulike måtar.
Vi som utviklar skriveprøvene må lage vurderingsverktøy for at profesjonelle vurderarar skal kunne utføre valide og reliable vurderingar. Desse vurderingane skal altså gi empiri for utvikling av dei læringsstøttande skriveprøvene som lærar frivillig kan gjennomføre. I og med at det er desse læringsstøttande prøvene som er det endelege målet, må vi tenkje læraren inn i McNamaras (1996) modell. For læraren er resultatet frå prøven ikkje sluttproduktet, men ei byrjing på vidare skriveopplæring. Dersom vi skal kunne bidra til å realisere dette formålet, må ressursane som følgjer med dei læringsstøttande skriveprøvene sikre god vurdering og god oppfølging av resultata.
Vi ønskjer å takke redaksjonen, fagfellevurderarar og James Paul Gee for nyttige innspel i skriveprosessen.
Anderson, S., & Hertzberg, F. (2005). Å ta en risk – ’Utfordrerne’ blant eksamensskriverne. In K. L. Berge, L. S. Evensen, F. Hertzberg, & W. Vagle (Eds.), Norskeksamen som tekst (pp. 275–301). Oslo: Universitetsforlaget.
Bakhtin, M. (1981). The Dialogic Imagination. Austin: University of Texas Press.
Barthes, R. (1991). Tekstteori. In A. Kittang, A. Linneberg, A. Melberg, & H. H. Skei (Eds.), Moderne litteraturteori. En antologi (pp. 79–85). Oslo: Universitetsforlaget.
Berge, K. L. (2009). Er tolkningsfellesskap mulig å oppnå i skriveprøver? In O. K. Haugaløkken, L. S. Evensen, F. Hertzberg, & H. Otnes (Eds.), Tekstvurdering som didaktisk utfordring (pp. 44–54). Oslo: Universitetsforlaget.
Berge, K. L. (2012). Hva er det systemisk-funksjonell grammatikk ikke gjør? Om forskjellen mellom SFL og tekstvitenskap. In T. Hestbæk Andersen & M. Boeriis (Eds.), Nordisk Socialsemiotik. Pædagogiske, multimodale og sprogvidenskabelige landvindinger. (pp. 299–318). Odense: Syddansk Universitetsforlag.
Berge, K. L., Evensen, L. S., & Thygesen, R. (2016). The Wheel of Writing: a model of the writing domain for the teaching and assessing of writing as a key competency. The Curriculum Journal, 1–18. http://doi.org/10.1080/09585176.2015.1129980
Berge, K. L., & Skar, G. (2015). Ble elevene bedre skrivere? Intervensjonseffekter på elevers skriveferdigheter og skriveutvikling (Rapport 2). Trondheim: Høgskolen i Sør-Trøndelag, Avdeling for lærer- og tolkutdanning.
Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21(1), 5–31. http://doi.org/10.1007/s11092-008-9068-5
Blikstad-Balas, M., & Hertzberg, F. (2015). Fra sjangerformalisme til sjangeranarki. Norsklæreren, 39(1), 47–51.
Eckes, T. (2012). Operational Rater Types in Writing Assessment: Linking Rater Cognition to Rater Behavior. Language Assessment Quarterly: An International Journal, 9(3), 270–292.
Eckes, T. (2015). Introduction to many-facet Rasch measurement: Analyzing and evaluating rater-mediated assessments (2nd ed). Frankfurt am Main: Peter Lang.
Engelhard, G. (1994). Examining rater errors in the assessment of written composition with a many-faceted Rasch-model. Journal of Educational Measurement, 31(2), 93–112.
Evensen, L. S. (2010). En gyldig vurdering av elevers skrivekompetanse? In J. Smidt (Ed.), Rammer for skriving: om skriveutvikling i skole og yrkesliv (pp. 13–31). Trondheim: Tapir akademisk forlag.
Freedman, S. W. (1979). How characteristics of student essays influence teachers’ evaluations. Journal of Educational Psychology, 71(3), 328–338. http://doi.org/10.1037/0022-0663.71.3.328
Fritz, E., & Ruegg, R. (2013). Rater sensitivity to lexical accuracy, sophistication and range when assessing writing. Assessing Writing, 18(2), 173–181. http://doi.org/10.1016/j.asw.2013.02.001
Gee, J. P. (2015). Literacy and Education. New York: Routledge.
Kress, G. R. (2003). Literacy in the new media age. London: Routledge.
Kronholm-Cederberg, A. (2009). Skolans responskultur som skriftpraktik: gymnasisters berättelser om lärarens skriftliga respons på uppsatsen. (Doktorsavhandling, Åbo Akademi). Retrieved from http://www.doria.fi/handle/10024/52546
Kvithyld, T., & Aasen, A. J. (2011). Fem teser om funksjonell respons på elevtekster, Viden Om Læsning, 5(9), 10–16.
Langer, J. A. (2011). Envisioning knowledge: building literacy in the academic disciplines. New York: Teachers College Press.
Lumley, T. (2002). Assessment criteria in a large-scale writing test: what do they really mean to the raters? Language Testing, 19(3), 246–276. http://doi.org/10.1191/0265532202lt230oa
Martin, J., & White, P. (2005). The Language of Evaluation: Appraisal in English. Basingstoke: Palgrave.
Matre, S., Berge, K. L., Evensen, L. S., Fasting, R. B., Solheim, R., & Thygesen, R. (2011). Developing National Standards for the Teaching and Assessment of Writing. Rapport frå forprosjekt Utdanning 2020. Trondheim: Nasjonalt senter for skriveopplæring og skriveforsking.
Matre, S., & Solheim, R. (2014). Lærarsamtalar om elevtekstar–mot eit felles fagspråk om skriving og vurdering. In R. Hvistendahl & A. Roe (Eds.), Alle tiders norskdidaktiker (pp. 219–244). Oslo: Novus forlag.
McNamara, T. F. (1996). Measuring second language performance. New York: Longman.
Messick, S. (1996). Validity and washback in language testing. Language Testing, 13(3), 241–256. http://doi.org/10.1177/026553229601300302
Miller, C. R. (1984). Genre as social action. Quarterly Journal of Speech, 70(2), 151–167. http://doi.org/10.1080/00335638409383686
Moss, P. A. (2008). Sociocultural Implications for assessment I. In P. A. Moss, D. Pullin, J. P. Gee, E. Haertel, & L. J. Young (Eds.), Assessment, equity, and opportunity to learn (pp. 222–258). Cambridge: Cambridge University Press.
Myford, C. M., & Wolfe, E. W. (2003). Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part I. Journal of Applied Measurement, 4(4), 386–422.
Myford, C. M., & Wolfe, E.W. (2009). Monitoring Rater Performance Over Time: A Framework for Detecting Differential Accuracy and Differential Scale Category Use. Journal of Educational Measurement, 46(4), 371–389. Retrieved from http://www.jstor.org/stable/25651523
Otnes, H. (Ed.). (2015). Å invitere elever til skriving. Bergen: Fagbokforlaget.
Penne, S. (2013). Skjønnlitteraturens rolle i skolen i et literacy-perspektiv. In D. Skjelbred & A. Veum (Eds.), Literacy i læringskontekster (pp. 43–54). Oslo: Cappelen Damm Akademisk.
Russell, D. R. (1997). Rethinking Genre in School and Society: An Activity Theory Analysis. Written Communication, 14(4), 504–554. http://doi.org/10.1177/0741088397014004004
Sadler, D. R. (1987). Specifying and Promulgating Achievement Standards. Oxford Review of Education, 13(2), 191–209. http://doi.org/10.1080/0305498870130207
Sadler, D. R. (2009). Indeterminacy in the use of preset criteria for assessment and grading. Assessment & Evaluation in Higher Education, 34(2), 159–179. http://doi.org/10.1080/02602930801956059
Skar, G., & Iversen, J. M. (2015). Læringsstøttende prøver i skriving 2014. Teknisk rapport avseende pilotuppgifter HT 2014. Trondheim: Nasjonalt senter for skriveopplæring og skriveforskning.
Skjelten, S. M. (2013). Jakta på kvalitetsforskjellar i elevane sine tekstar. Kva skil gode tekstar frå middels gode? (Opublicerad doktorsavhandling, Universitetet i Oslo).
Smemo, J., & Solem, H. (2015). Skriveoppgaver i skriveprøven. Oppgavedesign, utfordringer og erfaringer. In H. Otnes (Ed.), Å invitere elever til skriving (pp. 63–82). Bergen: Fagbokforlaget.
Tønnesson, J. (2008). Hva er sakprosa. Oslo: Universitetsforlaget.
Weigle, S. C. (1998). Using FACETS to model rater training effects. Language Testing, 15(2), 263–287. http://doi.org/10.1177/026553229801500205
Wolfe, E. W., Song, T., & Jiao, H. (2016). Features of difficult-to-score essays. Assessing Writing, 27, 1–10. http://doi.org/10.1016/j.asw.2015.06.002
Xie, Q. (2015). “I must impress the raters!” An investigation of Chinese test-takers’ strategies to manage rater impressions. Assessing Writing, 25, 22–37. http://doi.org/10.1016/j.asw.2015.05.001
Östlund-Stjärnegårdh, E. (2002). Godkänd i svenska?: Bedömning och analys av gymnasieelevers texter. (Doktorsavhandling, Uppsala universitet). Retrieved from http://urn.kb.se/resolve?urn=urn:nbn:se:uu:diva-1967
1Modellen til McNamara er basert på Kenyon (1992, sitert i McNamara, 1996)
2Desse kriteria er henta frå dei læringsstøttande skriveprøvene som ligg i prøvebanken til Utdanningsdirektoratet. Det er kriteria på midtnivå som er sitert.