Baggrund
Digitaliseringen i Danmark for alvor har slået igennem og betyder, at læsning på skærm er blevet vigtigere end tidligere. Alle danske skoler skulle ved udgangen af 2017 benytte en digital læringsplatform til planlægning og deling af undervisning. Danmark er desuden et af de førende lande i verden, når det kommer til anvendelsen af digitale læremidler (Bundsgaard et al., 2019; Frydensberg et al., 2016; Riise, 2018). En undersøgelse af læremiddelbrugen i danskundervisningen i grundskolen viser, at to ud af de tre mest anvendte læremidler i udskolingen er digitale, og lærerne foretrækker dem (Bundsgaard et al., 2017). Forlagene selv peger desuden også på, at omkring halvdelen af deres salg nu er i form af digitale læremidler, ligesom ICILS fra 2018 peger på, at danske lærere er nogle af dem, der bruger it allermest (Bundsgaard et al., 2019; Riise, 2018). Der er altså grund til at antage, at elever i den danske folkeskole, især i de ældste klasser, læser en stor del af deres læremidler og andre tekster, herunder både fagtekster og litterære tekster, på en skærm. Selvom nogle af teksterne er multimodale, er der stadig også en række lineære tekster på de digitale platform, blandt andet er de fleste instruktioner, oversigter over mål og informerende tekster stadig lineære tekster (se fx dansk.gyldendal.dk).
Mål for læseforståelse
OECD definerer fire typer af nødvendige kompetencer i forhold til at kunne læse (forstå) en tekst: “locating information”, “understanding”, “evaluating and reflecting” og “reading fluently”. De tre første betegner stigende krav til læsekompetencen, mens flydende læsning er en kompetence, der understøtter de andre tre (OECD, 2019). En del af læsekompetencen er at kunne huske det læste for at kunne bruge det til at sammenholde informationer og danne inferens såvel som for at kunne evaluere og reflektere over det læste (Tarchi, 2017). Også den flydende læsning er afhængig af, at læseren kan huske det læste, og hukommelse for tekst er derfor en vigtig forudsætning for læseforståelsen. (Elbro, 2014). Hukommelse for det læste betegnes som et af de lavere niveauer for læseforståelse (Tarchi, 2017). At teste informationshukommelse kan derfor siges at teste et vigtigt element af læsekompetencen og dermed læseforståelsen på lavere niveauer.
Mange af de refererede artikler definerer ikke, hvad de mener med læseforståelse og hvordan en måling operationaliserer dette, måske fordi der ikke er nogen egentlig konsensus om, hvordan man kan forstå begrebet, men i det følgende redegøres for definitioner i de studier, der ligger op ad nærværende.
Mangen et al. (2013) lægger sig op ad OECDs kategorier og taler om læsekompetence på tre niveauer: 1) at finde og bruge information, 2) at integrere og fortolke og 3) at evaluere og reflektere (Mangen et al., 2013). I den samlede opgørelse bruger Mangen et al. dog også blot begrebet læseforståelse om alle resultater. Porion et al. (2016) opererer med tre former for læseforståelse og opgør også resultaterne fordelt på disse tre: 1) overfladelæsning, 2) semantisk forståelse og 3) inferensdannelse, til en vis grad overlappende med Mangen et al. Den samlede konklusion skelner dog ikke mellem de tre niveauer (Porion et al., 2016). Hermena et al. (2017) definerer ikke nærmere, hvordan læseforståelsesbegrebet operationaliseres, men undersøger blot ”different aspects and details of the preceding text” (Hermena et al., 2017, s. 3). Rasmusson skelner heller ikke mellem forskellige niveauer af læsning og opgør sine resultater som et samlet hele (Rasmusson, 2015). Selvom læseforståelsen defineres på forskellige niveauer, er det altså ikke sikkert, studierne opgør disse.
Tidligere studier
Studier frem til begyndelsen af 1990’erne viste, at læseforståelse, informationshukommelse og læsehastighed var ringere på digitale medier end ved papirbåren tekstlæsning, fx viste Dillon så tidligt som i 1992 i et review, at læsning på skærme gav ringere læseresultat, og Noyes og Garland bekræftede dette i 2008 (Dillon, 1992; Garland & Noyes, 2008). Nyere studier efter 1990’erne viser dog generelt et noget mere varieret billede (Jabr, 2013). Dette tilskrives især, at computerskærme er blevet af bedre kvalitet og at læsere i dag i langt højere grad er tilvænnet skærmlæsning (Garland & Noyes, 2008; Porion et al., 2016).
I denne gennemgang fokuseres på studier, der er mindre end ca. ti år gamle, idet både elevers tilvænning til skærm såvel som skærmenes forbedrede kvalitet kan have betydning for læsningen. En grundig gennemgang, der rækker længere tilbage, kan ses i fx Porion et al. (2016) og Clinton (2019).
Læsning af forskellige tekstmodaliteter
Skærmtekster er ofte multimodale. For at sikre ensartethed undersøges i mange studier læsning af enkeltmodale, lineære tekster således, at de læste tekster har samme modalitet. Mangen et al. (2013) viser, at når elever læser de samme lineære tekster på hhv. computerskærm og papir, scorer eleverne signifikant bedre i en multiple choice læseforståelsestest efter at have læst på papir, og dette gælder uanset teksttype. Studiet omfattede 72 elever i 10. klasse i Norge og tilsvarende har været vist i Sverige, hvor især informative tekster læses sikrest på papir (Mangen et al., 2013; Rasmusson, 2015). Dog viser flere andre, nye studier ikke nogen signifikant forskel i læseforståelse mellem læsning på computerskærm eller papir (Ball & Hourcade, 2011; Porion et al., 2016; Sackstein et al., 2015). PISA 2009 viser, at elever i 15-års alderen læser fagtekster bedre på papir (Mejding, 2011). Et ganske nyligt metastudie over studier mellem 2008 og 2018 viser dog, at læseudbyttet stadig er beskedent, signifikant ringere ved læsning på skærm end på papir (Clinton, 2019).
Tidligere studier viser altså meget blandede resultater men med en tendens til en beskeden forskel mellem skærmlæsning og papirlæsning, hvor læseforståelse er ringere ved skærmlæsning. Dette gælder for lineære, enkeltmodale, informerende tekster.
Hukommelse for det læste kan også omtales som informationshukommelse, og her viser nogle studier ens, nogle viser ringere informationshukommelse ved læsning skærm (Connell et al., 2012; Johnson & Nádas, 2009). Der er dog kun ganske små forskelle, og dette bekræftes af Clintons (2019) nyere metastudie, der også viser, at forskellen især ses ved læsning af faglige tekster men ikke ved narrativer. Også hvad angår hukommelse for det læste ses altså meget blandede resultater men med en tendens til, at læseren husker lidt bedre, når der læses på papir.
Læsning af multimodale tekster viser et andet resultat. e-Pirls viser, at danske elever i 4. klasse læser signifikant bedre på skærm end på papir. Samtidig viser undersøgelsen også, at der er større spredning mellem elevscore ved læsning af skærmtekster og at eleverne generelt har bedre læseforståelse ved læsning af skønlitterære tekster end informerende tekster (Mejding & Neubert, 2016). I e-Pirls har eleverne adgang til teksterne hele tiden, og der testes for de højere niveauer af læseforståelse. Dette afviger fra en del ovennævnte studier, hvor der testes hukommelse for tekst, og testpersonen ikke kan genlæse teksten. e-Pirls viser desuden, at er der ikke nogen signifikant forskel mellem drenges og pigers score ved læsning af skærmtekster. Studiet viser desuden, at drenge forstår tekster bedre ved læsning på skærm (Mejding & Neubert, 2016). Dette resultat kan lede til en formodning om, at drenge profiterer af læsning på skærm. Andre undersøgelser kommer til lignende konklusioner og anbefaler, at der gennemføres flere studier med fokus på kønsforskelle (Kong et al., 2018).
Læsehastighed
En række studier viser, at læsehastigheden er nedsat ved læsning på skærm (Connell et al., 2012; Daniel & Woody, 2013; Hue et al., 2014; Kerr & Symons, 2006; Mangen et al., 2013; Rasmusson, 2015), mens dette afkræftes af Clintons metastudie (2019). En del af forklaringen på den længere læsetid kan være, at læseren oftere forstyrres under læsning af tekst på skærm (Daniel & Woody, 2013). Dette gælder kun for undersøgelser, hvor skærmen har været tilsluttet internettet og således ikke for set-ups, hvor forstyrrelser har været elimineret, fx ved at eleverne læser nøjagtigt samme tekster som pdf-filer på enheder, der ikke kan komme på internettet. Længere læsetid medfører ikke bedre læseforståelse (fx Trakhman et al., 2019). Dette peger på vigtigheden af, at skærmlæsning og papirlæsning udføres under de samme konditioner fx i forhold til forstyrrende elementer. Skærmlæsningen må ikke kunne forstyrres.
Forklaringer på forskelle på læseforståelse på skærm eller papir
Flere studier forsøger at forklare forskellene mellem læseresultaterne på papir og skærm. Mangen et al. tilskriver det blandt andet, at der skal scrolles på computerskærmen, at papirlæsere har adgang til og overblik over hele teksten på en gang og at eleverne, der i dette studie læste på computer, skulle skifte mellem to skærmbilleder ved besvarelsen af spørgsmålene, der blev besvaret på skærmen (Mangen et al., 2013).
I andre undersøgelser fortolkes forskellene som elevernes ubevidste metakognitive opfattelse af skærm- hhv. papirlæsning, som fx at skærmlæsning måske opfattes som uforpligtende lystlæsning mens papirlæsning er alvorligt, eller fysiologiske faktorer som fx øjentræthed ved computerskærmslæsning (Ackerman & Lauterman, 2012; Solak & Solak, 2014). Hermena et al. forklarer forskelle ved mediets beskaffenhed, fx bogstavstørrelser, belysning, vinkling af teksten osv. (Hermena et al., 2017). Der er altså en række fortolkninger af den ringere læseforståelse på skærm, som forklares med både skærmens begrænsninger såvel som forsøgsdesignet, der peger på, at forholdene for de to grupper skal være ens, men også, at skærmen skal have en kvalitet, der ikke generer øjnene.
Skærmtyper
De fleste studier har været udført med læsning på computerskærm (Ackerman & Goldsmith, 2011; Ackerman & Lauterman, 2012; Ball & Hourcade, 2011; Mangen et al., 2013; Rasmusson, 2015; Sidi et al., 2016) og kun få har udført studier med læsning på tablets (Chen et al., 2014; Hermena et al., 2017; Hue et al., 2014; Sackstein et al., 2015), hvor i hvert fald nogle af de forhold, der gør sig gældende på computerskærmen, kan elimineres, fx vinklen mellem læser og tekst og måden man kan sidde med teksten på.
Både Hermena et al. (2017), Sackstein et al. (2015) og Chen et al. (2014) viser, at der ikke er nogen forskel i læseforståelse ved læsning på papir eller iPad. Noget kunne altså tyde på, at det især er læsning på computerskærme, der kan give ringere læseforståelse, langsommere læsning og ringere informationshukommelse.
Når årsager som fysiske forhold i form af skærmbelysning og fysiologiske faktorer i nogle tilfælde har vist sig at have betydning (Mangen et al., 2013), er det væsentligt at undersøge, om tabletten, der i højere grad ligner papiret mht. muligheden for at placere den i forhold til foretrukken læsestilling og overblik over teksten, har betydning. Som det fremgår, er der kun få studier, der har sammenlignet læsning på iPad med læsning på papir.
Forsøgspersonernes alder
De fleste nyere studier har været udført med studerende på collegeniveau og kun få studier er gennemført med elever på folkeskoleniveau, herunder e-Pirls med elever fra 4. klasse (Clinton, 2019). Der er således ikke mange undersøgelser, der har været udført med skoleelever i udskolingen.
Hvad ved vi indtil nu?
Det er derfor stadig ikke afklaret, om det har betydning for skolelevers læseforståelse eller hukommelse for det læste, om de læser traditionelle, lineære, informerende tekster på skærm eller papir, og dette har ikke været undersøgt i en dansk sammenhæng med skoleelever i det hele taget. Elever i skolens ældste klasser skal kunne læse for at lære, og en gennemsnitlig skoleklasse må antages at have andre og mindre udviklede læsekompetencer end collegestuderende. Det er derfor væsentligt at undersøge danske skoleelevers udbytte af at læse på skærm eller papir.
Studiets formål
På baggrund af ovenstående tilrettelagdes et studie mhp. at undersøge, om der er forskel på danske elevers informationshukommelse, når de læser den samme tekst på hhv. iPad eller papir. Studiet fokuserer dermed først og fremmest på en eventuel forskel mellem de to læsemedier. Sekundært undersøges også, om der er særlige forskelle relateret til køn, idet der ikke er mange tidligere studier, der har fokuseret på dette aspekt, og enkelte studier viser, at drenge har fordel af at læse på skærm, og til slut undersøges, om de to forhold korrelerer.
Hypotesen er, at der ikke er nogen forskel på elevernes teksthukommelse uanset læsemedium, fordi elever i dag er tilvænnet læsning af digitale tekster. Dog kan det muligvis forventes, at drenge vil præstere bedre på skærm end på papir (Mejding & Neubert, 2016).
Metode
Til studiet blev der konstrueret tre tekster på baggrund af fagtekster fra internettet, der alle er typiske opslagstekster, elever ville kunne lede efter i forbindelse med fx opgaveskrivning. Teksterne blev derefter let omskrevet, så de fik en tilpas detaljerigdom, for at skabe mulighed for flere testspørgsmål og for at lave en passende tekstlængde (Norman & Furnes, 2016). Målet var, at testen skulle kunne gennemføres på en lektion a 45 minutter.
Tekstkonstruktion
De tre tekster er hhv. Kejserkåbesommerfuglen (kombineret af to opslag for at inkorporere flere detaljer, antal ord: 717, lix: 42), Om byen Rom (afkortet og gjort lettere grundet højt lixtal, antal ord: 762, lix: 48) og Overnatning i naturen (let omskrevet, antal ord: 776, lix: 39). Teksterne var således ukendte for eleverne.
Som et estimat for teksternes sværhedsgrad er anvendt læsbarhedsindex (lix-tal), der udregnes på baggrund af sætningslængde og antallet af lange ord. Lix beregnes som lix-tal = (antal ord i teksten/antal sætninger) + (antal ord > 6 bogstaver*100/antal ord i teksten) (Mejding et al., 2016, s. 370). Lixtal giver en indikation af teksters sværhedsgrad, om end det ikke er fuldt dækkende. Ved beregning af lix tages der ikke hensyn til, om ord fx genkendes af eleverne, om det samme, lange ord gentages mange gange eller om sætningers opbygning er særligt kompliceret, men lix benyttes alligevel som metode til angivelse af teksters sværhedsgrad, således fx i Pirls (Mejding et al., 2016). Lixtallene i dette studies tre artikler er svarende til middelsvære til svære tekster fra fx dagblade og i populærvidenskabelige artikler og højere end Pirls (der gennemføres i 4. klasse og ligger på gennemsnitligt 28 varierende fra 21 til 38 (Mejding et al., 2016)). I dette studie skelnes ikke mellem de tre forskellige tekster, da sværhedsgraden i dem alle er høj.
Hverken skriftstørrelse, font eller brug af serif har signifikant indflydelse på læsehastigheden, men der er fundet en beskeden, ikke-signifikant fordel ved serif-font (Georgia) i str. 14 (Beymer et al., 2008). Teksterne blev derfor sat op med Times New Roman, der har samme egenskaber som Georgia, størrelse 14.
Teksterne til iPad blev lagt ind i app’en iBooks, hvor de fremtræder som pdf-filer og fylder hele skærmen, således at skriftstørrelsen minder om papirets. Det var muligt at forstørre eller formindske skriftstørrelsen på en iPad. I alt blev teksten lagt ind på 24 nummererede iPads af typen iPad 2, skærmstørrelse 9,7’’ multitouch med wi-fi, der var slået fra.
Måleværktøj: Multiple choice-test
Test af elevernes informationshukommelse blev udført ved, at eleverne skulle besvare en multiple choice test med i alt 35 spørgsmål. Eleverne skulle kunne huske det læste i form af enten én information eller to informationer i sammenhæng. I opgørelsen i nærværende artikel er disse to ikke adskilt (jf. fx Hermena et al., 2017; Rasmusson, 2015). Umiddelbart er opgaverne, der omhandler informationer fra to steder i teksten, på et højere kompetenceniveau end de opgaver, der omhandler hukommelse for informationer fra et enkelt sted i teksten, men opgavetyperne er forbundet med hinanden, idet man skal kunne huske detaljerne fra teksten for at kunne huske kombinationen af to detaljer.
Testene har ikke været igennem psykometriske beregninger for at validere items grundet de udgifter, der ville være forbundet hermed i denne relativt lille undersøgelse. Det fører til, at det er muligt, at der kan være tale om flere dimensioner, samt at kompetencescoren ikke er kontinuert. Umiddelbart giver det ikke anledning til store udfordringer, da alle elever får de samme tekster og opgaver. Dermed vil alle blive udsat for samme testforløb, og dermed er det muligt at bruge rå-scorerne fra alle testopgaverne. Dette er i overensstemmelse med en række andre lignende studier (fx Hermena et al., 2017; Norman & Furnes, 2016; Porion et al., 2016).
I tillæg til selve testen stilledes en række baggrundsspørgsmål om elevernes læsevaner, fx om, hvorvidt de læste eller foretrak at læse på papir eller et digitalt læsemedie.
Validering af måleværktøj: Pilottest
Tekster og multiple choice blev pilottestet på elever fra to 9. klasser to måneder før selve undersøgelsen (n = 32), 14 læste på iPad, 18 på papir. Efterfølgende blev eleverne interviewet mhp. at undersøge læsetid og teksternes sværhedsgrad, og resultaterne opgjort mhp. at undersøge, om der var spørgsmål, der tydede på at være for lette eller svære eller uklart formulerede. Enkelte elever havde svært ved at forstå to af spørgsmålene, og disse blev derfor omformuleret. Pilottesten medførte ingen tekstændringer, da eleverne i pilottesten udtalte, at teksterne havde en kendt og passende udformning og sværhedsgrad. Teksternes sværhedsgrad anses derfor også på den baggrund at være passende. Læsetiden var i gennemsnit 16 min. Der var ikke nogen signifikant forskel mellem de to læsemedier i pilottesten. Selve testen blev derfor gennemført med de tre tekster.
Stikprøven
Den endelige test er gennemført på en stikprøve bestående af elever (n = 247) fra 8. og 9. klasse fra fem forskellige folke- og efterskoler på Sjælland i perioden marts 2018 til august 2018. Fire respondenter blev taget ud, da eleverne havde så store læsevanskeligheder, at testen var svær eller umulig at gennemføre og to elever nåede ikke alle tre tekster og er derfor også taget ud. Disse i alt seks elever fordelte sig på både papir og iPad. Disse udgjorde også testens outliers, således at disse samtidig blev taget ud. To elever udgik grundet snyd med testen. I alt 239 elever indgår i undersøgelsen (papir n = 117, iPad n = 122). Fordelingen var 104 drenge og 128 piger, 7 har ikke ønsket at svare på deres køn, og disse elever udgår af opgørelser, der relaterer til køn.Stikprøvens størrelse er beregnet ud fra en forventet standardafvigelse på σ = 5, idet pilottesten viste en standardafvigelse på 5,1 for papir og 4,9 for iPad. Standardfejlen i pilottesten var 1,15 for papir og 1,36 for iPad, den gennemsnitlige standardfejl er derfor u = 1,255: n = 8(σ/u)2 (Madsen, 2017). Dette udregnedes til 126,4 personer i hver gruppe svarende til en stikprøvestørrelse på 253.
Frafald grundet sygdom medførte en lidt lavere stikprøve.
Selvom tildelingen af læsemedier til eleverne har været tilfældig, er det ikke ensbetydende med, at de to grupper er ens. Yderligere opvejer forsøgets opsætning, i form af, at hver elev kun får det ene læsemedie, ikke, at der kunne være forskel imellem grupperne. For at undersøge de to grupper er fremstillet en oversigt over stikprøven (tabel 1), der viser centrale karakteristika, der er spurgt om i baggrundsskemaet til respondenterne. En grundigere validering fx på baggrund af en anerkendt læsetest ville have givet et sikrere estimat på gruppernes enshed, men også dette vurderedes til at blive et fordyrende led i denne undersøgelse og derfor ikke praktisk realiserbart.
| Papir-gruppen | iPad-gruppen | |
|---|---|---|
| Antal elever i alt | 122 | 117 |
| Antal drenge (i alt 104) | 50 | 54 |
| Antal piger (i alt 128) | 64 | 64 |
| Andel drenge | 0,44 | 0,46 |
| Andel piger | 0,56 | 0,54 |
| Gennemsnitlig alder | 15,54 | 15,45 |
| Gennemsnitlig læsetid | 926 sek. | 925 sek. |
| Læselyst (score fra 1–5) | 2,7 | 2,4 |
Forskellen mellem de to grupper mht. alder, gennemsnitlig læsetid og læselyst-score er undersøgt ved hjælp af en t-test, og den viser, at der på ingen af disse parametre er en signifikant forskel mellem de to grupper. Fordelingen i de to grupper på køn er også lig hinanden.
Eleverne deltog i testen på egen skole. Idet det antages, at elever i samme klasse har modtaget samme undervisning, deltes eleverne i hver klasse tilfældigt i to lige store grupper, den ene gruppe læste de tre tekster på iPad, den anden gruppe læste de samme tre tekster på papir. De tilfældige grupper blev dannet på den måde, at hver anden elev læste på iPad, hver anden på papir. Alle elever læste således alle tre tekster på samme medium afhængigt af, hvilken af de to grupper, de tilhørte.
Testgennemførelse (procedure)
Eleverne besvarede først baggrundsspørgsmålene, hvorefter testen startede.
Eleverne blev grundigt instrueret i, at de skulle læse en tekst ad gangen, lægge den til side, og dernæst besvare spørgsmål til teksten. Derefter kunne de fortsætte med tekst to og tre efter samme procedure.
I papirversionen var de tre tekster trykt hver for sig med en forside, der angav tekstens nummer og titel samt en kort, skrevet instruktion, der informerede eleven om, at de skulle tage tid på deres læsning af teksten og dernæst lægge teksten til side, før de besvarede spørgsmålene. Teksterne var dertil udstyret med en bagside, der angav, at eleven nu var færdig med at læse teksten og skulle besvare spørgsmålene. Eleverne blev desuden mundtligt grundigt informeret om at tage tid på deres læsning af hver tekst. Teksterne blev udleveret i en samlet bunke med de tre tekster alternerende med spørgsmålsarkene. Efter læsning af hver tekst lå spørgsmålene til teksten således klar i bunken.
For elever, der læste teksten på iPad, var de samme tekster indlagt på iPad’en i form af pdf’er, og indeholdt de samme informationer på for- og bagside. Forskellen var dog, at elevene i denne gruppe skulle læse på iPad og svare på spørgsmål på et papirark, der lå i rækkefølge i en bunke ved siden af eleven. Efter endt læsning skulle eleven således i stedet lægge iPad’en til side og besvare spørgsmålene på det spørgsmålsark, der lå klar i bunken. Eleverne havde ikke adgang til internettet på de udleverede iPads.
Eleverne sad blandet i forhold til læsemedium. Testtager samt en til to lærere overvågede testens afholdelse. Eleverne havde ikke adgang til teksten under besvarelsen af spørgsmålene.
Eleverne noterede selv den forbrugte tid vha. deres mobiltelefoner i minutter og sekunder. Tidtagning blev noteret på spørgsmålsarket forstået som anvendt læsetid ved læsning af selve teksten. Grundet egenregistreringen af den forbrugte tid er det registrerede tidsforbrug i denne undersøgelse ikke medtaget, idet det giver en del usikkerhed, og fordi nogle elever glemte at tage tid. Det registrerede tidsforbrug er brugt som en indikator for, om tidsforbruget for læsning af de samme tekster tager omtrent lige lang tid uanset læsemedium. Der var ikke nogen signifikant forskel i læsetid mellem de to medier, derfor inkluderes alle de deltagende respondenter, også dem, der ikke har nedskrevet tidsforbruget.
Alle elever besvarede spørgsmål på papir for at sikre ensartethed mellem de to grupper. Forskningsdesignet gav derved ikke mulighed for, at de samme elever læste på begge læsemedier. Dette valg er foretaget for at sikre en smidig gennemførsel i klasselokalet, fx at der ikke skal byttes medier under forsøget, og tager derved også hensyn til et begrænset antal iPads til rådighed. Dette testdesign medfører også nogle ulemper, der gør, at der skal ses på generelle gruppegennemsnit, hvor der ikke tages højde for uobserverede forhold inden for elevgrupperne, der læser på skærm eller papir. Uobserverede forhold kan være fx socioøkonomiske forhold, særlig erfaring med at læse på iPad, læsevanskeligheder osv. Dette vil til gengæld til en vis grad være opfyldt grundet randomiseringen beskrevet længere oppe.
Analyse
Aflæsning af elevernes besvarelser er noteret i et regneark med koden 1 for rigtigt svar, koden 0 for forkert svar. Da der ikke skelnes mellem hukommelse for tekst på et eller flere steder, omkodes alle rigtige svar til 1. Eleverne fik at vide, at de kunne undlade at svare, hvis de ikke kunne huske svaret, eller de kunne vælge at svare tilfældigt. Under opgørelsen af elevernes svar er manglende besvarelse noteret som forkert. Omkodningen af manglende svar til forkerte svar er i tråd med international forskning.
Resultaterne for selve testen er beregnet ved brug af en to-halet t-test med et konfidensinterval på 95 %, og dermed et statistisk signifikansniveau på 0,05. Sammenhængen mellem effekterne fra køn og læsemedie er undersøgt med en to-vejs ANOVA-test.
Resultater
Undersøgelsens forskningsspørgsmål er at undersøge, om der er forskel på elevernes informationshukommelse ved læsning på iPad eller papir for elever i 8. klasse. Vores studie viser, at der ikke er signifikante forskelle på scoren ved læsning af de to medier. Delresultater gennemgås herefter.
Først ses på scorerne på hhv. papir eller iPad.
Gruppen af 122 elever, der har læst på iPad, har i gennemsnit svaret korrekt på 20,37 [19,43;21,31], og gruppen af 117 elever, der har læst på papir, har i gennemsnit svaret korrekt på 19,57 [18,56;20,58]. Der er ikke nogen statistisk signifikant forskel på disse to resultater (p = 0,12; t = −1,17, df. = 238, Cohens d = 0,076), og der er derfor ingen forskel på, om eleverne har læst teksterne på iPad eller papir. Eleverne husker detaljer fra teksten lige godt (figur 1).
De to datasæt ligner også hinanden mht. største og mindste værdi samt middeltal og variationsbredde jævnfør tabel 2 og figur 1.
| Drenge iPad (N = 54) | Drenge papir (N = 50) | Piger iPad (N = 64) | Piger papir (N = 64) | |
|---|---|---|---|---|
| Max. | 31 | 31 | 30 | 31 |
| Min. | 7 | 8 | 8 | 6 |
| Median | 22 | 17 | 20 | 22 |
| Gennemsnit | 21,35 | 17,80 | 19,98 | 20,94 |
| Fordeling | 24 | 23 | 22 | 25 |
| Standardafvigelse | 5,70 | 5,80 | 4,32 | 4,95 |
For at kunne lave sammenligninger af grupper gives der to typer af rapportering, boxplots og gennemsnit. Boxplots bruges til at afrapportere fordelingen inden for den givne gruppe, mens gennemsnit og tilhørende t-test bruges til at afrapportere forskelle imellem grupper. En velbalanceret boxplot vil indikere en normalfordeling af antallet af rigtige, og dermed vil boxplots kunne bruges til at vurdere datamateriales egnethed til parametrisk statistik. Et velbalanceret boxplot er, når medianen ligger midt i boksen.
Læsning på iPad opdelt på køn
Tidligere undersøgelser har vist, at der er forskel på læseforståelsen for drenge, men ikke piger, når der læses på skærm eller papir. P-værdien for t-testen, der undersøgte, om der er forskel på at læse på papir eller iPad, var på 0,12, og dermed kan det ikke udelukkes, at der er en forskel på læsemedier inden for kønsgrupperne. T-testen vil kunne være drevet af en større standardfejl, når drengene og pigerne puljes i den samme gruppe, hvis drengene har en lavere læsescore end pigerne inden for læsemedierne. I stedet for at se på forskellen imellem køn inden for de enkelte læsemedier, ses der på forskellen ved at læse på forskellige læsemedier i forskellige kønsgrupper. Praktisk vil det gøres ved kun at se på en kønsgruppe ad gangen og undersøge, om der er forskel på læsescoren, når eleverne har læst på papir eller skærm. Grupperne fordeler sig således: 50 drenge og 64 piger læste på papir, 54 drenge og 64 piger læste på iPad. Syv elever har ikke angivet køn og indgår ikke i denne beregning.
Læsescore for læsning på iPad eller papir for pigerne
Flere undersøgelser har vist at der er ikke en forskel for pigerne, i forhold til om de læser på papir eller skærm (Mejding & Neubert, 2016). I dette afsnit analyseres derfor læsescorerne på skærm og papir kun for pigerne. Denne opdeling fjerner eventuelle kønsforskelle og der ses mere konkret på forskellen imellem læsescoren imellem skærm og papir. Det fører til, at grupperne bliver mindre, med 64 piger der har læst på skærm og 64 piger der har læst på papir, og det kan føre til større usikkerheder på estimaterne.
Piger, der har læst på iPad, har i gennemsnit svaret korrekt på 20,17 [19,15;21,199, mens piger, der har læst på papir, i gennemsnit har svaret korrekt på 21,17 [20,02;22,32] (figur 2). En t-test imellem forskellen på læsescoren på skærm og papir giver en p-værdi på 0,17 (t = −1,17, df = 127, Cohens d = 0,103). Der er derfor ingen statistisk signifikant forskel mellem pigernes læsescore i forhold til, om de har læst på skærm eller papir, se også tabel 2 og figur 2. Dette er i tråd med, hvad der er fundet i andre undersøgelser (Mejding & Neubert, 2016).
Læsescore for læsning på iPad eller papir for drengene
Tidligere undersøgelser har vist en forskel på drenges læseforståelse i forhold til, om de læser på skærm eller på papir. Det undersøges derfor i denne undersøgelse, om det også gælder informationshukommelse. Drengene fordeler sig med 50, der læste på papir og 54, der læste på iPad.
Drenge, der læste på iPad, har i gennemsnit svaret korrekt på 21,35 [19,74;22,96], mens drenge, der læste på papir, i gennemsnit har fået 17,8 korrekte [16,22;19,38] (figur 3 og tabel 2). En t-test imellem forskellen på læsescoren på skærm og papir angiver en sandsynlighed på 0,003 (t = 3,15, df = 103, Cohens d = 0,307), hvilket viser en klar, statistisk signifikant forskel for drengenes læsescore i forhold til, om de har læst på iPad-skærm eller papir ifølge gængs fortolkning inden for samfundsvidenskaberne. Drengene i gruppen, der har læst på iPad, har klaret det markant bedre end drengene i gruppen, der har læst på papir. Det resultat er i tråd med resultaterne fra andre undersøgelser, der har set på drenge og læsning på skærm eller papir (Mejding & Neubert, 2016).
Læsescore for læsning på iPad eller papir for drengene og pigerne
Der er indtil nu set på resultaterne inden for grupperne mht. køn. I dette afsnit undersøges, om der er forskel på tværs af køn og læsemedier. Det vil ske via en to-vejs ANOVA test, hvor interaktionen af de to uafhængige variable, køn og læsemedie, undersøges samtidigt i relation til den afhængige variabel. Dermed undersøges, om forskellene på den afhængige variabel i de enkelte grupper skyldes enten køn, læsemedie, begge dele, eller interaktionen af de to variable. På den måde undersøger vi, om en given variabel tilføjer så meget forklaringskraft til modellen, at variablen har en betydning. Det vil sige, at vi undersøger, om køn spiller en rolle for resultatet af læsning på de to medier.
Tabel 3 viser, at hverken køn (p = 0,1227) eller læsemedium (p = 0,1243) i sig selv har betydning for at kunne forklare forskellene i læsescoren. Det vil sige, at en model uden de to variable vil være lige så god. Men de to variable kan ikke undlades fra modellen, da interaktionen imellem køn og læsemediet har en betydning for læsescoren (p = 0,0007). Det er det billede, der ses i gennemsnitsscoren for læsemediet inden for kønsgrupperne. Tidligere så vi, at det især er drenge, der læser på papir, der klarer sig markant dårligere end de andre tre grupper. Det viser boxplottene nedenfor også (figur 4). Forklaringsgraden (R2) er på 0,068, hvilket vil sige at køn og læsemedium kun forklarer 6,8% af alt variationen af data. I henhold ved Bonferroni’s tilpasning til ANOVA-test, vil den kritiske værdi ændre sig til 0,016667, og her er interaktionsleddet stadigvæk statistisk signifikant.
| Variationskilde | SS | df | MS | F | P |
|---|---|---|---|---|---|
| Køn | 60,60 | 1 | 60,60 | 2,40 | 0,1227 |
| Læsemedium | 60,19 | 1 | 60,19 | 2,38 | 0,1243 |
| Køn x læsemedium | 299,33 | 1 | 299,33 | 11,85 | 0,0007 |
| Fejl | 5758,53 | 228 | 25,26 | ||
| Total | 6178,65 | 231 |
Ser man på figur 4 ses det, at læsescoren for grupperne drenge-iPad, piger-iPad og piger-papir, er omtrent i det samme niveau med et gennemsnit omkring 21 korrekte svar. Læsescoren for drenge, der læser på papir ligger i gennemsnit omkring 18 korrekte svar. Forskellen er markant, og dermed er der forskel på netop drengenes læsescore i forhold til, hvilket læsemedie de har læst på.
Dette er i overensstemmelse med det generelle billede af drenge og pigers læseresultater i andre undersøgelser, der viser, at piger læser både bedre og hurtigere end drenge, men dog netop undtaget skærmlæsning, hvor drenge og pigers læseresultater ved 4. klasse ligner hinanden (Mejding et al., 2016). Denne undersøgelse viser, at dette forhold også gør sig gældende på ældre klassetrin i forhold til informationshukommelse. Det ser altså ud til, at drenges læsekompetencer er bedre ved læsning på skærm, hvor de ser ud til at opnå resultater, der ligner pigernes. Dog skal der tages det forbehold, at det er forskellige grupper, der er sammenlignet i denne undersøgelse, mens det i e-Pirls er det de samme elever, der har læst forskellige tekster af samme sværhedsgrad, men på begge læsemedier.
Da ANOVA-testen bygger på forholdet imellem den forklarede og den uforklarede variation, kunne det indikere, at der er andre forhold i den uforklarede variation, der har større betydning, end den forklarede variation (køn og læsemedie) på læsescoren. Den typisk mest forklarende faktor for læsning er det generelle dygtighedsniveau, hvilket denne undersøgelse ikke kan tage højde for, da der, af økonomiske og tidsmæssige hensyn, ikke er lavet en prætest af det generelle dygtighedsniveau før selve undersøgelsen. Det kan derfor ikke udelukkes, at effekterne kunne være anderledes, fordi variationen af fejl-ledene kunne være væsentlig mindre.
Diskussion
I denne undersøgelse antages, at informationshukommelse er et grundlag for læseforståelsen. Denne undersøgelses resultater lægger sig derfor på flere områder i forlængelse af de nyere studier, der viser, at læsning på skærm ikke længere giver ringere læseforståelse end læsning på papir (Hermena et al., 2017; Sackstein et al., 2015). Der er dog nogle undersøgelser, der viser, at der er en beskeden forskel i læseforståelse ved læsning på hhv. skærm og papir (Clinton, 2019), hvilket denne undersøgelse ikke kan bekræfte når man ser på informationshukommelse. Mange forhold kan forklare dette, ikke mindst de forskellige undersøgelsesdesigns, hvor det er afgørende, om eleverne/testpersonerne må læse teksterne flere gange, om de må se på dem, mens de svarer på spørgsmål og hvilke typer af tekster, der er tale om. I nogle studier skal eleverne/testpersonerne også besvare spørgsmål på en skærm, idet det er en lettere måde at indsamle data på, hvilket er en ulempe for den gruppe, der læser på skærm, hvis de samtidig må gå tilbage i teksten for at finde svar, fordi de derved skal skifte mellem forskellige skærmbilleder (Mangen et al., 2013). Dette kan være en ulempe i forhold til læsetid og måske også koncentration og dermed læseforståelse.
Disse forskellige testdesign-forhold tager Clinton ikke højde for, og man kan derfor ikke sige noget om, hvad der kan være en mulig forklaring på de resultater, der findes i dette metastudie.
Nærværende undersøgelse er forskellig fra de fleste andre undersøgelser, der har været lavet, i og med den er gennemført ved læsning på en iPad-skærm, hvilket kan være en del af forklaringen på, at der ikke er nogen signifikant forskel mellem læsningen på de to medier. Læsning på tablet kan kompensere for en del af de forhold, der muligvis medfører en ringere læseforståelse på skærm, idet skærmen kan tilpasses læsestilling og i det hele taget i højere grad mimer papiret i sin fremtoning. Tablets i dag har også en avanceret belysning, der gør, at læserens øjne måske ikke i samme grad udtrættes, som de gør ved computerskærmslæsning eller på ældre skærme i det hele taget. Endelig var der på det program på iPad’en, eleverne læste teksterne på, mulighed for at se, hvor langt i sin læsning, man var kommet, noget, der også kan være med til at gøre tekstoverblikket bedre og dermed i højere grad mime papirlæsningen.
Forstyrrelser i læsningen på skærm i form af, at eleverne kan gå på nettet eller få beskeder ind via diverse sociale medier mv. var i denne undersøgelse elimineret, i og med eleverne læste på lånte iPads uden nogle apps installeret, der kunne forstyrre, og uden netadgang, og derfor havde eleverne de samme vilkår mht. at kunne koncentrere sig om læsningen. Dette kan ligeledes forklare, hvorfor elevernes score og læsetid ikke afviger signifikant mellem de to medier. Desuden var undersøgelsesdesignet også udformet på en sådan måde, at ikke var en stor, praktisk forskel på grupperne alt efter, hvilket læsemedie, de læste på, da alle elever lagde den læste tekst til side, før de besvarede spørgsmålene, der blev besvaret på papir. Alle skulle således skifte mellem læsetekst og spørgsmålsark.
Studiet markerer sig ved det fund, at drenge ser ud til at huske elementer fra tekster bedre ved læsning på iPad i forhold til papir, hvilket bekræftes i e-Pirls (Mejding & Neubert, 2016). Disse resultater kan muligvis forklares med, at drenge udviser større interesse for læsning, når de læser på skærm, hvilket dog modsiges i en nyere undersøgelse fra 2019 (Clark & Picton, 2019; Picton & Clark, 2015). Tidligere studier har også vist, at læsning på digitale medier kan motivere læserne i det hele taget (Hue et al., 2014). Det bør dog undersøges nærmere.
Drengenes ringere score ved læsning på papir får også indflydelse på den samlede undersøgelse af læsescore, idet det betyder, at der ikke er en signifikant forskel mellem den samlede elevgruppes læsning på iPad i forhold til papir. Havde drenge scoret lige så dårligt på iPad som på papir, ville det formentlig have trukket det samlede resultat for læsning på iPad ned, og der ville have været en signifikant forskel mellem de to. Resultatet forklarer også den manglende forskel mellem drenges og pigers score i det hele taget.
Endelig peger dette studie også på, at selvom forskellen i denne undersøgelse ikke er signifikant, så er der en forskel, og med en så relativt lille samplestørrelse kan det tyde på, at en større gruppe rent faktisk ville udvise en signifikant forskel. Denne ser ud til især at ville kunne forklares med drenges ringere resultater ved læsning på papir og bør undersøges nærmere.
Undersøgelsens resultat kan have flere implikationer. Idet mange test og undersøgelser foregår ved, at teksterne læses på papir, kan man forestille sig, at en overgang til digitale tekster i test på sigt kan styrke drenges læseresultater. Omvendt viser denne undersøgelse, at der ikke er signifikant forskel på læseforståelsen forstået som hukommelse for tekst mellem de to medier, og en konsekvens af dette kan være, at elever i højere grad kan tilbydes at læse tekster på iPad, hvilket kan give billigere og mere miljørigtig adgang til tekster samt øget tilgængelighed for flere. Der ser ud til, at tablets kan udgøre en ukompliceret erstatning for papirlæsning med de fordele for miljø, økonomi, udbredelse mv. der er ved dette.
I denne undersøgelse er eleverne fra i alt fem forskellige skoler udvalgt tilfældigt i forhold til at skulle læse på enten papir eller iPad. Eleverne var ikke prætestet og er således tilfældigt fordelt på de to hold. Dette er ikke en sikker måde at opdele eleverne på, idet det ikke kan udelukkes, at en gruppe generelt er bedre end en anden. Dog tyder balancetabellen og resultaterne på, at stikprøverne er ensartede, også i og med resultatet af denne undersøgelse harmonerer med andre undersøgelser.
Eleverne har ikke selv kunnet vælge det læsemedie, de foretrak, og vi ved ikke, om det kan have betydning for elevernes læsning. I undersøgelsen har der heller ikke været inddraget læsning på computerskærm, hvilket flere tidligere undersøgelser tyder på kan vanskeliggøre læseforståelsen og langsommeliggøre læsningen (Mangen et al., 2013). Her adskiller undersøgelsen sig dog ikke fra flere andre undersøgelser af samme type.
En anden usikkerhed i denne undersøgelse er, at de tre læsetekster ikke er kontrolleret for, om de er helt ens. Da alle elever imidlertid læser de samme tekster, er denne usikkerhed mindre væsentlig. Det samme gælder for det forhold, at der ikke er skelnet mellem sværhedsgraden i hukommelse for information fundet et eller to steder i teksten. Da elle elever er udsat for de samme spørgsmål, er også denne usikkerhed mindre væsentlig.
Som det er vist tidligere, er resultaterne fra de mange undersøgelser, der efterhånden har været lavet på området, meget blandede, og resultatet af denne undersøgelse bidrager derfor også til at vise, at der stadig kræves flere og større undersøgelser for at afklare, om der er nogen forskel i læseforståelse på alle niveauer ved læsning på skærm eller papir. Med en kraftig overgang til digitale tekster i grundskolen, såvel som i senere skolegang og på videregående studier og i samfundet generelt, er det meget vigtigt at være sikker på, at læsning på skærme ikke er til ulempe for læseforståelsen. Skolegang såvel som studier fordrer læsning af store mængder af tekst og en høj grad af læseforståelse, så som samfund kan vi ikke risikere at bevæge os over i en helt anden måde at læse på, hvis det har negativ betydning for, hvor godt vi læser og forstår tekster. Det er derfor vigtigt, at der laves flere undersøgelser, der kan bekræfte eller afkræfte nærværende resultater.
Det er desuden vigtigt at få afklaret, om der er forskelle på læsning på computerskærm og iPad-skærm, hvilket nærværende studie ikke kan svare på. Ligeledes anbefales, at der også gennemføres studier, der undersøger læsning af narrative tekster.
Det vil også være vigtigt at undersøge, om der er forskelle på forskellige aldersgrupper, idet man ikke kan være sikker på, at resultater fra fx e-Pirls kan overføres til 8. klasses elever.
Det kan desuden være en mulighed, at ældre læsere har sværere ved at læse skærmtekster end unge læsere, der er opvokset med skærme gennem et helt liv, og at elever i dag er tilvænnet læsning på skærm. Det bør derfor undersøges, hvordan andre aldersgrupper læser på skærm og papir.
Konklusion
Denne undersøgelse har fokuseret på læsning af helt ens, lineære tekster på iPad hhv. papir, og har fokuseret på at undersøge læseforståelse på lavere niveauer forstået som informationshukommelse ved, at eleverne efter læsning af tre tekster har besvaret i alt 35 spørgsmål til det læste.
Resultaterne af denne undersøgelse med i alt 239 elever fra 8.–9. klassetrin viser, at der ikke er nogen signifikant forskel i læseforståelse, når eleverne læser tekster på papir eller iPad. Det tyder på, at elever i dag er tilvænnet læsning på digitale medier som tablets, og at det ikke længere er en hæmsko for læsningen at læse på en iPad, hvilket er i overensstemmelse med nogle nyere undersøgelser. De fleste undersøgelser har dog anvendt computerskærm, og der er således kun få undersøgelser, der har undersøgt elevers læsning på iPad.
Til gengæld ses signifikant forskel mellem drenges læsning på de to medier, drengene læser signifikant ringere, når de læser på papir. Det tyder derfor på, at en del af drenges ringere læsefærdigheder kan forklares med, at drengene har sværere ved at læse på papir end på iPad. Dette kan muligvis forklares med motivation, idet nogle undersøgelser har vist, at elever motiveres bedre af at læse digitale tekster. Dette bør undersøges nærmere.
I og med skolen digitaliseres mere og mere, og eleverne i højere og højere grad vil skulle læse tekster på digitale medier, viser denne undersøgelse, at det kan betyde en bedre læseforståelse for drengenes vedkommende, mens det ikke ser ud til at have betydning for piger. Dette kan måske understøttes af National Literacy Trusts undersøgelse der viser, at piger læser et bredere udvalg af forskellige læsemedier end drenge gør, og således kan være mindre påvirkede af læsemedium (Clark & Picton, 2019). Skiftet i retning mod et mere digitalt tekstunivers ser altså ud til at gavne drengene, mens det ikke ser ud til at påvirke den samlede elevgruppe.
Referencer
- Ackerman, R., & Goldsmith, M. (2011). Metacognitive regulation of text learning: On screen versus on paper. Journal of Experimental Psychology: Applied, 17(1), 18–32. https://doi.org/10.1037/a0022086
- Ackerman, R., & Lauterman, T. (2012). Taking reading comprehension exams on screen or on paper? A metacognitive analysis of learning texts under time pressure. Computers in Human Behavior, 28(5), pp. 1816–1828). https://doi.org/10.1016/j.chb.2012.04.023
- Ball, R., & Hourcade, J. P. (2011). Rethinking Reading for Age From Paper and Computers. International Journal of Human-Computer Interaction, 27(11), 1066–1082. https://doi.org/https://doi.org/10.1080/10447318.2011.555319
- Beymer, D., Russell, D., & Orton, P. (2008). An Eye Tracking Study of How Font Size and Type Influence Online Reading. Proceedings of the 22Nd British HCI Group Annual Conference on People and Computers: Culture, Creativity, Interaction –Volume 2, 15–18. https://doi.org/10.1145/1531826.1531831
- Bundsgaard, J., Bindslev, S., Caeli, E. N., Petterson, M., & Rusmann, A. (Red.). (2019). Danske elevers teknologiforståelse. Aarhus Universitetsforlag. https://unipress.dk/media/16852/9788772190938_danske-elevers-teknologiforstaaelse.pdf
- Bundsgaard, J., Buch, B., & Fougt, S. S. (2017). De anvendte læremidlers danskfag belyst kvantitativt. I J. Bremholm, J. Bundsgaard, A. Skyggebjerg, & S. S. Fougt (Red.), Læremidlernes danskfag (s. 28–54). Aarhus Universitetsforlag.
- Chen, G., Cheng, W., Chang, T. W., Zheng, X., & Huang, R. (2014). A comparison of reading comprehension across paper, computer screens, and tablets: Does tablet familiarity matter? Journal of Computers in Education, 1(2–3), 213–225. https://doi.org/10.1007/s40692-014-0012-z
- Clark, C., & Picton, I. (2019). Children, young people and digital reading. https://literacytrust.org.uk/research-services/research-reports/children-young-people-and-digital-reading/
- Clinton, V. (2019). Reading from paper compared to screens: A systematic review and meta-analysis. Journal of Research in Reading, 42(2), 288–325. https://doi.org/10.1111/1467-9817.12269
- Connell, C., Bayliss, L., & Farmer, W. (2012). Effects of eBook readers and tablet computers on reading comprehension. International Journal of Instructional Media, 39(2), 131–140.
- Daniel, D. B., & Woody, W. D. (2013). E-textbooks at what cost? Performance and use of electronic v. print texts. Computers and Education, 62. https://doi.org/10.1016/j.compedu.2012.10.016
- Dillon, A. (1992). Reading from paper versus screens: a critical review of the empirical literature. Ergonomics, 35(10), 1297–1326. https://www.ischool.utexas.edu/~adillon/Journals/Reading.htm
- Elbro, C. (2014). Læsning og læseundervisning (3. udg.). Hans Reitzel.
- Frydensberg, B., Vejbæk, A. K., Gaden, S., & Pedersen, S. I. L. (2016). Implementering af digitale læringsplatforme. Danmarks Evalueringsinstitut. https://www.eva.dk/sites/eva/files/2017-08/Implementering%20af%20digitale%20laeringsplatforme.pdf
- Garland, K. J., & Noyes, J. M. (2008). Computer- vs. paper-based tasks: Are they equivalent? Ergonomics, 51(9), 1352–1375. https://doi.org/10.1080/00140130802170387
- Hermena, E. W., Sheen, M., AlJassmi, M., AlFalasi, K., AlMatroushi, M., & Jordan, T. R. (2017). Reading Rate and Comprehension for Text Presented on Tablet and Paper: Evidence from Arabic. Frontiers in Psychology, 8, 257. https://doi.org/10.3389/fpsyg.2017.00257
- Hue, J. E., Rosenfield, M., & Saá, G. (2014). Reading from electronic devices versus hardcopy text. Work, 47(3), 303–307. https://doi.org/10.3233/WOR-131777
- Jabr, F. (2013, 11. april). The Reading Brain in the Digital Age: The Science of Paper versus Screens. Scientific American Mind. https://www.scientificamerican.com/article/reading-paper-screens/
- Johnson, M., & Nádas, R. (2009). Marginalised behaviour: Digital annotations, spatial encoding and the implications for reading comprehension. Learning, Media and Technology, 34(4), 323–336. https://doi.org/10.1080/17439880903338606
- Kerr, M. A., & Symons, S. E. (2006). Computerized Presentation of Text: Effects on Children’s Reading of Informational Material. Reading and Writing, 19(1), 1–19. https://doi.org/10.1007/s11145-003-8128-y
- Kong, Y., Seo, Y. S., & Zhai, L. (2018). Comparison of reading performance on screen and on paper: A meta-analysis. Computers and Education, 123. https://doi.org/10.1016/j.compedu.2018.05.005
- Madsen, B. S. (2017). Statistik for ikke-statistikere (3. udg.). Samfundslitteratur.
- Mangen, A., Walgermo, B. R., & Brønnick, K. (2013). Reading linear texts on paper versus computer screen: Effects on reading comprehension. International Journal of Educational Research, 58, 61–68. https://doi.org/10.1016/j.ijer.2012.12.002
- Mejding, J. (2011). PISA 2009. Danske unge i en international sammenligning. Bind 3 – Læsning af elektroniske tekster. https://www.dlf.org/media/97682/PISA_ERA_PDF.pdf
- Mejding, J., Larsen, K., & Neubert, R. (2016). Pirls 2016. En international undersøgelse om læsekompetence i 3. og 4. klasse. (Rapport). Aarhus Universitetsforlag.
- Mejding, J., & Neubert, K. (2016). ePIRLS 2016. En international undersøgelse om læsning af informerende onlinetekster i 4. klasse. (Rapport). Aarhus Universitetsforlag. https://unipress.dk/media/16826/9788771844269_epirls_2016_14_ny-endelig.pdf
- Norman, E., & Furnes, B. (2016). The relationship between metacognitive experiences and learning: Is there a difference between digital and non-digital study media? Computers in Human Behavior, 54. https://doi.org/10.1016/j.chb.2015.07.043
- OECD. (2019). PISA 2018 Results (Volume I): What Students Know and Can Do. OECD Publishing. https://doi.org/10.1787/5f07c754-en
- Picton, I., & Clark, C. (2015). The Impact of Ebooks on the Reading Motivation and Reading Skills of Children and Young People: A Study of Schools Using RM Books. Final Report. In National Literacy Trust (Rapport). https://files.eric.ed.gov/fulltext/ED570688.pdf
- Porion, A., Aparicio, X., Megalakaki, O., Robert, A., & Baccino, T. (2016). The impact of paper-based versus computerized presentation on text comprehension and memorization. Computers in Human Behavior, 54, 569–576. https://doi.org/10.1016/j.chb.2015.08.002
- Rasmusson, M. (2015). Reading Paper – Reading Screen. A Comparison of Reading Literacy in Two Different Modes. Nordic Studies in Education, 35(1), 3–19.
- Riise, A. B. (2018). Forlag: Danmark i front med digitale læremidler – men … Folkeskolen.dk. https://www.folkeskolen.dk/624001/forlag-danmark-i-front-med-digitale-laeremidler—men
- Sackstein, S., Sparks, L., & Jenkins, A. (2015). Are e-books effective tools for learning? Reading speed and comprehension: iPad vs. paper. South African Journal of Education, 35(4), 1–14. https://doi.org/10.15700/saje.v35n4a1202
- Sidi, Y., Ophir, Y., & Ackerman, R. (2016). Generalizing screen inferiority – does the medium, screen versus paper, affect performance even with brief tasks? Metacognition and Learning, 11(1). https://doi.org/https://doi.org/10.1007/s11409-015-9150-6
- Singer Trakhman, L. M., Alexander, P. A., & Berkowitz, L. E. (2019). Effects of Processing Time on Comprehension and Calibration in Print and Digital Mediums. Journal of Experimental Education, 87(1), 101–115. https://doi.org/10.1080/00220973.2017.1411877
- Solak, E., & Solak, E. (2014). Computer versus Paper-Based Reading: A Case Study in English Language Teaching Context. Mevlana International Journal of Education (MIJE), 4(1), 202–211. https://doi.org/http://dx.doi.org/10.13054/mije.13.78.4.1
- Tarchi, C. (2017). Comprehending and recalling from text: The role of motivational and cognitive factors. Issues in Educational Research, 27(3), 600–619.