The design, refinement and reception of a test of academic literacy for postgraduate students
Loading...
Date
2012-01
Authors
Du Plessis, Colleen Lynne
Journal Title
Journal ISSN
Volume Title
Publisher
University of the Free State
Abstract
English:
A number of studies have indicated that the literacy levels of students at tertiary institutions in South Africa are lower than required for academic success. Nonetheless, the possibility exists that some of these students may in fact manage to graduate with low academic literacy levels, and even be admitted to postgraduate study although they lack the ability to negotiate the advanced academic discourse required to succeed at that level. This study confirms the need for the development of a test of academic literacy for postgraduate students and shows how this can be accomplished by applying recognized design principles within the framework of applied linguistics. The constitutive and regulative conditions for the validation of language tests are dealt with as the necessary foundation for the design of a test of academic literacy for postgraduate students. Whereas language tests have conventionally been required to show validity and reliability, in terms of more contemporary thinking such tests must also possess what is referred to as consequential validity, a notion that refers to the impact of tests. Literacy tests should thus not only be consistent and theoretically justifiable, but should incorporate a multiplicity of evidence to back up their validation. The various phases involved in the design of a test are covered, including piloting and refinement. A theoretical articulation of academic literacy is provided, since this constitutes a crucial aspect of construct validity, with particular attention being given to the delineation of functional academic literacy. The identified ability is reflected in the blueprint for the test construct and is further specified in the task types selected for inclusion in the test. The definite move away from previous generations of ‘scientific’ and positivist thinking can be discerned in the kind of test tasks required of test takers and the way in which these emphasize the instrumental communicative function and mediating role of language as a social instrument within the material lingual sphere of academic discourse. Task types are evaluated in terms of their ability to be productive, based on a quantitative system of measurement and the application of appropriate statistical procedures such as point-biserial correlations. The research concludes with a reception study which assesses the extent to which the current version of the Test of Academic Literacy for Postgraduate Students (TALPS) is well received and whether it meets the regulative conditions of fairness, transparency, utility and accountability. In addition to confirming that the test has an acceptably high face validity, the survey section reveals that many postgraduate students have a restricted view of language and an erroneous perception of academic literacy. Much more needs to be done at undergraduate level to raise awareness about the important role played by language proficiency in all fields of study and how high academic literacy levels can contribute towards academic achievement and student success. The design of effective literacy interventions remains another area of concern. Research is also needed on the desirability and feasibility of designing subject-specific tests and ensuring equivalence where different test versions are in operation.
Afrikaans: Verskeie studies dui aan dat die geletterdheidsvlakke van studente aan tersiêre inrigtings in Suid-Afrika laer is as wat vereis word vir akademiese sukses. Desnieteenstaande bestaan die moontlikheid dat van hierdie studente wel daarin sal slaag om met hul lae akademiese geletterdheidsvlakke te gradueer, en selfs tot nagraadse studie toegelaat word, al ontbreek hulle die vermoë om die gevorderde akademiese diskoers te ontsluit wat benodig word vir sukses op hierdie vlak. Hierdie studie bevestig die behoefte wat bestaan vir die ontwikkeling van ’n akademiese geletterdheidstoets vir nagraadse studente en dui aan hoe dit bewerkstellig kan word deur die toepassing van erkende ontwerpbeginsels binne die bestek van die toegepaste linguistiek. Die konstitutiewe en regulatiewe voorwaardes vir die validering van taaltoetse word behandel as die nodige fundering vir die ontwerp van ’n akademiese geletterdheidstoets vir nagraadse studente. Terwyl daar konvensioneel vereis word dat taaltoetse geldigheid en betroubaarheid moet toon, moet hulle volgens meer kontemporêre denke ook konsekwensiële geldigheid besit, ‘n konsep wat verwys na die impak van toetse. Taalvaardigheidstoetse moet dus nie net konsekwent en teoreties verantwoordbaar wees nie, maar benodig ‘n menigvuldigheid van bewyse ter stawing van hulle geldigheid. Die onderskeie fases betrokke in die ontwerp van ‘n taaltoets word bespreek, insluitend die van loodsing en verfyning. Die begrip akademiese geletterdheid word teoreties ge-artikuleer as ‘n kern aspek van konstrukgeldigheid, met spesifieke verwysing na die omskrywing van funksionele akademiese geletterdheid. Die vereiste taalvermoë word gereflekteer in die bloudruk vir die toetskonstruk en word verder gespesifiseer in die onderskeie toetstaaktipes. Die duidelike beweging weg van vorige generasies van ‘wetenskaplike’ en positivistiese denke word bespeur in die tipe toetstake wat van toetsafleggers verlang word en in die beklemtoning van instrumentele kommunikatiewe funksie en die bemiddelende rol van taal as sosiale instrument binne die materiale linguale sfeer van die akademiese diskoers. Taaktipes word geëvalueer na gelang van hulle produktiewe vermoë volgens ‘n kwantitatiewe metingstelsel en die toepassing van toepaslike statistiese prosedures, onder meer korrelasiekoëffisiënte. Die navorsing sluit af met ‘n resepsiestudie oor die mate waartoe die huidige weergawe van die Test of Academic Literacy for Postgraduate Students (TALPS) goed ontvang word en tot watter mate dit voldoen aan die regulatiewe voorwaardes van billikheid, deursigtigheid, bruikbaarheid en verantwoordbaarheid. Die opname bevestig die hoë gesigsgeldigheid van die toets en dui verder aan dat heelwat nagraadse studente ‘n beperkte siening van taal het en ‘n foutiewe persepsie van akademiese geletterdheid huldig. Daar sal baie meer gedoen moet word op voorgraadse vlak om bewustheid oor die belangrike rol van taalvaardigheid in alle studiegebiede te verhoog en oor hoe hoë akademiese geletterdheidsvlakke bydra tot akademiese vooruitgang en studentesukses. Die ontwerp van doeltreffende taalvaardigheidsintervensies is ‘n verdere bron van kommer. Daar is ook ‘n behoefte aan verdere navorsing oor die verkieslikheid en doenlikheid van die ontwerp van vak-spesifieke toetse en ekwivalensie waar verskeie toetsweergawes in gebruik is.
Afrikaans: Verskeie studies dui aan dat die geletterdheidsvlakke van studente aan tersiêre inrigtings in Suid-Afrika laer is as wat vereis word vir akademiese sukses. Desnieteenstaande bestaan die moontlikheid dat van hierdie studente wel daarin sal slaag om met hul lae akademiese geletterdheidsvlakke te gradueer, en selfs tot nagraadse studie toegelaat word, al ontbreek hulle die vermoë om die gevorderde akademiese diskoers te ontsluit wat benodig word vir sukses op hierdie vlak. Hierdie studie bevestig die behoefte wat bestaan vir die ontwikkeling van ’n akademiese geletterdheidstoets vir nagraadse studente en dui aan hoe dit bewerkstellig kan word deur die toepassing van erkende ontwerpbeginsels binne die bestek van die toegepaste linguistiek. Die konstitutiewe en regulatiewe voorwaardes vir die validering van taaltoetse word behandel as die nodige fundering vir die ontwerp van ’n akademiese geletterdheidstoets vir nagraadse studente. Terwyl daar konvensioneel vereis word dat taaltoetse geldigheid en betroubaarheid moet toon, moet hulle volgens meer kontemporêre denke ook konsekwensiële geldigheid besit, ‘n konsep wat verwys na die impak van toetse. Taalvaardigheidstoetse moet dus nie net konsekwent en teoreties verantwoordbaar wees nie, maar benodig ‘n menigvuldigheid van bewyse ter stawing van hulle geldigheid. Die onderskeie fases betrokke in die ontwerp van ‘n taaltoets word bespreek, insluitend die van loodsing en verfyning. Die begrip akademiese geletterdheid word teoreties ge-artikuleer as ‘n kern aspek van konstrukgeldigheid, met spesifieke verwysing na die omskrywing van funksionele akademiese geletterdheid. Die vereiste taalvermoë word gereflekteer in die bloudruk vir die toetskonstruk en word verder gespesifiseer in die onderskeie toetstaaktipes. Die duidelike beweging weg van vorige generasies van ‘wetenskaplike’ en positivistiese denke word bespeur in die tipe toetstake wat van toetsafleggers verlang word en in die beklemtoning van instrumentele kommunikatiewe funksie en die bemiddelende rol van taal as sosiale instrument binne die materiale linguale sfeer van die akademiese diskoers. Taaktipes word geëvalueer na gelang van hulle produktiewe vermoë volgens ‘n kwantitatiewe metingstelsel en die toepassing van toepaslike statistiese prosedures, onder meer korrelasiekoëffisiënte. Die navorsing sluit af met ‘n resepsiestudie oor die mate waartoe die huidige weergawe van die Test of Academic Literacy for Postgraduate Students (TALPS) goed ontvang word en tot watter mate dit voldoen aan die regulatiewe voorwaardes van billikheid, deursigtigheid, bruikbaarheid en verantwoordbaarheid. Die opname bevestig die hoë gesigsgeldigheid van die toets en dui verder aan dat heelwat nagraadse studente ‘n beperkte siening van taal het en ‘n foutiewe persepsie van akademiese geletterdheid huldig. Daar sal baie meer gedoen moet word op voorgraadse vlak om bewustheid oor die belangrike rol van taalvaardigheid in alle studiegebiede te verhoog en oor hoe hoë akademiese geletterdheidsvlakke bydra tot akademiese vooruitgang en studentesukses. Die ontwerp van doeltreffende taalvaardigheidsintervensies is ‘n verdere bron van kommer. Daar is ook ‘n behoefte aan verdere navorsing oor die verkieslikheid en doenlikheid van die ontwerp van vak-spesifieke toetse en ekwivalensie waar verskeie toetsweergawes in gebruik is.
Description
Keywords
English language -- Rhetoric, Applied linguistics, Language and Languages -- Testing, Validity, Validation, Reliability, Postgraduate literacy, Language testing, Design principles, Construct validity, Consequential validity, Applied linguistics, Academic literacy, Dissertation (M.A. (English))--University of the Free State, 2012