Transparency, accessibility and accountability as regulative conditions for a postgraduate test of academic literacy
Loading...
Date
2012-01
Authors
Rambiritch, Avasha
Journal Title
Journal ISSN
Volume Title
Publisher
University of the Free State
Abstract
English: This study is concerned with transparency, accessibility and accountability as regulative conditions for a postgraduate test of academic literacy. What it will propose to do is investigate how these can be incorporated into the design of one test, the Test of Academic Literacy for Postgraduate Students (TALPS), and theoretically accounted for in terms of a framework. A main focus is to show that the questions raised here about the social dimension of language testing cannot be adequately answered by experts in the field like Messick (1989b; 1996), Bachman and Palmer (1996), and Kunnan (2000; 2004). Instead these questions can be answered in a “third idea, other than validity and usefulness” (Weideman 2009a: 239), as outlined by Weideman, an idea that does not foreground one concept but rather identifies a number of fundamental considerations for language testing. The argument here is that construct and other empirically based forms of validity are not enough to validate a language test and that what is needed, in addition, is a detailed look at issues of transparency, accessibility and accountability. This study begins by contextualising the problem of poor academic literacy and outlining the need for academic literacy tests such as the Test of Academic Literacy Levels (TALL) and TALPS. This is followed by an in-depth study of previous work in the field of language testing. The literature on key concepts such as validity, reliability, accessibility, transparency and accountability is surveyed as well. An important part of this study is telling the story of TALPS from its initial conceptualisation to its final implementation. Included in this is a detailed study of the reliability and validity of the test, taking the form of a validation argument. Subsequent chapters (5, 6 and 7) focus specifically on issues of transparency, accessibility and accountability as they relate to TALPS. This study would not be complete without the voices of the test takers. A detailed summary of the data collected from a questionnaire administered to students who wrote TALPS is offered as well. The questionnaire has been designed to elicit information, comments, questions and reactions from the testees about the test. The final chapter in this study will attempt to provide a summary of the answers to the important questions that have been asked and answered in the course of this investigation. It will also consider the link between transparency, accessibility and accountability, and will focus briefly on other conditions in the framework that contribute to the design of fair and socially acceptable tests. This study hopes to make a contribution to the field of language testing by concentrating on an area of testing that has been largely ignored – the social dimension. One of the aims of this study is to show the complementarity among the empirical, social and ethical dimensions of TALPS. It therefore provides a framework that incorporates a concern for the empirical analyses of a test as well as a concern for the social dimensions of language testing. Test developers are challenged to consider important questions related to every aspect of the test, leading to the design of fair, accessible tests that are designed by test developers who are willing to be accountable for their designs.
Afrikaans: Hierdie studie handel oor deursigtigheid, toeganklikheid en verantwoordbaarheid as regulatiewe voorwaardes vir ʼn nagraadse toets van akademiese geletterdheid. Dit poog om ondersoek te doen na die wyse waarop hierdie voorwaardes geїnkorporeer kan word in die ontwerp van een toets, die Test of Academic Literacy for Postgraduate Students (TALPS). ʼn Belangrike fokus is om aan te toon dat die vrae wat omtrent die sosiale dimensie van taaltoetsing geopper word nie voldoende beantwoord word deur gesaghebbendes in die veld soos Messick (1989b; 1996), Bachman en Palmer (1996) en Kunnan (2000; 2004) nie. In plaas daarvan kan hierdie vrae beantwoord word deur middel van ʼn “third idea, other than validity and usefulness” (Weideman 2009a: 239) – ʼn idee wat volgens Weideman nie een konsep uitsonder nie, maar eerder ʼn aantal fundamentele oorwegings vir taaltoetsing identifiseer. Die argument in hierdie verband is dat nie slegs konstruk en ander empiries-gebaseerde vorme van geldigheid voldoende is om ʼn taaltoets geldig te verklaar nie, maar aanvullend daartoe ook ʼn gedetailleerde oorweging van kwessies van deursigtigheid, toeganklikheid en verantwoordbaarheid. Die studie begin deur die probleem van gebrekkige akademiese geletterdheid te kontekstualiseer en die noodsaaklikheid van akademiese geletterdheidstoetse, soos die Test of Academic Literacy Levels (TALL) en TALPS, uit te lig. Daarna volg ʼn dieptestudie van werk wat reeds op die terrein van taaltoetsing gedoen is. Daar word ook ʼn oorsig gegee van die literatuur oor kernkonsepte soos geldigheid, betroubaarheid, toeganklikheid, deursigtigheid en verantwoordbaarheid. ʼn Belangrike deel van die studie is om die ontwikkeling van die TALPS vanaf die konseptualiseringstadium tot die uiteindelike implementering te skets. Hierby ingesluit is ʼn omvattende studie van die betroubaarheid en geldigheid van die toets. Dit is in die vorm van ʼn bevestigende argument vervat. Die daaropvolgende hoofstukke (5, 6 en 7) fokus spesifiek op die kwessies van deursigtigheid, toeganklikheid en verantwoordbaarheid met betrekking tot die TALPS. Die studie sou egter nie volledig wees sonder die insette van die toetsafleggers nie. Daarom is ’n vraelys ontwerp met die doel om hul inligting, kommentaar, vrae en reaksies omtrent die TALPS te verkry. ʼn Gedetailleerde opsomming van hierdie gegewens word in die studie ingesluit. Die slothoofstuk poog om ʼn opsomming te gee van die antwoorde op die belangrike vrae wat in die loop van die ondersoek gevra en beantwoord is. Dit beskou ook die verband tussen deursigtigheid, toeganklikheid en verantwoordbaarheid en gee kortliks aandag aan ander voorwaardes in die raamwerk wat bydra tot die ontwerp van regverdige en sosiaal-aanvaarbare toetse. Daar word gehoop om met hierdie studie ʼn bydrae tot die veld van taaltoetsing te lewer deur te konsentreer op ʼn aspek van toetsing wat nog grootliks geїgnoreer is – die sosiale dimensie. Een van die doelwitte is om aan te toon hoe die empiriese, sosiale en etiese dimensies van die TALPS mekaar komplementeer. Dit verskaf dus ʼn raamwerk wat die noodsaak van sowel die empiriese ontledings van ʼn toets as die sosiale dimensies van taaltoetsing inkorporeer. Die opstellers van taaltoetse word uitgedaag om belangrike kwessies in verband met elke aspek van die toets te oorweeg, sodat dit sal lei tot regverdige, toeganklike toetse waarvoor hulle verantwoordbaarheid sal aanvaar.
Afrikaans: Hierdie studie handel oor deursigtigheid, toeganklikheid en verantwoordbaarheid as regulatiewe voorwaardes vir ʼn nagraadse toets van akademiese geletterdheid. Dit poog om ondersoek te doen na die wyse waarop hierdie voorwaardes geїnkorporeer kan word in die ontwerp van een toets, die Test of Academic Literacy for Postgraduate Students (TALPS). ʼn Belangrike fokus is om aan te toon dat die vrae wat omtrent die sosiale dimensie van taaltoetsing geopper word nie voldoende beantwoord word deur gesaghebbendes in die veld soos Messick (1989b; 1996), Bachman en Palmer (1996) en Kunnan (2000; 2004) nie. In plaas daarvan kan hierdie vrae beantwoord word deur middel van ʼn “third idea, other than validity and usefulness” (Weideman 2009a: 239) – ʼn idee wat volgens Weideman nie een konsep uitsonder nie, maar eerder ʼn aantal fundamentele oorwegings vir taaltoetsing identifiseer. Die argument in hierdie verband is dat nie slegs konstruk en ander empiries-gebaseerde vorme van geldigheid voldoende is om ʼn taaltoets geldig te verklaar nie, maar aanvullend daartoe ook ʼn gedetailleerde oorweging van kwessies van deursigtigheid, toeganklikheid en verantwoordbaarheid. Die studie begin deur die probleem van gebrekkige akademiese geletterdheid te kontekstualiseer en die noodsaaklikheid van akademiese geletterdheidstoetse, soos die Test of Academic Literacy Levels (TALL) en TALPS, uit te lig. Daarna volg ʼn dieptestudie van werk wat reeds op die terrein van taaltoetsing gedoen is. Daar word ook ʼn oorsig gegee van die literatuur oor kernkonsepte soos geldigheid, betroubaarheid, toeganklikheid, deursigtigheid en verantwoordbaarheid. ʼn Belangrike deel van die studie is om die ontwikkeling van die TALPS vanaf die konseptualiseringstadium tot die uiteindelike implementering te skets. Hierby ingesluit is ʼn omvattende studie van die betroubaarheid en geldigheid van die toets. Dit is in die vorm van ʼn bevestigende argument vervat. Die daaropvolgende hoofstukke (5, 6 en 7) fokus spesifiek op die kwessies van deursigtigheid, toeganklikheid en verantwoordbaarheid met betrekking tot die TALPS. Die studie sou egter nie volledig wees sonder die insette van die toetsafleggers nie. Daarom is ’n vraelys ontwerp met die doel om hul inligting, kommentaar, vrae en reaksies omtrent die TALPS te verkry. ʼn Gedetailleerde opsomming van hierdie gegewens word in die studie ingesluit. Die slothoofstuk poog om ʼn opsomming te gee van die antwoorde op die belangrike vrae wat in die loop van die ondersoek gevra en beantwoord is. Dit beskou ook die verband tussen deursigtigheid, toeganklikheid en verantwoordbaarheid en gee kortliks aandag aan ander voorwaardes in die raamwerk wat bydra tot die ontwerp van regverdige en sosiaal-aanvaarbare toetse. Daar word gehoop om met hierdie studie ʼn bydrae tot die veld van taaltoetsing te lewer deur te konsentreer op ʼn aspek van toetsing wat nog grootliks geїgnoreer is – die sosiale dimensie. Een van die doelwitte is om aan te toon hoe die empiriese, sosiale en etiese dimensies van die TALPS mekaar komplementeer. Dit verskaf dus ʼn raamwerk wat die noodsaak van sowel die empiriese ontledings van ʼn toets as die sosiale dimensies van taaltoetsing inkorporeer. Die opstellers van taaltoetse word uitgedaag om belangrike kwessies in verband met elke aspek van die toets te oorweeg, sodat dit sal lei tot regverdige, toeganklike toetse waarvoor hulle verantwoordbaarheid sal aanvaar.
Description
Keywords
Academic literacy, Testing, Transparency, Accessibility, Accountability, Constitutive, Regulative, Validity, Construct, Framework, Thesis (D. Phil. Linguistics (English))--University of the Free State, 2013