Konstitutiewe voorwaardes vir die ontwerp van 'n toets van akademiese geletterdheid
Loading...
Date
2010-11
Authors
Van Dyk, Tobias Johannes
Journal Title
Journal ISSN
Volume Title
Publisher
University of the Free State
Abstract
English: Throughput rates at South African universities are low and contribute, among others, to financial losses for a number of stakeholders: students, their parents/guardians, donors of scholarships, universities and the state. This compels institutions to investigate those factors influencing study success. Various international and local investigations indicate that academic language ability is one of several factors that has a significant influence on academic success. In order to make informed decisions about low stakes issues such as language support, universities need mechanisms to enable them to do so. One such mechanism is the use of measuring instruments, such as the Toets van Akademiese Geletterdheidsvlakke (TAG), to make a diagnosis of studentsā academic language ability, and to then place them on appropriate language support programmes. Tests, however, have the obvious power to touch the lives of people in some way. It is therefore necessary that an accountable and transparent approach is followed when designing and implementing tests such as TAG, and when interpreting test results. This is usually done by investigating the reliability and validity of a test; the latter by means of a process of validation. This study is an example of such an investigation where TAG is subjected to thorough and systematic scrutiny. A framework that considers applied linguistics as a discipline of design was followed, against which the construct (underlying theoretical framework), test specifications (the blueprint) and task types, as well as the reliability and validity of TAG were investigated. The framework suggests that a test is a technical design that can be used as solution to a (language) problem. This technical design is grounded upon certain constitutive conditions underlying it, and disclosed by regulative conditions. The former include aspects such as reliability and validity, and the latter utility, transparency, accountability and care. Although the focus of this study was on the constitutive conditions for designing and developing TAG, it repeatedly refers to the importance of the interplay between constitutive and regulative conditions, as well as the fact that a test such as TAG cannot be investigated from one perspective only. The argument of this study is thus that a technically accountable approach to the development and implementation of, and investigations into tests such as TAG is necessary in order to use them in a justifiable and responsible manner. The conclusion of this study is that TAG is a test of high quality and that it can without a doubt be used by universities for purposes of placement, because it was designed and implemented with care and its results are constantly being scrutinised.
Afrikaans: Deurvloeikoerse aan universiteite in Suid-Afrika is laag en dit dra onder andere by tot finansiĆ«le verliese vir ān verskeidenheid van belanghebbendes: die studente self, hul ouers/voogde, beursgewers, universiteite, en die staat. Dit noop instellings derhalwe om ondersoek in te stel na daardie faktore wat ān invloed het op studiesukses. Verskeie internasionale en plaaslike ondersoeke toon aan dat akademiese taalvermoĆ« een van ān aantal faktore is wat wel ān beduidende invloed op akademiese sukses het. Ten einde ingeligte besluite oor laebelang kwessies soos taalondersteuning te maak, benodig universiteite egter meganismes wat hul hiertoe in staat sal stel. Een sodanige meganisme is die gebruik van meetinstrumente, soos die Toets van Akademiese Geletterdheid (TAG), om diagnoses te maak oor studente se akademiese taalvaardighede (ook akademiese geletterdheid genoem) en hul dan op gepaste taalondersteuningsprogramme te plaas. Toetse het egter die vanselfsprekende vermoĆ« om lewens op die een of ander wyse te raak, en daarom bestaan daar ān besondere behoefte aan ān verantwoordbare en deursigtige aanpak tot die ontwerp en implementering van hierdie tipe toetse, en die interpretasie van toetsresultate. Dit word normaalweg gedoen aan die hand van ondersoeke na veral die betroubaarheid en geldigheid van ān toets; laasgenoemde aan die hand van ān proses van validering. Hierdie studie is ān voorbeeld van so ān ondersoek waar TAG aan deeglike en sistematiese skrutinering onderwerp is. ān Raamwerk wat die toegepaste taalkunde as dissipline van ontwerp beskou, is gevolg waarteen die konstruk (teoretiese onderbou), die toetsspesifikasies (die bloudruk) en taaktipes, sowel as die betroubaarheid en geldigheid van TAG ondersoek is. Die raamwerk hou in dat ān toets ān tegniese ontwerp is wat as oplossing vir ān (taal)probleem voorgehou kan word. Hierdie tegniese ontwerp moet aan bepaalde konstitutiewe beginsels, wat die funderende funksie van die ontwerp is, voldoen en dit word weer deur regulatiewe beginsels ontsluit. Eersgenoemde sluit aspekte soos betrouaarheid en geldigheid in en laasgenoemde implementeerbaarheid, bruikbaarheid, deursigtigheid, verantwoordbaarheid en sorgsaamheid. Hoewel die studie op die konstitutiewe voorwaardes vir die ontwerp en ontwikkeling van TAG gefokus het, is daar ook telkens verwys na die belang van ān wisselwerking tussen die konstitutiewe en die regulatiewe voorwaardes en die feit dat ān meetinstrument soos TAG nie net vanuit een perspektief ondersoek kan word nie. In hierdie studie word daar dus ān argument gevoer vir ān tegnies-verantwoordbare aanpak tot die ontwikkeling en implementering van, en ondersoeke na meetinstrumente soos TAG ten einde dit op regverdige en verantwoordelike wyse te kan gebruik. Die slotsom van hierdie studie is dat TAG ān toets van hoĆ« kwaliteit is wat sonder huiwering deur universiteite vir plasingsdoeleindes aangewend kan word, omdat dit op verantwoordelike wyse en met besondere sorgsaamheid ontwerp, geĆÆmplementeer en deurlopend ondersoek word.
Afrikaans: Deurvloeikoerse aan universiteite in Suid-Afrika is laag en dit dra onder andere by tot finansiĆ«le verliese vir ān verskeidenheid van belanghebbendes: die studente self, hul ouers/voogde, beursgewers, universiteite, en die staat. Dit noop instellings derhalwe om ondersoek in te stel na daardie faktore wat ān invloed het op studiesukses. Verskeie internasionale en plaaslike ondersoeke toon aan dat akademiese taalvermoĆ« een van ān aantal faktore is wat wel ān beduidende invloed op akademiese sukses het. Ten einde ingeligte besluite oor laebelang kwessies soos taalondersteuning te maak, benodig universiteite egter meganismes wat hul hiertoe in staat sal stel. Een sodanige meganisme is die gebruik van meetinstrumente, soos die Toets van Akademiese Geletterdheid (TAG), om diagnoses te maak oor studente se akademiese taalvaardighede (ook akademiese geletterdheid genoem) en hul dan op gepaste taalondersteuningsprogramme te plaas. Toetse het egter die vanselfsprekende vermoĆ« om lewens op die een of ander wyse te raak, en daarom bestaan daar ān besondere behoefte aan ān verantwoordbare en deursigtige aanpak tot die ontwerp en implementering van hierdie tipe toetse, en die interpretasie van toetsresultate. Dit word normaalweg gedoen aan die hand van ondersoeke na veral die betroubaarheid en geldigheid van ān toets; laasgenoemde aan die hand van ān proses van validering. Hierdie studie is ān voorbeeld van so ān ondersoek waar TAG aan deeglike en sistematiese skrutinering onderwerp is. ān Raamwerk wat die toegepaste taalkunde as dissipline van ontwerp beskou, is gevolg waarteen die konstruk (teoretiese onderbou), die toetsspesifikasies (die bloudruk) en taaktipes, sowel as die betroubaarheid en geldigheid van TAG ondersoek is. Die raamwerk hou in dat ān toets ān tegniese ontwerp is wat as oplossing vir ān (taal)probleem voorgehou kan word. Hierdie tegniese ontwerp moet aan bepaalde konstitutiewe beginsels, wat die funderende funksie van die ontwerp is, voldoen en dit word weer deur regulatiewe beginsels ontsluit. Eersgenoemde sluit aspekte soos betrouaarheid en geldigheid in en laasgenoemde implementeerbaarheid, bruikbaarheid, deursigtigheid, verantwoordbaarheid en sorgsaamheid. Hoewel die studie op die konstitutiewe voorwaardes vir die ontwerp en ontwikkeling van TAG gefokus het, is daar ook telkens verwys na die belang van ān wisselwerking tussen die konstitutiewe en die regulatiewe voorwaardes en die feit dat ān meetinstrument soos TAG nie net vanuit een perspektief ondersoek kan word nie. In hierdie studie word daar dus ān argument gevoer vir ān tegnies-verantwoordbare aanpak tot die ontwikkeling en implementering van, en ondersoeke na meetinstrumente soos TAG ten einde dit op regverdige en verantwoordelike wyse te kan gebruik. Die slotsom van hierdie studie is dat TAG ān toets van hoĆ« kwaliteit is wat sonder huiwering deur universiteite vir plasingsdoeleindes aangewend kan word, omdat dit op verantwoordelike wyse en met besondere sorgsaamheid ontwerp, geĆÆmplementeer en deurlopend ondersoek word.
Description
Keywords
Thesis (D.Phil. (English))--University of the Free State, 2010, Literacy -- Assessment, Academic language -- Ability testing, Educational tests and measurements -- Design, Applied linguistics, Validity, Validation, Utility, Transparency, Testing, Test Retest Reliability, Test, Task types, Reliability, Regulative conditions, Predicitive validity, Justification, Interpretation, Internal consistency, Face validity, Equivalent form reliability, Design principles, Content validity, Construct validity, Constituitive conditions, Concurrent validity, Consequential validity, Academic literacy, Applied linguistics