A comparative study to determine the optimum e-assessment paradigm for testing users' word processing skills
Loading...
Date
2008
Authors
Strauss, Hermanus Johannes
Journal Title
Journal ISSN
Volume Title
Publisher
University of the Free State
Abstract
English: In recent times, people have become more and more reliant on computers on a daily basis. As a result, the need has arisen to optimise the task-related experience in terms of time efficiency, which demands effective training in software skills. To be more specific, word processing skills are currently considered essential in any field of work and are in high demand. This study focuses on determining the optimal paradigm (methods) to assess users’ word processing skills. One of the main reasons for this research was the fact that students at the University of the Free State (UFS) reported to the computer literacy course lecturer that they were dissatisfied with the virtual, simulated MS Word software environment used to assess (e-assess) their word processing skills electronically. This existing test system (ETS) at the UFS requires students to perform certain tasks and automatically checks whether the required end-result is obtained. However, this system is based on a simulated interface with limited functionality. As a result, the relevant information on software e-assessment systems was researched and a new software skills e-assessment application developed accordingly. The aim was to develop a tool that would be able to assess students’ word processing skills in the most reliable way possible. Another aim was to find methods of stimulating the learning process during the e-assessment of word processing skills. Therefore the newly developed e-assessment system, WordAssessor, is designed to be based on the real MS Word environment. It requires students to perform certain tasks and automatically checks whether the said tasks have been correctly performed. WordAssessor allows students to explore the MS Word interface fully while being assessed. It even allows students to use trial-and-error to solve certain problems (tasks). To stimulate learning potentially further during e-assessment, WordAssessor presents students with a video solution for the questions they had incorrect, directly after the test. In order to assess the validity of the e-assessment methods employed by the WordAssessor system, comparative user testing was conducted. Students’ word processing skills were assessed as part of their advanced computer literacy course, using the ETS, the WordAssessor system and a personalised test scenario (where no e-assessment tool was used). In addition, participating students were provided with a questionnaire to determine their reaction and preference with regard to the various elements of the assessment methods. By analysing the results in detail, it was found that the results of the personalised test scenario (PT) yielded the most reliable indication of students’ true word processing skills, and could be used as a benchmark. Hereafter, the results of the WordAssessor test scenario were analysed to determine the correlation (relationship) with the results of the personalised test. The same type of correlation was performed between the results of the ETS and PT. It was established that the WordAssessor results correlated significantly more closely with the PT results than the ETS. In the end (and after additional analysis) it was found that the methods employed by WordAssessor yielded the most reliable indication of students’ true word processing skills knowledge when compared to the ETS. In addition, from the results of the post-assessment questionnaire, it was determined that students felt they learned more as a result of the video tutorials. Furthermore, they stated that they preferred video feedback over text- or paper-based feedback. They also stated that they preferred being assessed in a real software environment, as opposed to a simulation. It was recommended that a more flexible and realistic e-assessment approach (as demonstrated by the WordAssessor system) could be beneficial to students on several levels. Also, it was recommended that students be able to answer test questions in a way that suits them rather than being instructed as to the method of use. Finally, the use of highly detailed video tutorials directly following e-assessment (only for questions students had incorrect), was recommended.
Afrikaans: In die jongste verlede het die mens toenemend afhanklik geraak van 'n daaglikse gebruik van rekenaars. Dit het daartoe gelei dat 'n behoefte ontstaan het om die taak-gerigte erva-ring ten opsigte van doeltreffende tydsbenutting te optimaliseer, wat op sy beurt effektiewe opleiding in programmatuur-vaardighede vereis. In die besonder word woordverwerkingsvaardighede tans as onontbeerlik beskou binne enige arbeidsveld en is dus hoog in aanvraag. Dit is die fokus van hierdie studie om vas te stel wat die optimale paradigma (metodes) is om die woordverwerkingsvaardighede van gebruikers te assesseer. Een van die hoofredes vir hierdie navorsing is gegee in die feit dat studente aan die Universiteit van die Vrystaat (UVS) by 'n dosent, wat rekenaargeletterdheid aanbied, gekla het dat hulle ontevrede is met die virtueel-gesimuleerde MS Word programmatuur-omgewing wat gebruik word om hul woordverwerkingsvaardighede elektronies te assesseer (e-assessering). Die bestaande toets-sisteem (BTS) by die UVS verwag van studente om sekere take uit te voer en gaan dan outomaties na of die verwagte eind-resultate verkry is. Hierdie sisteem is egter gebaseer op 'n gesimuleerde koppelvlak met 'n beperkte funksionaliteit. Dit het daartoe gelei dat die relevante inligting rakende die e-assessering van programmatuur ondersoek is en dat 'n geskikte nuwe programmatuur e-assesseringstoepassing ontwikkel is. Hierdie nuut-ontwikkelde e-assesseringsisteem, WordAssessor, is so ontwerp dat dit op die werklike MS Word-omgewing gebaseer is. Dit verg van die studente om sekere take uit te voer en om outomaties na te gaan of hierdie take behoorlik voltooi is. WordAssessor laat studente toe om die MS Word koppelvlak volledig te benut terwyl die assessering plaasvind. Dit laat studente selfs toe om deur middel van die probeer-fouteer metode bepaalde probleme (take) op te los. Om leer-potensiaal tydens die assessering te stimuleer, bied WordAssessor onmiddellik na die toets aan studente 'n video-oplossing vir die probleme wat hulle verkeerd gehad het. Om die geldigheid van die e-assesseringsmetodes wat deur die WordAssessor-sisteem gebruik word te bepaal, word gebruik gemaak van vergelykende gebruikertoetsing. Studente se woordverwerkingsvaardighede is geassesseer as deel van hul gevorderde rekenaargeletterdheidskursus, met gebruikmaking van die BTS, die WordAssessor-sisteem en 'n persoonlik-begeleide toets-scenario (PB) (waar geen e-assesseringsinstrument gebruik is nie). Hierbenewens, is deelnemende studente voorsien van 'n vraelys om hul reaksie en voorkeur te bepaal met betrekking tot die verskillende elemente van die assesseringsmetodes. Deur middel van 'n detail-analise van die resultate is bevind dat die persoonlik-begeleide toets-scenario die mees betroubare aanduiding van die werklike woordverwerkingsvaar-dighede van die studente is en dat dit as standaard (maatstaf) gebruik kan word. Vervolgens is die resultate van die woordverwerkingstoets-scenario ontleed om die korrelasie met die resultate van die persoonlik-begeleide toets vas te stel. 'n Soortgelyke korrelasie is toegepas op die resultate van die BTS en die PB. Daar is vasgestel dat die WordAssessor-resultate op 'n betekenisvolle wyse nader korreleer met die PB-resultate as met dié van die BTS. Uiteindelik (en na verdere analise) is bevind dat, in vergelyking met die BTS, die metodes wat deur WordAssessor aangewend is, die mees betroubare aanduiding van studente se werklike woordverwerkingsvaardighede en –kundigheid daarstel. Bykomend, is uit die resultate van die post-assesseringvraelys vasgestel dat studente van mening is dat hulle as 'n uitvloeisel van die video tutoriale meer geleer het. Daarbenewens het hulle gestel dat hulle die video terugvoer verkies bo teks- of papier-gebaseerde terugvoer. Hulle het ook vermeld dat hulle verkieslik binne die egte programmatuuromgewing geassesseer wil word, in teenstelling met 'n simulasie. Daar is aanbeveel dat 'n meer soepele en realistiese e-assesseringsbenadering (soos deur die WordAssessor-sisteem gedemonstreer) op verskillende vlakke voordelig vir studente sal wees. Verder is daar aanbeveel dat studente in staat gestel moet word om die toetsvrae op 'n wyse te beantwoord waarmee hulle gemaklik is, eerder as om voorskrifte oor die metode van gebruik te ontvang. Laastens is die gebruik van hoogsgedetaileerde video tutoriale regstreeks ná die e-assessering (slegs ten opsigte van daardie vrae waar studente gefouteer het) aanbeveel.
Afrikaans: In die jongste verlede het die mens toenemend afhanklik geraak van 'n daaglikse gebruik van rekenaars. Dit het daartoe gelei dat 'n behoefte ontstaan het om die taak-gerigte erva-ring ten opsigte van doeltreffende tydsbenutting te optimaliseer, wat op sy beurt effektiewe opleiding in programmatuur-vaardighede vereis. In die besonder word woordverwerkingsvaardighede tans as onontbeerlik beskou binne enige arbeidsveld en is dus hoog in aanvraag. Dit is die fokus van hierdie studie om vas te stel wat die optimale paradigma (metodes) is om die woordverwerkingsvaardighede van gebruikers te assesseer. Een van die hoofredes vir hierdie navorsing is gegee in die feit dat studente aan die Universiteit van die Vrystaat (UVS) by 'n dosent, wat rekenaargeletterdheid aanbied, gekla het dat hulle ontevrede is met die virtueel-gesimuleerde MS Word programmatuur-omgewing wat gebruik word om hul woordverwerkingsvaardighede elektronies te assesseer (e-assessering). Die bestaande toets-sisteem (BTS) by die UVS verwag van studente om sekere take uit te voer en gaan dan outomaties na of die verwagte eind-resultate verkry is. Hierdie sisteem is egter gebaseer op 'n gesimuleerde koppelvlak met 'n beperkte funksionaliteit. Dit het daartoe gelei dat die relevante inligting rakende die e-assessering van programmatuur ondersoek is en dat 'n geskikte nuwe programmatuur e-assesseringstoepassing ontwikkel is. Hierdie nuut-ontwikkelde e-assesseringsisteem, WordAssessor, is so ontwerp dat dit op die werklike MS Word-omgewing gebaseer is. Dit verg van die studente om sekere take uit te voer en om outomaties na te gaan of hierdie take behoorlik voltooi is. WordAssessor laat studente toe om die MS Word koppelvlak volledig te benut terwyl die assessering plaasvind. Dit laat studente selfs toe om deur middel van die probeer-fouteer metode bepaalde probleme (take) op te los. Om leer-potensiaal tydens die assessering te stimuleer, bied WordAssessor onmiddellik na die toets aan studente 'n video-oplossing vir die probleme wat hulle verkeerd gehad het. Om die geldigheid van die e-assesseringsmetodes wat deur die WordAssessor-sisteem gebruik word te bepaal, word gebruik gemaak van vergelykende gebruikertoetsing. Studente se woordverwerkingsvaardighede is geassesseer as deel van hul gevorderde rekenaargeletterdheidskursus, met gebruikmaking van die BTS, die WordAssessor-sisteem en 'n persoonlik-begeleide toets-scenario (PB) (waar geen e-assesseringsinstrument gebruik is nie). Hierbenewens, is deelnemende studente voorsien van 'n vraelys om hul reaksie en voorkeur te bepaal met betrekking tot die verskillende elemente van die assesseringsmetodes. Deur middel van 'n detail-analise van die resultate is bevind dat die persoonlik-begeleide toets-scenario die mees betroubare aanduiding van die werklike woordverwerkingsvaar-dighede van die studente is en dat dit as standaard (maatstaf) gebruik kan word. Vervolgens is die resultate van die woordverwerkingstoets-scenario ontleed om die korrelasie met die resultate van die persoonlik-begeleide toets vas te stel. 'n Soortgelyke korrelasie is toegepas op die resultate van die BTS en die PB. Daar is vasgestel dat die WordAssessor-resultate op 'n betekenisvolle wyse nader korreleer met die PB-resultate as met dié van die BTS. Uiteindelik (en na verdere analise) is bevind dat, in vergelyking met die BTS, die metodes wat deur WordAssessor aangewend is, die mees betroubare aanduiding van studente se werklike woordverwerkingsvaardighede en –kundigheid daarstel. Bykomend, is uit die resultate van die post-assesseringvraelys vasgestel dat studente van mening is dat hulle as 'n uitvloeisel van die video tutoriale meer geleer het. Daarbenewens het hulle gestel dat hulle die video terugvoer verkies bo teks- of papier-gebaseerde terugvoer. Hulle het ook vermeld dat hulle verkieslik binne die egte programmatuuromgewing geassesseer wil word, in teenstelling met 'n simulasie. Daar is aanbeveel dat 'n meer soepele en realistiese e-assesseringsbenadering (soos deur die WordAssessor-sisteem gedemonstreer) op verskillende vlakke voordelig vir studente sal wees. Verder is daar aanbeveel dat studente in staat gestel moet word om die toetsvrae op 'n wyse te beantwoord waarmee hulle gemaklik is, eerder as om voorskrifte oor die metode van gebruik te ontvang. Laastens is die gebruik van hoogsgedetaileerde video tutoriale regstreeks ná die e-assessering (slegs ten opsigte van daardie vrae waar studente gefouteer het) aanbeveel.
Description
Keywords
Assessment paradigm, E-assessment, Software skills, Formative assessment, Word processing, Video tutorials, Word processing, Computer-assisted instruction, Educational technology -- Education, Higher, Web-based instruction, Ability -- Testing, Dissertation (M.Sc. (Computer Science and Informatics))--University of the Free State, 2008