A comparison of similarity metrics for e-assessment of MS Office assignments
Loading...
Date
2015-07
Authors
Marais, Willem Sterrenberg Jacobus
Journal Title
Journal ISSN
Volume Title
Publisher
University of the Free State
Abstract
English: Computerised assessment is prevalent in various disciplines where immediate and accurate feedback with regard to students’ assignments is required. It is used as an alternative to manual assessment of computer programming assignments, computer proficiency tests and free-text responses to questions. The implementation of the Office Open XML (OOXML) standard, as the default document format for Microsoft Office, instigated the development of alternative computerised assessment algorithms with the ability to assess word-processing documents of the DOCX format. Word-processing assignments are primarily assessed by comparing the final document, submitted by the student, to the ideal solution provided by the examiner. Research into the anatomy of OOXML-based documents delivered several alternative approaches with regard to the computerised assessment of DOCX document types. OOXML simplifies the evaluation process of word-processing documents by providing easily identifiable elements within the document structure. These elements can then be used to assess the content and formatting of the document to determine whether the solution, submitted by the student, matches the ideal solution provided by the examiner. By examining current OOXML-based algorithms, certain gaps within the implementation thereof were identified. An alternative algorithm, dubbed the OOXML algorithm that could alleviate these issues, is introduced. It improves the assessment techniques of current OOXML-based algorithms by firstly simplifying the structure of the DOCX documents to ensure that the student’s document and examiner’s solution conform to a homogeneous structure. It then identifies corresponding paragraphs between the student’s document and the examiner’s solution. Finally, the student’s simplified document is assessed by comparing the content and formatting elements within the OOXML structure of the corresponding paragraphs with one another. To determine the accuracy and reliability of the proposed OOXML algorithm, it is compared with three established algorithms as well as manual assessment techniques. The three algorithms include a string comparison algorithm called fComp, the Levenshtein algorithm and a document difference algorithm, implemented by a system called Word Grader. The same group of word-processing assignments is graded by the specified algorithms and manually assessed by multiple human markers. Analysis of the results of a quasi-experimental study concluded that the proposed OOXML algorithm and its element comparison metric not only produced more reliable results than the human markers but also more accurate results than the human markers and the other selected document analysis algorithms.
Afrikaans: Gerekenariseerde assessering kom algemeen voor in verskeie dissiplines waar onmiddellike en akkurate terugvoer met betrekking tot studente se werksopdragte vereis word. Dit word gebruik as ‘n alternatief tot die assessering van rekenaarprogrammeringsopdragte, rekenaarvaardigheidstoetse en vrye-teks antwoorde op vrae deur menslike nasieners. Die implementering van die Office Open XML (OOXML) standaard as die verstek dokument-formaat vir Microsoft Office, het die ontwikkeling van alternatiewe gerekenariseerde assesserings-algoritmes, met die vermoë om woordverwerkingsdokumente van die DOCX formaat te evalueer, genoodsaak. Woordverwerkingsopdragte word hoofsaaklik geassesseer deur die finale dokument, wat deur die student ingedien word, met die ideale oplossing van die eksaminator te vergelyk. Navorsing van die anatomie van OOXML-gebaseerde dokumente het verskeie alternatiewe benaderings met betrekking tot die gerekenariseerde assessering van DOCX-dokument tipes opgelewer. OOXML vereenvoudig die evalueringsproses van woordverwerkingsdokumente deur maklik-identifiseerbare elemente binne die dokumentstruktuur te verskaf wat gebruik kan word om die inhoud en formaat van die dokument te assesseer. Hierdie elemente word dan gebruik om te bepaal of die oplossing, wat deur die student ingedien is, ooreenstem met die ideale oplossing wat deur die eksaminator verskaf word. Deur huidige OOXML-gebaseerde algoritmes te ondersoek, is sekere leemtes in die implementering daarvan geïdentifiseer. 'n Alternatiewe algoritme, genaamd die OOXML-algoritme,wat hierdie kwessies kan verminder is bekendgestel. Dit verbeter die assesseringstegnieke van huidige OOXML-gebaseer algoritmes deur eerstens die struktuur van die DOCX-dokumente te vereenvoudig om te verseker dat die student se dokument en die eksaminator se oplossing aan 'n homogene struktuur voldoen. Hierna identifiseer dit ooreenstemmende paragrawe tussen die student se dokument en die eksaminator se oplossing. Laastens, word die student se vereenvoudigde dokument geassesseer deur die inhoud en formateringselemente binne die OOXML-struktuur van die ooreenstemmende paragrawe met mekaar te vergelyk. Om die akkuraatheid en betroubaarheid van die voorgestelde OOXML-algoritme te bepaal, word dit vergelyk met drie gevestigde algoritmes sowel as met hand-assesseringstegnieke. Die drie algoritmes sluit in 'n string-vergelykingsalgoritme genaamd fComp, die Levenshtein-algoritme en 'n algoritme wat verskille in dokumente identifiseer, geïmplementeer deur 'n stelsel genaamd Word Grader. Dieselfde groep woordverwerkingsopdragte is deur die gespesifiseerde algoritmes gemerk asook deur verskeie nasieners met die hand gemerk. Die analise-resultate van 'n kwasi-eksperimentele studie het bevind dat die voorgestelde OOXML-algoritme en sy element- vergelykingsmaatstaf nie slegs meer betroubare resultate as menslike nasieners verskaf nie, maar ook akkurater resultate as menslike nasieners en die ander gekose dokumentontledings-algoritmes opgelewer het.
Afrikaans: Gerekenariseerde assessering kom algemeen voor in verskeie dissiplines waar onmiddellike en akkurate terugvoer met betrekking tot studente se werksopdragte vereis word. Dit word gebruik as ‘n alternatief tot die assessering van rekenaarprogrammeringsopdragte, rekenaarvaardigheidstoetse en vrye-teks antwoorde op vrae deur menslike nasieners. Die implementering van die Office Open XML (OOXML) standaard as die verstek dokument-formaat vir Microsoft Office, het die ontwikkeling van alternatiewe gerekenariseerde assesserings-algoritmes, met die vermoë om woordverwerkingsdokumente van die DOCX formaat te evalueer, genoodsaak. Woordverwerkingsopdragte word hoofsaaklik geassesseer deur die finale dokument, wat deur die student ingedien word, met die ideale oplossing van die eksaminator te vergelyk. Navorsing van die anatomie van OOXML-gebaseerde dokumente het verskeie alternatiewe benaderings met betrekking tot die gerekenariseerde assessering van DOCX-dokument tipes opgelewer. OOXML vereenvoudig die evalueringsproses van woordverwerkingsdokumente deur maklik-identifiseerbare elemente binne die dokumentstruktuur te verskaf wat gebruik kan word om die inhoud en formaat van die dokument te assesseer. Hierdie elemente word dan gebruik om te bepaal of die oplossing, wat deur die student ingedien is, ooreenstem met die ideale oplossing wat deur die eksaminator verskaf word. Deur huidige OOXML-gebaseerde algoritmes te ondersoek, is sekere leemtes in die implementering daarvan geïdentifiseer. 'n Alternatiewe algoritme, genaamd die OOXML-algoritme,wat hierdie kwessies kan verminder is bekendgestel. Dit verbeter die assesseringstegnieke van huidige OOXML-gebaseer algoritmes deur eerstens die struktuur van die DOCX-dokumente te vereenvoudig om te verseker dat die student se dokument en die eksaminator se oplossing aan 'n homogene struktuur voldoen. Hierna identifiseer dit ooreenstemmende paragrawe tussen die student se dokument en die eksaminator se oplossing. Laastens, word die student se vereenvoudigde dokument geassesseer deur die inhoud en formateringselemente binne die OOXML-struktuur van die ooreenstemmende paragrawe met mekaar te vergelyk. Om die akkuraatheid en betroubaarheid van die voorgestelde OOXML-algoritme te bepaal, word dit vergelyk met drie gevestigde algoritmes sowel as met hand-assesseringstegnieke. Die drie algoritmes sluit in 'n string-vergelykingsalgoritme genaamd fComp, die Levenshtein-algoritme en 'n algoritme wat verskille in dokumente identifiseer, geïmplementeer deur 'n stelsel genaamd Word Grader. Dieselfde groep woordverwerkingsopdragte is deur die gespesifiseerde algoritmes gemerk asook deur verskeie nasieners met die hand gemerk. Die analise-resultate van 'n kwasi-eksperimentele studie het bevind dat die voorgestelde OOXML-algoritme en sy element- vergelykingsmaatstaf nie slegs meer betroubare resultate as menslike nasieners verskaf nie, maar ook akkurater resultate as menslike nasieners en die ander gekose dokumentontledings-algoritmes opgelewer het.
Description
Keywords
Dissertation (M.Comm. (Computer Science and Informatics))--University of the Free State, 2015, Technology assessment