Psychometric analysis as a quality assurance system in OSCEs in a resource limited institution
Loading...
Files
Date
2016-07
Authors
Ogah, A. O.
Journal Title
Journal ISSN
Volume Title
Publisher
University of the Free State
Abstract
English: A comprehensive study was carried out with a view to develop a guideline for psychometric analysis and recommend for its incorporation into the Quality Assurance examination policy of medical schools. The study was motivated by a gap that exists in the knowledge and skills of psychometric methods at KIU-Dar, the UFS, but also in Sub- Saharan Africa and the rest of Africa. Psychometrics involves statistics and mathematics, which is a nightmare for many practitioners. To bridge the gap, the researcher compiled a very simple guideline for psychometric analysis. The guideline discussed is user-friendly and requires simple easily accessible tools such as SPSS and Microsoft Excel. Moreover, a new psychometric programme for the rapid analysis of the OSCE data, developed and published by Tavakol and Doody early this year, was introduced in this study with recommendations for medical schools to purchase it for use in their medical education units to quality assure their examinations. By developing the strategy, the identified gap was bridged, in that it can aid in the training and encouragement of academic staffs to use the psychometric tools, skilfully on their subject examinations to improve assessments and training.
The study was carried out in a resource limited medical school, at the Kampala International University, Dar es Salaam campus, to objectively measure the quality of the OSCEs in order to improve and harmonize the quality of our assessments, clinical training, quality of medical graduates and consequently patient care. The exit OSCE was conducted in four clinical departments (OBGYN, Paediatrics, Medicine and Surgery) in July 2015. The examiners were a mixture of consultants, specialists and medical officers. The research methods comprised of literature reviews and observations using checklists during the OSCEs. The examiners collected the scores (data) by means of checklists. A total of 27 graduating clinical students were assessed by 20 examiners in 82 OSCE stations across all the departments.
The key findings in this study were as follows. The examiners were too few, while the OSCE stations were too many in 3 of the departments. OBGYN had too few OSCE stations. Of note is the very limited human resource in OBGYN, as all the internal examiners were part-time staff of the university. The examiner: station ratio was 1:4. The clinical stations were manned by one examiner each and the rest of the stations (50-75%) were in written format. The examiners were not very conversant with OSCE, they were not aware of global scoring, standard setting and psychometric analysis. Currently, our medical school uses a fixed university pass mark of 50% and the grading system is based on the raw scores. In addition, there was no blueprint and standardised patient for the OSCE. All the patients that were used were real, which limited the researcher from obtaining their ratings of the students’ performances as this was not permitted by the hospital administration. Also, the researcher could not obtain the examiners’ global scores. The Ministry of Health checklist that was used by the examiners did not capture global scoring nor standardised patients’ ratings. Since it was practically difficult to have an ideal examination setting, the raw OSCE scores were likely to be abnormally distributed with possibly outliers as we found in this study.
The findings of the study inform helpful recommendations pertaining to accurate perception of the students’ performances and ability to make valid comparison with other assessments anywhere. The study suggests that it is better to convert the raw scores into Z-scores and the university grading systems should be built on Z-scores. As was also observed in the analysis, the letter grades based on the Z-scores corresponded to different raw score ranges in each station and subject. Moreover, to make an accurate pass-fail judgement on students’ performances, it is better to use the ‘gold standard’ method of setting the pass mark especially in a situation where the examination setting is not ideal. The borderline regression method is the recommended method. However, where there are no global scores, the borderline method, as was demonstrated in this study can be used to determine the pass mark for these examinations.
The variability of the OSCE scores was generally high, which is not desirable for a criterion referenced test. Also, the variability in an ideal OSCE should only come from the different abilities of the students. However, in this study, most of the variability in the students’ scores was contributed by the examiners and their interactions with the students as noted in the ANOVA and the G-studies. The overall G-Coefficient was 0.75, which is comparable with other studies in the developed countries. However, the G-coefficient in each subject were lower and weakest in OBGYN. The station analysis in this study showed that the Internal Medicine OSCE was the best. The other subjects especially OBGYN had poor discriminating power and difficulty index for a criterion referenced assessment. The internal consistency and stability of the OSCEs in this resource constrained institution, based on Cronbach alpha, were low (below 0.25). Several Hawks and Doves were identified in the study. Recommendations in this regard were made. The sound research approach and methodology ensured quality, reliability and validity. The completed research can form the basis for a further research undertaking.
Afrikaans: 'n Omvattende studie is uitgevoer met die doel om 'n riglyn te ontwikkel vir psigometriese ontleding en om dit in die gehalteversekeringseksamenbeleid van elke mediese skool in te sluit. Dit sal begin by die mediese skole van die Universiteit van die Vrystaat en Kampala International University. Die riglyn, as dit gereeld gebruik word, sal die gehalte van die OSCEs en ander belangrike universiteitseksamens konsekwent en objektief meet, met die doel om die gehalte van assesserings, kliniese opleiding, die gehalte van mediese gegradueerdes en, gevolglik, pasiëntsorg, te verbeter en in ooreenstemming te bring. Assessering is die kern van elke opleidingsinstelling. Assessering dryf leer. Deur assessering kan die hoeveelheid leer wat die student verwerf het, gemeet word, en kan die programme geëvalueer word. Geen assessering is ooit presies dieselfde as 'n ander nie. Die toepassing van OSCE, 'n soort kliniese assessering wat hulpbronintensief is, kan gekompromitteer word ten opsigte van gehalte, veral by instellings met beperkte hulpbronne. Die gehalteversekeringsmetodiek wat tans by die meeste mediese skole ingestel is om die gehalte van assessering te monitor, gebruik mense as beoordelaars, wat subjektief, bevooroordeeld en veranderlik kan wees. Psigometriese ontleding bied 'n stabiele, objektiewe en goedkoop manier om die gehalte van OSCEs en alle ander tipes assessering konsekwent te meet en te verbeter. Daar bestaan reeds heelwat dokumentasie en publikasies oor die psigometriese waarde van OSCEs soos dit by mediese skole in ontwikkelde lande toegepas word, maar selfs daar is dit nog nie vir algemene gebruik in universiteitsbeleid ingesluit nie. Gevolglik lewer elke universiteit mediese gegradueerdes met verskillende vaardigheidsvlakke. Baie min is al gepubliseer oor die ware toedrag van sake van OSCEs by mediese skole in Afrika suid van die Sahara wat hulpbronbeperkings ervaar. Dit kan risiko inhou vir pasiëntveiligheid, veral in lande wat nie nasionale kwalifiserende eksamens het wat die gehalte van assesserings en mediese gegradueerdes wat gesertifiseer en geregistreer word vir die praktyk, harmonieer en reguleer nie. Daarom moet psigometriese ontleding ten volle by die gehalteversekeringseksamenbeleid van elke mediese skool geïntegreer word, ten einde die gehalte van assesserings, opleiding, mediese gegradueerdes en, gevolglik, pasiëntsorg, te harmonieer en te verbeter. Hierdie studie het psigometriese metodes beskryf en die aanwending daarvan op 'n eenvoudige wyse geïllustreer ten einde die psigometriese eienskappe van die finale OSCE, soos dit by 'n mediese skool met beperkte hulpbronne in oos-Afrika (Dar es Salaam) toegepas is, te meet, interpreteer en bespreek. Die mediese skool wat vir hierdie studie gebruik is, is 'n private instelling wat ten tye van die ondersoek vier jaar oud was en nie sy eie opleidingshospitaal het nie (dit was in aanbou). Die mediese skool is betrokke by 'n personeel-student uitruil-opleidingsprogram, wat personeel en studente wat op verskillende opleidingsvlakke is by die Dar-kampus, in staat stel om uit te ruil met ander studente van susterkampusse in Uganda en Nairobi. Die Dar-kampus se kliniese studente roteer na nabygeleë verwysingshospitale, wat gestruktureer is om basiese pasiëntsorg te verskaf en wat by die universiteit geaffilieer is. Daarom word die finale OSCE by een van die streeks- verwysingshospitale in Dar es Salaam uitgevoer. Die navorsingsmetodes het bestaan uit 'n literatuurstudie en waarnemings deur die navorser, wat 'n oorsiglys gedurende die OSCEs gebruik het. Die literatuuroorsig het agtergrond verskaf vir 'n konseptuele raamwerk en het die probleem teen verbandhoudende teorie en navorsing gekontekstualiseer. Die eksaminatore het die tellings (data) deur middel van oorsiglyste versamel. 'n Totaal van 27 graduerende kliniese studente is geëksamineer. Die bevinding van hierdie studie is soos volg. Die finale OSCE is in vier kliniese departmente uitgevoer: Obstetrie en Ginekologie, Pediatrie, Geneeskunde en Chirurgie. Die eksaminatore was 'n mengsel van konsultante, spesialiste en mediese beamptes. By drie departemente was daar te min eksaminatore en te veel OSCE stasies, en te min stasies by Obstetrie en Ginekologie. Die eksaminator:stasie verhouding was 1:4. Die kliniese stasies is elk deur een eksaminator beman, en die res van die stasies (75%) het geskrewe response vereis. Die eksaminatore was nie juis bekend met OSCE nie: Hulle was nie bewus van oorhoofse puntetoekenning, standaardbepaling of psigometriese ontleding nie. Die mediese skool gebruik tans 'n vaste universiteitslaagsyfer van 50%, en die stelsel van puntetoekenning is op die rou tellings gebaseer. Daar bestaan geen bloudruk of gesimuleerde pasiënt vir die OSCE nie. Al die pasiënte wat gebruik is, was ware pasiënte, wat die navorsing beperk het, aangesien die hospitaaladministrasie nie gewillig was om studente se prestasiegraderings te verskaf nie, en die navorsing kon ook nie toegang kry tot die eksaminatore se oorhoofse tellings nie. Die oorsiglys van die Ministerie van Gesondheid wat die eksaminatore gebruik het, het nie plek gehad vir oorhoofse tellings of vir gesimuleerde pasiënttellings nie. Omdat dit prakties moeilik is om 'n ideale eksamensituasie te hê, sal die rou OSCE tellings waarskynlk abnormaal versprei wees, met moonlike uitskieters, en dit is deur dié studie bevestig. Daarom, om 'n akkurate persepsie van die studente se prestasies te verkry, en om dit moontlik te maak om 'n geldige vergelyking met ander assesserings van enige ander plek, te doen, is dit beter om die rou tellings in Z-tellings om te skakel, en om universiteite se puntestelsels op Z-tellings te baseer. Soos in die ontleding waargeneem is, het die letterpunte wat op die Z-tellings gebaseer is met die verskillende routellingreekse by elke stasie, en vir elke vak, ooreengestem. Verder, om op grond van studente se prestasies 'n akkurate slaag-druip oordeel te maak, is dit beter om die "goudstandaard" metode vir die bepaling van die slaagsyfer te gebruik, veral in 'n situasie waar die eksamensituasie nie ideaal is nie. Die grensgeval-regressiemetode is egter die metode wat aanbeveel word. Waar daar geen oorhoofste punte is nie, kan die grensgevalmetode, soos deur hierdie studie getoon, gebruk word om die slaagpunt vir elke eksamen te bereken. Die veranderlikheid van OSCE punte was oor die algemeen hoog, wat nie gunstig is vir 'n kriteriumverwysingstoets nie. Verder moet die bron van die veranderlikheid van 'n ideale OSCE net die verskillende vermoëns van die studente wees. In hierdie studie is veranderlikheid in die studente se punte ook deur die eksaminatore en hulle interaksie met die studente veroorsaak, soos deur die ANOVA en G-studies getoon. In hierdie studie het 'n ontleding van die stasies getoon dat die stasie by Interne Geneeskunde die beste een was. Die ander vakke het swak gediskrimineer en die moeilikheidsindeks vir 'n kriteriumverwysde assessering was swak. Die interne konsistensie en stabiliteit van die OSCEs in hierdie instelling, met sy beperkte hulpbronne, was, volgens die Cronbach alfa, laag (onder 0.25). Verskeie valke en duiwe is in die studie geïdentifiseer. Die studie het onstaan uit die besef dat daar 'n gaping bestaan tussen die kennis en vaardighede van psigometriese metodes by Kampala International University en die Universiteit van die Vrystaat, maar ook in Afrika Suid van die Sahara en die res van Afrika oor die algemeen. Psigometrie behels Statistiek en Wiskunde, wat vir baie praktisyns 'n nagmerrie verteenwoordig. Om die gaping te oorbrug, het die navorser 'n baie eenvoudige riglyn vir psigometriese ontleding saamgestel en maak sy voorstelle vir die integrasie van psigometriese ontleding van belangrike eksamens, waaronder OSCEs, as 'n noodsaaklike komponent van die huidige gehalteversekeringstelsel. Die doel hiermee is om objektief en konsekwent die gehalte van eksamens te meet, en om die gehalte van belangrike eksamens, opleiding, leer, mediese gegradueerdes en pasiëntsorg te verbeter. Die gebruikersvriendelike psigometriese riglyn word bespreek, asook die eenvoudige hulpmiddels wat beskikbaar is vir gebruik, met die doel om te verseker dat elke eksaminator kennis en vaardighede met betrekking tot psigometriese ontleding bekom, en in staat sal wees om dit gereeld in eksamens by hulle instellings toe te pas ten einde assessering te verbeter. Verder het hierdie studie 'n nuwe psigometriese program vir die vinnige ontleding van OSCE, wat deur Tavakol en Doody (2016) ontwikkel is, bekend gestel, en word mediese skole aanbeveel om dit aan te koop en in hulle mediese opleidingseenheide te gebruik vir gehalteversekering van hulle eksamens. Deur die strategie te ontwikkel, is die gaping wat geïdentifiseer is, oorbrug en kan dit 'n bydrae maak tot die opleiding en aansporing van akademiese personeel om hulle vaardighede met die gebruik psigometriese hulpbronne te verbeter, en daardeur ook assessering en opleiding te verbeter. Aanbevelings word in hierdie verband gemaak. Die grondige navorsingsbenadering en -metodologie het die gehalte, betroubaarheid en geldigheid van die studie verseker. Die voltooide navorsing kan die grondslag vorm van verdere navorsingsondernemings.
Afrikaans: 'n Omvattende studie is uitgevoer met die doel om 'n riglyn te ontwikkel vir psigometriese ontleding en om dit in die gehalteversekeringseksamenbeleid van elke mediese skool in te sluit. Dit sal begin by die mediese skole van die Universiteit van die Vrystaat en Kampala International University. Die riglyn, as dit gereeld gebruik word, sal die gehalte van die OSCEs en ander belangrike universiteitseksamens konsekwent en objektief meet, met die doel om die gehalte van assesserings, kliniese opleiding, die gehalte van mediese gegradueerdes en, gevolglik, pasiëntsorg, te verbeter en in ooreenstemming te bring. Assessering is die kern van elke opleidingsinstelling. Assessering dryf leer. Deur assessering kan die hoeveelheid leer wat die student verwerf het, gemeet word, en kan die programme geëvalueer word. Geen assessering is ooit presies dieselfde as 'n ander nie. Die toepassing van OSCE, 'n soort kliniese assessering wat hulpbronintensief is, kan gekompromitteer word ten opsigte van gehalte, veral by instellings met beperkte hulpbronne. Die gehalteversekeringsmetodiek wat tans by die meeste mediese skole ingestel is om die gehalte van assessering te monitor, gebruik mense as beoordelaars, wat subjektief, bevooroordeeld en veranderlik kan wees. Psigometriese ontleding bied 'n stabiele, objektiewe en goedkoop manier om die gehalte van OSCEs en alle ander tipes assessering konsekwent te meet en te verbeter. Daar bestaan reeds heelwat dokumentasie en publikasies oor die psigometriese waarde van OSCEs soos dit by mediese skole in ontwikkelde lande toegepas word, maar selfs daar is dit nog nie vir algemene gebruik in universiteitsbeleid ingesluit nie. Gevolglik lewer elke universiteit mediese gegradueerdes met verskillende vaardigheidsvlakke. Baie min is al gepubliseer oor die ware toedrag van sake van OSCEs by mediese skole in Afrika suid van die Sahara wat hulpbronbeperkings ervaar. Dit kan risiko inhou vir pasiëntveiligheid, veral in lande wat nie nasionale kwalifiserende eksamens het wat die gehalte van assesserings en mediese gegradueerdes wat gesertifiseer en geregistreer word vir die praktyk, harmonieer en reguleer nie. Daarom moet psigometriese ontleding ten volle by die gehalteversekeringseksamenbeleid van elke mediese skool geïntegreer word, ten einde die gehalte van assesserings, opleiding, mediese gegradueerdes en, gevolglik, pasiëntsorg, te harmonieer en te verbeter. Hierdie studie het psigometriese metodes beskryf en die aanwending daarvan op 'n eenvoudige wyse geïllustreer ten einde die psigometriese eienskappe van die finale OSCE, soos dit by 'n mediese skool met beperkte hulpbronne in oos-Afrika (Dar es Salaam) toegepas is, te meet, interpreteer en bespreek. Die mediese skool wat vir hierdie studie gebruik is, is 'n private instelling wat ten tye van die ondersoek vier jaar oud was en nie sy eie opleidingshospitaal het nie (dit was in aanbou). Die mediese skool is betrokke by 'n personeel-student uitruil-opleidingsprogram, wat personeel en studente wat op verskillende opleidingsvlakke is by die Dar-kampus, in staat stel om uit te ruil met ander studente van susterkampusse in Uganda en Nairobi. Die Dar-kampus se kliniese studente roteer na nabygeleë verwysingshospitale, wat gestruktureer is om basiese pasiëntsorg te verskaf en wat by die universiteit geaffilieer is. Daarom word die finale OSCE by een van die streeks- verwysingshospitale in Dar es Salaam uitgevoer. Die navorsingsmetodes het bestaan uit 'n literatuurstudie en waarnemings deur die navorser, wat 'n oorsiglys gedurende die OSCEs gebruik het. Die literatuuroorsig het agtergrond verskaf vir 'n konseptuele raamwerk en het die probleem teen verbandhoudende teorie en navorsing gekontekstualiseer. Die eksaminatore het die tellings (data) deur middel van oorsiglyste versamel. 'n Totaal van 27 graduerende kliniese studente is geëksamineer. Die bevinding van hierdie studie is soos volg. Die finale OSCE is in vier kliniese departmente uitgevoer: Obstetrie en Ginekologie, Pediatrie, Geneeskunde en Chirurgie. Die eksaminatore was 'n mengsel van konsultante, spesialiste en mediese beamptes. By drie departemente was daar te min eksaminatore en te veel OSCE stasies, en te min stasies by Obstetrie en Ginekologie. Die eksaminator:stasie verhouding was 1:4. Die kliniese stasies is elk deur een eksaminator beman, en die res van die stasies (75%) het geskrewe response vereis. Die eksaminatore was nie juis bekend met OSCE nie: Hulle was nie bewus van oorhoofse puntetoekenning, standaardbepaling of psigometriese ontleding nie. Die mediese skool gebruik tans 'n vaste universiteitslaagsyfer van 50%, en die stelsel van puntetoekenning is op die rou tellings gebaseer. Daar bestaan geen bloudruk of gesimuleerde pasiënt vir die OSCE nie. Al die pasiënte wat gebruik is, was ware pasiënte, wat die navorsing beperk het, aangesien die hospitaaladministrasie nie gewillig was om studente se prestasiegraderings te verskaf nie, en die navorsing kon ook nie toegang kry tot die eksaminatore se oorhoofse tellings nie. Die oorsiglys van die Ministerie van Gesondheid wat die eksaminatore gebruik het, het nie plek gehad vir oorhoofse tellings of vir gesimuleerde pasiënttellings nie. Omdat dit prakties moeilik is om 'n ideale eksamensituasie te hê, sal die rou OSCE tellings waarskynlk abnormaal versprei wees, met moonlike uitskieters, en dit is deur dié studie bevestig. Daarom, om 'n akkurate persepsie van die studente se prestasies te verkry, en om dit moontlik te maak om 'n geldige vergelyking met ander assesserings van enige ander plek, te doen, is dit beter om die rou tellings in Z-tellings om te skakel, en om universiteite se puntestelsels op Z-tellings te baseer. Soos in die ontleding waargeneem is, het die letterpunte wat op die Z-tellings gebaseer is met die verskillende routellingreekse by elke stasie, en vir elke vak, ooreengestem. Verder, om op grond van studente se prestasies 'n akkurate slaag-druip oordeel te maak, is dit beter om die "goudstandaard" metode vir die bepaling van die slaagsyfer te gebruik, veral in 'n situasie waar die eksamensituasie nie ideaal is nie. Die grensgeval-regressiemetode is egter die metode wat aanbeveel word. Waar daar geen oorhoofste punte is nie, kan die grensgevalmetode, soos deur hierdie studie getoon, gebruk word om die slaagpunt vir elke eksamen te bereken. Die veranderlikheid van OSCE punte was oor die algemeen hoog, wat nie gunstig is vir 'n kriteriumverwysingstoets nie. Verder moet die bron van die veranderlikheid van 'n ideale OSCE net die verskillende vermoëns van die studente wees. In hierdie studie is veranderlikheid in die studente se punte ook deur die eksaminatore en hulle interaksie met die studente veroorsaak, soos deur die ANOVA en G-studies getoon. In hierdie studie het 'n ontleding van die stasies getoon dat die stasie by Interne Geneeskunde die beste een was. Die ander vakke het swak gediskrimineer en die moeilikheidsindeks vir 'n kriteriumverwysde assessering was swak. Die interne konsistensie en stabiliteit van die OSCEs in hierdie instelling, met sy beperkte hulpbronne, was, volgens die Cronbach alfa, laag (onder 0.25). Verskeie valke en duiwe is in die studie geïdentifiseer. Die studie het onstaan uit die besef dat daar 'n gaping bestaan tussen die kennis en vaardighede van psigometriese metodes by Kampala International University en die Universiteit van die Vrystaat, maar ook in Afrika Suid van die Sahara en die res van Afrika oor die algemeen. Psigometrie behels Statistiek en Wiskunde, wat vir baie praktisyns 'n nagmerrie verteenwoordig. Om die gaping te oorbrug, het die navorser 'n baie eenvoudige riglyn vir psigometriese ontleding saamgestel en maak sy voorstelle vir die integrasie van psigometriese ontleding van belangrike eksamens, waaronder OSCEs, as 'n noodsaaklike komponent van die huidige gehalteversekeringstelsel. Die doel hiermee is om objektief en konsekwent die gehalte van eksamens te meet, en om die gehalte van belangrike eksamens, opleiding, leer, mediese gegradueerdes en pasiëntsorg te verbeter. Die gebruikersvriendelike psigometriese riglyn word bespreek, asook die eenvoudige hulpmiddels wat beskikbaar is vir gebruik, met die doel om te verseker dat elke eksaminator kennis en vaardighede met betrekking tot psigometriese ontleding bekom, en in staat sal wees om dit gereeld in eksamens by hulle instellings toe te pas ten einde assessering te verbeter. Verder het hierdie studie 'n nuwe psigometriese program vir die vinnige ontleding van OSCE, wat deur Tavakol en Doody (2016) ontwikkel is, bekend gestel, en word mediese skole aanbeveel om dit aan te koop en in hulle mediese opleidingseenheide te gebruik vir gehalteversekering van hulle eksamens. Deur die strategie te ontwikkel, is die gaping wat geïdentifiseer is, oorbrug en kan dit 'n bydrae maak tot die opleiding en aansporing van akademiese personeel om hulle vaardighede met die gebruik psigometriese hulpbronne te verbeter, en daardeur ook assessering en opleiding te verbeter. Aanbevelings word in hierdie verband gemaak. Die grondige navorsingsbenadering en -metodologie het die gehalte, betroubaarheid en geldigheid van die studie verseker. Die voltooide navorsing kan die grondslag vorm van verdere navorsingsondernemings.
Description
Keywords
Thesis (Ph.D. (Health Professions Education))--University of the Free State, 2016, OSCE, Psychometric analysis, Resource limited medical schools, Quality assurance system, Improving assessments, Examination policy, Improving clinical training, Improving quality of clinical graduates, Patient safety, Post-examination evaluation