Summative assessment of postgraduate radiology to ensure quality in the profession
Loading...
Date
2016-01
Authors
Hurter, Delmé
Journal Title
Journal ISSN
Volume Title
Publisher
University of the Free State
Abstract
English: The College of Radiologists of South Africa (CR CMSA) is responsible for conducting the summative assessment of radiologists. With summative assessments being completed biannually it is important to provide directive documentation to ensure the reliability of consecutive summative assessments, and quality in the profession. The lack of clear guidelines for assessors and moderators of the summative assessment in postgraduate radiology and the lack of an assessment qualification to become an assessor prompted investigation and is the reason for this research.
An in-depth study was done by the researcher to construct a directive for summative assessment in postgraduate radiology to ensure quality in the profession and to propose guidelines for assessors and moderators of the summative assessment, as well as guidelines for candidates who are preparing for the summative assessment. The objectives of this study included conceptualising and contextualising the lack of directive documentation for summative assessment in radiology, identifying the factors that play a role in the summative assessment of postgraduate students in radiology, identifying the factors that play a role in the preparation for summative assessment in radiology, determining guidelines for assessors and moderators and, finally, constructing a directive for summative assessment in postgraduate radiology.
A qualitative research design was followed to address the research objectives. As basis for the study in-depth theoretical perspectives were gathered to conceptualise and contextualise summative assessment in radiology. A number of teaching and learning activities were identified from the theoretical perspectives; these activities can be used to prepare for summative assessment.
Individual semi-structured interviews were conducted with interviewees, who fell in two target groups. The first group, as "providers" of the summative assessment, included assessors and moderators of the radiology summative assessment. The second group, as "users" of the summative assessment, included candidates who were within one year post summative assessment. Interviews were conducted with interviewees in both groups until the data became saturated. The findings of the interviews were tabulated according to themes, categories and subcategories that emerged from the interviews with all the interviewees. The researcher discusses and summarises all findings in the thesis. The findings were triangulated between the two groups as well as with the theoretical perspectives to contribute to the trustworthiness of the study.
This study addresses current shortcomings, for example, limited feedback to candidates and the lack of guidelines for selecting assessors and moderators who are involved in the assessment. The study also addresses assessment training of assessors and moderators of the radiology summative assessment. Various instruments and tools were identified for use in radiology summative assessment and for adding value to radiology training through guidance to candidates on how to prepare for the summative assessment. Criteria for identifying a candidate's readiness for the summative assessment and criteria for being a competent radiologist were discussed.
Summative assessment is the final step for any candidate to be certified a safe radiologist who is deemed competent to practice radiology independently. A safe radiologist needs to demonstrate general radiology knowledge, skills, roles and competencies as identified from the study, and must have the ability to manage any scenario encountered by a general radiologist. The competent radiologist should know to consult for guidance when needed and practice lifelong learning.
The gap in knowledge that was addressed was the lack of directive documentation that is needed to guide assessors and moderators to repeatedly certify safe, competent radiologists.
The researcher presents guidelines for assessors and moderators to ensure the quality of the assessment instrument and tools, the assessment process and the profession, as well as guidelines for candidates on preparing for the summative assessment. Heads of departments are presented with guidelines on when to present a candidate for the summative assessment; convenors are presented with guidelines on how to conduct the assessment, and assessors and moderators are presented with criteria for identifying competent radiologists.
Afrikaans: Die College of Radiologists of South Africa (CR CMSA) is verantwoordelik vir die afneem van die summatiewe assessering van radioloë. Aangesien summatiewe assessering sesmaandeliks plaasvind, is dit belangrik om rigtinggewende dokumentasie te verskaf om die betroubaarheid van opeenvolgende summatiewe assesserings en gehalte in die professie te verseker. Die afwesigheid van duidelike riglyne vir assessore en moderatore van die summatiewe assessering in nagraadse radiologie, en die afwesigheid van ‘n assesseringskwalifikasie vir voornemende assessore, het aanleiding gegee tot die ondersoek en is die rede vir hierdie navorsing. Die navorser het ‘n dieptestudie uitgevoer om ‘n gids vir summatiewe assessering van nagraadse radiologie saam te stel, om gehalte in die professie te verseker en om riglyne vir assessore en moderatore van die summatiewe assessering, sowel as riglyne vir kandidate wat voorberei vir die summatiewe assessering, voor te stel. Die doelwitte van hierdie studie het ingesluit die konseptualisering en kontekstualisering van die afwesigheid van rigtinggewende dokumentasie vir summatiewe assessering in radiologie, identifisering van faktore wat ‘n rol speel in die summatiewe assessering van nagraadse studente in radiologie, die identifisering van faktore wat ‘n rol speel in die voorbereiding vir summatiewe assessering in radiologie, die bepaling van riglyne vir assessore en moderatore en, laastens, die saamstel van ‘n gids vir summatiewe assessering in nagraadse radiologie. ‘n Kwalitatiewe navorsingsontwerp is gevolg om die navorsingsdoelwitte aan te spreek. As basis van die studie is diepgaande teoretiese perspektiewe versamel om summatiewe assessering in radiologie te konseptualiseer en kontekstualiseer. ‘n Aantal onderrig-en-leeraktiwiteite, wat ter voorbereiding vir die summatiewe assessering gebruik kan word, is ook uit die teoretiese perspektiewe geïdentifiseer. Individuele semigestruktureerde onderhoude is uitgevoer met ondervraagdes wat in twee teikengroepe geval het. Die eerste groep, as “verskaffers” van die summatiewe assessering, het assessore en moderatore van die summatiewe assessering ingesluit. Die tweede groep, “gebruikers” van die summatiewe assessering, het kandidate wat binne die afgelope jaar die summatiewe assessering afgelê het, behels. Onderhoude is met ondervraagdes in albei groepe gevoer totdat die data versadig was. Die bevindinge van die onderhoude is getabuleer volgens die temas, kategorieë en subkategorieë wat uit die onderhoude met al die ondervraagdes tevoorskyn gekom het. Die navorser bespreek en som al die bevindinge in die tesis op. Die bevindinge is tussen die twee groepe sowel as met die teoretiese perspektiewe getrianguleer, en dit dra tot die geloofwaardigheid van die studie by. Hierdie studie het die huidige tekortkominge, byvoorbeeld, beperkte terugvoer aan kandidate en die afwesigheid van riglyne vir die seleksie van assessore en moderatore wat by die assessering betrokke is, aangespreek. Die studie het ook aandag geskenk aan opleiding van assessore en moderatore van die radiologie summatiewe assessering. Verskeie instrumente en hulpmiddels is geïdentifiseer vir gebruik in radiologie summatiewe assessering, en vir toegevoegde waarde vir radiologie-opleiding deur leiding aan kandidate ten opsigte van hoe om vir die summatiewe assessering voor te berei. Kriteria vir die vasstelling van ‘n kandidaat se gereedheid vir die summatiewe assessering, sowel as kriteria om ‘n bevoegde radioloog te wees, is bespreek. Summatiewe assessering is die finale stap vir enige kandidaat voor hy/sy as ‘n veilige radioloog, wat beskou word as bekwaam om radiologie onafhanklik te beoefen, gesertifiseer word. ‘n Veilige radioloog moet algemene radiologiekennis, -vaardighede, -rolle en -bevoegdhede kan toon, soos deur die studie geïdentifiseer, en moet die vermoë hê om enige scenario wat van ‘n algemene radioloog vereis word, te kan hanteer. Die bevoegde radioloog moet weet hoe om ander te raadpleeg vir leiding wanneer hy/sy dit nodig het, en moet lewenslange leer beoefen. Die kennisgaping wat aangespreek is, is die afwesigheid van rigtinggewende dokumentasie wat nodig is om leiding te verskaf aan assessore en moderatore, sodat hulle herhaaldelik veilige, bevoegde radioloë kan sertifiseer. Die navorser bied riglyne vir assessore en moderatore om die gehalte van die assesseringsinstrumente en -hulpmiddels, die assesseringsproses en die professie te verseker, sowel as riglyne vir kandidate ten opsigte van voorbereiding vir die summatiewe assessering. Riglyne vir departementshoofde word voorgestel vir wanneer om ‘n kandidaat vir die summatiewe assessering in te skryf; riglyne vir sameroepers behels die wyse waarop die assessering aangebied moet word, en riglyne vir assessore en moderatore word voorsien met kriteria om bevoegde radioloë te identifiseer.
Afrikaans: Die College of Radiologists of South Africa (CR CMSA) is verantwoordelik vir die afneem van die summatiewe assessering van radioloë. Aangesien summatiewe assessering sesmaandeliks plaasvind, is dit belangrik om rigtinggewende dokumentasie te verskaf om die betroubaarheid van opeenvolgende summatiewe assesserings en gehalte in die professie te verseker. Die afwesigheid van duidelike riglyne vir assessore en moderatore van die summatiewe assessering in nagraadse radiologie, en die afwesigheid van ‘n assesseringskwalifikasie vir voornemende assessore, het aanleiding gegee tot die ondersoek en is die rede vir hierdie navorsing. Die navorser het ‘n dieptestudie uitgevoer om ‘n gids vir summatiewe assessering van nagraadse radiologie saam te stel, om gehalte in die professie te verseker en om riglyne vir assessore en moderatore van die summatiewe assessering, sowel as riglyne vir kandidate wat voorberei vir die summatiewe assessering, voor te stel. Die doelwitte van hierdie studie het ingesluit die konseptualisering en kontekstualisering van die afwesigheid van rigtinggewende dokumentasie vir summatiewe assessering in radiologie, identifisering van faktore wat ‘n rol speel in die summatiewe assessering van nagraadse studente in radiologie, die identifisering van faktore wat ‘n rol speel in die voorbereiding vir summatiewe assessering in radiologie, die bepaling van riglyne vir assessore en moderatore en, laastens, die saamstel van ‘n gids vir summatiewe assessering in nagraadse radiologie. ‘n Kwalitatiewe navorsingsontwerp is gevolg om die navorsingsdoelwitte aan te spreek. As basis van die studie is diepgaande teoretiese perspektiewe versamel om summatiewe assessering in radiologie te konseptualiseer en kontekstualiseer. ‘n Aantal onderrig-en-leeraktiwiteite, wat ter voorbereiding vir die summatiewe assessering gebruik kan word, is ook uit die teoretiese perspektiewe geïdentifiseer. Individuele semigestruktureerde onderhoude is uitgevoer met ondervraagdes wat in twee teikengroepe geval het. Die eerste groep, as “verskaffers” van die summatiewe assessering, het assessore en moderatore van die summatiewe assessering ingesluit. Die tweede groep, “gebruikers” van die summatiewe assessering, het kandidate wat binne die afgelope jaar die summatiewe assessering afgelê het, behels. Onderhoude is met ondervraagdes in albei groepe gevoer totdat die data versadig was. Die bevindinge van die onderhoude is getabuleer volgens die temas, kategorieë en subkategorieë wat uit die onderhoude met al die ondervraagdes tevoorskyn gekom het. Die navorser bespreek en som al die bevindinge in die tesis op. Die bevindinge is tussen die twee groepe sowel as met die teoretiese perspektiewe getrianguleer, en dit dra tot die geloofwaardigheid van die studie by. Hierdie studie het die huidige tekortkominge, byvoorbeeld, beperkte terugvoer aan kandidate en die afwesigheid van riglyne vir die seleksie van assessore en moderatore wat by die assessering betrokke is, aangespreek. Die studie het ook aandag geskenk aan opleiding van assessore en moderatore van die radiologie summatiewe assessering. Verskeie instrumente en hulpmiddels is geïdentifiseer vir gebruik in radiologie summatiewe assessering, en vir toegevoegde waarde vir radiologie-opleiding deur leiding aan kandidate ten opsigte van hoe om vir die summatiewe assessering voor te berei. Kriteria vir die vasstelling van ‘n kandidaat se gereedheid vir die summatiewe assessering, sowel as kriteria om ‘n bevoegde radioloog te wees, is bespreek. Summatiewe assessering is die finale stap vir enige kandidaat voor hy/sy as ‘n veilige radioloog, wat beskou word as bekwaam om radiologie onafhanklik te beoefen, gesertifiseer word. ‘n Veilige radioloog moet algemene radiologiekennis, -vaardighede, -rolle en -bevoegdhede kan toon, soos deur die studie geïdentifiseer, en moet die vermoë hê om enige scenario wat van ‘n algemene radioloog vereis word, te kan hanteer. Die bevoegde radioloog moet weet hoe om ander te raadpleeg vir leiding wanneer hy/sy dit nodig het, en moet lewenslange leer beoefen. Die kennisgaping wat aangespreek is, is die afwesigheid van rigtinggewende dokumentasie wat nodig is om leiding te verskaf aan assessore en moderatore, sodat hulle herhaaldelik veilige, bevoegde radioloë kan sertifiseer. Die navorser bied riglyne vir assessore en moderatore om die gehalte van die assesseringsinstrumente en -hulpmiddels, die assesseringsproses en die professie te verseker, sowel as riglyne vir kandidate ten opsigte van voorbereiding vir die summatiewe assessering. Riglyne vir departementshoofde word voorgestel vir wanneer om ‘n kandidaat vir die summatiewe assessering in te skryf; riglyne vir sameroepers behels die wyse waarop die assessering aangebied moet word, en riglyne vir assessore en moderatore word voorsien met kriteria om bevoegde radioloë te identifiseer.
Description
Keywords
Assessment training, Competence, Feedback, Guidelines for assessors, Knowledge, Patient safety, Quality assurance, Quality in the profession, Radiology, Roles, Semi-structured interviews, Skills, Summative assessment, Teaching and learning activities, Radiologists, Thesis (Ph.D. (Health Professions Education))--University of the Free State, 2016