A competency-based continuous assessment programme as part of a revised curriculum for postgraduate radiology training at the University of the Free State
Loading...
Date
2015-02
Authors
Janse van Rensburg, Jacques
Journal Title
Journal ISSN
Volume Title
Publisher
University of the Free State
Abstract
English: Recent times have witnessed a shift in the educational philosophy of postgraduate
radiology training programmes. Internationally, curricula have undergone revision,
with many changes based on the principles of outcomes-based education. As such,
these curricula prescribe learning outcomes and essential competencies – including
generic competencies central to all competent physicians. Continuous assessment is
commonplace and many curricula prescribe regular formal formative workplace-based
assessments that contribute to learning and training.
Comparing the University of the Free Sate (UFS) postgraduate radiology training
programme with the recently revised international curricula revealed several important
shortcomings such as the lack of an outcomes-based educational methodology, the
absence or poor definition of learning outcomes and competencies – in specific the
absence of CanMEDS (Canadian Medical Education Directives for Specialists)
competencies – the absence of formative assessment that culminate in feedback and
remedial action, and the neglect of behaviour and attitudes during formal assessment.
These shortcomings represented a problem in terms of ensuring the quality of
radiology graduates and the safety of their patients.
Addressing the problem required a revision of the UFS postgraduate radiology
curriculum – defining learning objectives, formulating outcomes and incorporating all
required competencies – as well as the development of a formative competency-based
continuous assessment programme for postgraduate radiology training.
The research was therefore aimed at the development of a competency-based,
continuous assessment programme that could be integrated into a revised curriculum
for postgraduate radiology training at the UFS.
The methods used to achieve this aim included a literature overview, Delphi survey
and semi-structured interviews. The conceptualisation and contextualisation of
postgraduate radiology education was accomplished through an extensive literature
overview that garnered information on the concepts of competence and performancebased
education, as well as essential concepts related to assessment in education.
The Delphi method guides decision-making through consensus; an ideal research
method for determining what should and should not be included in a revised
curriculum. The content of the revised curriculum was therefore researched using a
Delphi questionnaire survey. The effectiveness of assessment, and decisions about its
implementation, are influenced by the views and opinions of those responsible for
assessment. Qualitative methods of research collect rich, detailed and descriptive data
and as such, semi-structured interviews are ideal for gaining a detailed understanding
of individuals’ ideas and views of a particular topic. In this study, semi-structured
interviews with pivotal role-players involved in South African postgraduate radiology
education informed decisions about the proposed continuous assessment programme
for radiology training at the UFS.
The results of the research contributed richly to achieving the aim of the research. A
combination of the information from the literature overview, the results of the Delphi
survey and the findings of the semi-structured interviews informed the development of
the continuous assessment programme. This assessment programme was based on
formative workplace-based assessments, conducted formally and resulting in feedback
and remedial action. The assessments included in the programme ensured appraisal
of the entire spectrum of competencies including knowledge, skills and the generic
physician competencies (communication, teamwork, professionalism, management and
administrative skills, research and education, and patient support and advocacy).
Recommendations about curricular changes were based on information from the
literature overview and the results and conclusions from the Delphi survey. Some of
the more important recommendations were the compartmentalisation of the curriculum
according to levels of increasing difficulty and integration, merging competencies
(knowledge and skills) according to the different levels of training, the inclusion of
CanMEDS-based generic physician competencies and the insertion of a summative
assessment prior to independent after-hours radiology call, and a mandatory
intermediate summative examination halfway through the training period.
The research culminated in the development of a performance-based formative
continuous assessment programme, blueprinted on a revised postgraduate radiology
curriculum – these addressed the shortcomings of the UFS postgraduate curriculum.
Assessment according to the curriculum aims to guide a registrar through the different
instructional periods (training levels), document the trainee’s progress and ensure the
acquisition of essential competencies – all in a bid to ensure the quality of radiology
graduates and the safety of the public they serve.
Afrikaans: Die opvoedkundige-filosofiese benadering tot opleidingsprogramme in nagraadse radiologie het die afgelope tyd duidelike verskuiwingstendense getoon en ondergaan. Internasionaal is kurrikula hersien en veranderinge aangebring op grond van die beginsels inherent in uitkomsgebaseerde onderwys. Hierdie hersiene kurrikula skryf bepaalde uitkomste en noodsaaklike vaardighede wat bemeester moet word, voor. Dit vervat generiese vaardighede noodsaaklik vir alle bevoegde en professionele dokters. Deurlopende assessering is ‘n aanvaarde praktyk in talle kurrikula en bepaal dat gereelde, formele, formatiewe en werkplekgebaseerde assessering tydens die leer- en opleidingsproses moet plaasvind. Die Universiteit van die Vrystaat (UV) se nagraadse radiologie-opleidingsprogram vertoon bepaalde en belangrike tekortkominge wanneer dit vergelyk word met onlangse, hersiene internasionale kurrikulavereistes. Dit sluit in die gebrek aan ‘n uitkomsgebaseerde, opvoedkundige metodologie; die afwesigheid van of swak gedefinieerde leeruitkomste en vaardighede (spesifiek die afwesigheid van CanMEDS (Canadian Medical Education Directives for Specialists)-bevoegthede); die afwesigheid van formatiewe assessering wat terugvoer en regstellende optrede fassiliteer; asook ‘n versuim om aandag te gee aan optrede en verhoudings tydens die formele assesseringsproses. Hierdie geïdentifiseerde tekortkominge skep ‘n probleem in die nastrewing van die standaard wat gestel word vir radiologie graduandi en die veiligheid van hulle pasiënte. Om die probleem op te los was dit nodig om die UV se nagraadse radiologie-kurrikulum te hersien, ten einde die nodige aandag aan bepaalde komponente van die opleiding te verseker. Dit sluit onder meer in die duidelike omskrywing van leerdoelwitte; die formulering van gestelde uitkomste en die insluiting van die vereiste vaardighede; asook die ontwikkeling van ‘n formatiewe, vaardigheidsgebaseerde en deurlopende assesseringsprogram vir nagraadse radiologie-opleiding. Die navorsing het dus ten doel gehad om ‘n vaardigheisgebaseerde, deurlopende assesseringsprogram te ontwikkel wat in die hersiene kurrikulum van nagraadse radiologie-opleiding aan die UV opgeneem kan word. Die metodes wat gebruik is om hierdie doelwit te bereik was ‘n literatuurstudie, die Delphi-vraelysmetode en semi-gestruktureerde onderhoude. Die konseptualisering en kontekstualisering van nagraadse radiologie-opleiding is bereik deur ‘n uitgebreide literatuurstudie wat inligting rakende begrippe soos bevoegdheid en uitsetgebaseerde opleiding, asook noodsaaklike begrippe met betrekking tot assessering in die onderwysgebeure, insluit. Die Delphi-metode rig die besluitnemingsproses deur konsensus, en word gesien as die ideale navorsingsmetode vir wat ingesluit of uitgelaat behoort te word in die hersiene kurrikulum. Die inhoud van die hersiene kurrikulum is dus nagevors deur die gebruikmaking van ‘n Delphi-vraelysopname. Effekiewe assessering en die gebruik daarvan word beïnvloed deur die sienings en oortuigings van assessore. Kwalitatiewe navorsingsmetodes versamel ‘n ryk bron van beskrywende data en daarom is semi-gestruktureerde onderhoude ideal om ‘n duidelike beeld van ‘n individu se idees en gevoelens met betrekking tot ‘n spesifieke onderwerp te bekom. Tydens hierdie studie het die inligting en resultate van die semigestruktureerde onderhoude – met vooraanstaande rolspelers betrokke by Suid Afrikaanse radiologie-opleiding – besluite met betrekking tot die voorgestelde, deurlopende assesseringsprogram vir radiologie-opleiding aan die UV gerig en beïnvloed. Die navorsingsresultate het grootliks bygedra om die navorsingsdoelstelling sinvol te bereik. Die literatuurstudie, die uitslae van die Delphi-vraelysopname en die inligting soos verkry uit die semi-gestruktureerde onderhoude het die ontwikkeling van die deurlopende assesseringsprogram bepaal en gerig. Die assesseringsprogram is gebaseer op formele en werkplekgebaseerde assesserings wat uitloop op terugvoering aan die kandidaat en gepaardgaande remediërende optrede. Die assesseringskomponent van die program verseker dat die algehele spektrum van vaardighede erkenning geniet. Dit sluit in die kennis, vaardighede en generiese bevoegdhede van ‘n medikus – naamlik kommunikasie, spanwerk, professionele gedrag, bestuurs- en administratiewe vaardighede, navorsing en opleiding, asook pasiënt ondersteuning en aanbeveling. Aanbevelings rakende kurrikulêre aanpassings is gebaseer op inligting wat deur die literatuurstudie bekom is, gekombineer met die bevindinge en gevolgtrekkigs soos verkry uit die Delphi-opname metode. Van die belangrikste aanbevelings van die studie sluit in die kompartementalisering van die kurrikulum volgens vlakke van toenemende moeilikheidsgraad en integrasie, die samevoeging van bevoegdhede (kennis en vaardighede) volgens die verskillende vlakke van opleiding, die insluiting van CanMEDS-gebaseerde generiese mediese vaardighede, asook ‘n summatiewe assesseringsgeleentheid voordat onafhanklike nauurse radiologiediens gelewer word en die insluiting van ‘n verpligte tussentydse summatiewe eksamineringsgeleentheid halfpad deur die opleidingstydperk. Die navorsing het gelei tot die ontwikkeling van ‘n uitsetgebaseerde, formatiewe en deurlopende assesseringsprogram, geskoei op die hersiene nagraadse radiologie kurrikulum, wat daarop gemik is om die geïdentifiseerde tekortkominge van die UV se nagraadse kurrikulum reg te stel. Assessering volgens die kurrikulum is daarop gemik om die student deur die verskillende opleidingsvlakke te lei, om vordering te dokumenteer en om die gehalte van die radiologie graduandi, asook die veiligheid van die publiek wat hulle bedien, te verseker.
Afrikaans: Die opvoedkundige-filosofiese benadering tot opleidingsprogramme in nagraadse radiologie het die afgelope tyd duidelike verskuiwingstendense getoon en ondergaan. Internasionaal is kurrikula hersien en veranderinge aangebring op grond van die beginsels inherent in uitkomsgebaseerde onderwys. Hierdie hersiene kurrikula skryf bepaalde uitkomste en noodsaaklike vaardighede wat bemeester moet word, voor. Dit vervat generiese vaardighede noodsaaklik vir alle bevoegde en professionele dokters. Deurlopende assessering is ‘n aanvaarde praktyk in talle kurrikula en bepaal dat gereelde, formele, formatiewe en werkplekgebaseerde assessering tydens die leer- en opleidingsproses moet plaasvind. Die Universiteit van die Vrystaat (UV) se nagraadse radiologie-opleidingsprogram vertoon bepaalde en belangrike tekortkominge wanneer dit vergelyk word met onlangse, hersiene internasionale kurrikulavereistes. Dit sluit in die gebrek aan ‘n uitkomsgebaseerde, opvoedkundige metodologie; die afwesigheid van of swak gedefinieerde leeruitkomste en vaardighede (spesifiek die afwesigheid van CanMEDS (Canadian Medical Education Directives for Specialists)-bevoegthede); die afwesigheid van formatiewe assessering wat terugvoer en regstellende optrede fassiliteer; asook ‘n versuim om aandag te gee aan optrede en verhoudings tydens die formele assesseringsproses. Hierdie geïdentifiseerde tekortkominge skep ‘n probleem in die nastrewing van die standaard wat gestel word vir radiologie graduandi en die veiligheid van hulle pasiënte. Om die probleem op te los was dit nodig om die UV se nagraadse radiologie-kurrikulum te hersien, ten einde die nodige aandag aan bepaalde komponente van die opleiding te verseker. Dit sluit onder meer in die duidelike omskrywing van leerdoelwitte; die formulering van gestelde uitkomste en die insluiting van die vereiste vaardighede; asook die ontwikkeling van ‘n formatiewe, vaardigheidsgebaseerde en deurlopende assesseringsprogram vir nagraadse radiologie-opleiding. Die navorsing het dus ten doel gehad om ‘n vaardigheisgebaseerde, deurlopende assesseringsprogram te ontwikkel wat in die hersiene kurrikulum van nagraadse radiologie-opleiding aan die UV opgeneem kan word. Die metodes wat gebruik is om hierdie doelwit te bereik was ‘n literatuurstudie, die Delphi-vraelysmetode en semi-gestruktureerde onderhoude. Die konseptualisering en kontekstualisering van nagraadse radiologie-opleiding is bereik deur ‘n uitgebreide literatuurstudie wat inligting rakende begrippe soos bevoegdheid en uitsetgebaseerde opleiding, asook noodsaaklike begrippe met betrekking tot assessering in die onderwysgebeure, insluit. Die Delphi-metode rig die besluitnemingsproses deur konsensus, en word gesien as die ideale navorsingsmetode vir wat ingesluit of uitgelaat behoort te word in die hersiene kurrikulum. Die inhoud van die hersiene kurrikulum is dus nagevors deur die gebruikmaking van ‘n Delphi-vraelysopname. Effekiewe assessering en die gebruik daarvan word beïnvloed deur die sienings en oortuigings van assessore. Kwalitatiewe navorsingsmetodes versamel ‘n ryk bron van beskrywende data en daarom is semi-gestruktureerde onderhoude ideal om ‘n duidelike beeld van ‘n individu se idees en gevoelens met betrekking tot ‘n spesifieke onderwerp te bekom. Tydens hierdie studie het die inligting en resultate van die semigestruktureerde onderhoude – met vooraanstaande rolspelers betrokke by Suid Afrikaanse radiologie-opleiding – besluite met betrekking tot die voorgestelde, deurlopende assesseringsprogram vir radiologie-opleiding aan die UV gerig en beïnvloed. Die navorsingsresultate het grootliks bygedra om die navorsingsdoelstelling sinvol te bereik. Die literatuurstudie, die uitslae van die Delphi-vraelysopname en die inligting soos verkry uit die semi-gestruktureerde onderhoude het die ontwikkeling van die deurlopende assesseringsprogram bepaal en gerig. Die assesseringsprogram is gebaseer op formele en werkplekgebaseerde assesserings wat uitloop op terugvoering aan die kandidaat en gepaardgaande remediërende optrede. Die assesseringskomponent van die program verseker dat die algehele spektrum van vaardighede erkenning geniet. Dit sluit in die kennis, vaardighede en generiese bevoegdhede van ‘n medikus – naamlik kommunikasie, spanwerk, professionele gedrag, bestuurs- en administratiewe vaardighede, navorsing en opleiding, asook pasiënt ondersteuning en aanbeveling. Aanbevelings rakende kurrikulêre aanpassings is gebaseer op inligting wat deur die literatuurstudie bekom is, gekombineer met die bevindinge en gevolgtrekkigs soos verkry uit die Delphi-opname metode. Van die belangrikste aanbevelings van die studie sluit in die kompartementalisering van die kurrikulum volgens vlakke van toenemende moeilikheidsgraad en integrasie, die samevoeging van bevoegdhede (kennis en vaardighede) volgens die verskillende vlakke van opleiding, die insluiting van CanMEDS-gebaseerde generiese mediese vaardighede, asook ‘n summatiewe assesseringsgeleentheid voordat onafhanklike nauurse radiologiediens gelewer word en die insluiting van ‘n verpligte tussentydse summatiewe eksamineringsgeleentheid halfpad deur die opleidingstydperk. Die navorsing het gelei tot die ontwikkeling van ‘n uitsetgebaseerde, formatiewe en deurlopende assesseringsprogram, geskoei op die hersiene nagraadse radiologie kurrikulum, wat daarop gemik is om die geïdentifiseerde tekortkominge van die UV se nagraadse kurrikulum reg te stel. Assessering volgens die kurrikulum is daarop gemik om die student deur die verskillende opleidingsvlakke te lei, om vordering te dokumenteer en om die gehalte van die radiologie graduandi, asook die veiligheid van die publiek wat hulle bedien, te verseker.
Description
Keywords
Thesis (Ph.D (Health Professions Education))--University of the Free State, 2015, Adult education, Evaluation, Performance