An evaluation of the assessment tool used for extensive mini-dissertations in the Master's degree in Family Medicine at the School of Medicine, University of the Free State
Loading...
Date
2013-08-23
Authors
Brits, Hanneke
Journal Title
Journal ISSN
Volume Title
Publisher
University of the Free State
Abstract
English: Family Medicine became a speciality in South Africa in 2007. Postgraduate studies in Family Medicine changed from part-time MFamMed to a full-time MMed(Fam) degree with changes in curriculum and assessment criteria. The overall goal of this study was to evaluate the current assessment tool for extensive mini-dissertations in the postgraduate programme for Family Medicine, UFS and, if necessary to produce a valid and reliable assessment tool that is user-friendly. An Action Research approach was used in this study, using mixed methods. In the first phase, the current assessment tool was evaluated and the data analysed quantitatively. In phase two, the quantitative results of phase one was discussed during a focus group interview and data were analysed qualitatively. Phase three was the production of a new, improved assessment tool. The evaluation of the new assessment tool did not form part of this study. In phase one, 11 internal and four external assessors evaluated four extensive mini-dissertations with the current assessment tool. In phase two, the internal assessors took part in a focus group interview and evaluated the current tool for validity regarding regulations of the assessment bodies as well as reasons for the differences in marks allocated to specific assessment categories (reliability). The current assessment tool complied with all the regulations of the assessment bodies. In four out of the possible 12 assessment categories the median scores allocated to specific categories varied more than 15%. During the focus group interview, reasons for this were identified and the assessment tool was adapted accordingly. A lack of training and experience in the assessment of extensive mini-dissertations was also identified as a contributing factor. The existing assessment tool currently still in use is valid, but not reliable for all assessment categories. The new assessment tool addresses these areas and will be implemented after training of assessors in 2012.
Afrikaans: Huisartskunde is in 2007 as ‘n spesialiteit in Suid-Afrika erken. Nagraadse studies in Huisartskunde het daarna ook verander van ’n deeltydse MFamMed na ‘n voltydse MMed (Fam), met veranderinge in die kurrikulum en assesseringskriteria. Die oorhoofse doel van hierdie studie was om die bestaande assesseringsinstrument vir uitgebreide skripsies in die nagraadse program in Huisartskunde, UV te evalueer en daarna indien nodig ‘n geldige en betroubare assesseringinstrument daar te stel wat ook gebruikersvriendelik is. ‘n Aksienavorsingsbenadering met ‘n gemengde navorsingsmetode is in hierdie studie gebruik,. Die eerste fase is die bestaande assesseringinstrument evalueer en die data kwantitatief geanaliseer. In fase twee is die resultate van fase een gedurende ‘n fokusgroep onderhoud bespreek en data is kwalitatief geanaliseer. Fase drie was die daarstelling van ‘n verbeterde assesseringsinstrument. Die evaluasie van die nuwe instrument het nie deel van hierdie studie uitgemaak nie. In fase een het 11 interne en vier eksterne assessore elk 4 uitgebreide skripsies geëvalueer met die bestaande assesserings instrument. In fase twee het die interne assessore deelgeneem aan ‘n fokusgroeponderhoud waar die bestaande assesseringsinstrument geëvalueer is vir geldigheid betreffende regulasies van die eksamineringsliggame, asook vir redes waarom daar verskille was in die toekenning van punte vir spesifieke assesseringskategorieë. Die bestaande assesseringsinstrument het voldoen aan al die regulasies van die assesseringsliggame en was dus geldig. In vier van die 12 moontlike assesseringskategorieë het die mediaanpunte toegeken vir spesifieke kategorieë met meer as 15% verskil. Gedurende die fokusgroeponderhoud is die redes vir die variasie geïdentifiseer en die nuwe assesseringsinstrument is daarvolgens aangepas. ‘n Gebrek aan opleiding en ondervinding in die assessering van skripsies is ook as ‘n bydraende faktor identifiseer. Die assesseringsinstrument wat tans steeds gebruik word, is geldig, maar nie betroubaar vir alle assesseringskategorieë nie. Die nuwe assesseringsinstrument is op al die kategorieë gerig en sal in 2012 geïmplementeer word nadat die assessore opgelei is.
Afrikaans: Huisartskunde is in 2007 as ‘n spesialiteit in Suid-Afrika erken. Nagraadse studies in Huisartskunde het daarna ook verander van ’n deeltydse MFamMed na ‘n voltydse MMed (Fam), met veranderinge in die kurrikulum en assesseringskriteria. Die oorhoofse doel van hierdie studie was om die bestaande assesseringsinstrument vir uitgebreide skripsies in die nagraadse program in Huisartskunde, UV te evalueer en daarna indien nodig ‘n geldige en betroubare assesseringinstrument daar te stel wat ook gebruikersvriendelik is. ‘n Aksienavorsingsbenadering met ‘n gemengde navorsingsmetode is in hierdie studie gebruik,. Die eerste fase is die bestaande assesseringinstrument evalueer en die data kwantitatief geanaliseer. In fase twee is die resultate van fase een gedurende ‘n fokusgroep onderhoud bespreek en data is kwalitatief geanaliseer. Fase drie was die daarstelling van ‘n verbeterde assesseringsinstrument. Die evaluasie van die nuwe instrument het nie deel van hierdie studie uitgemaak nie. In fase een het 11 interne en vier eksterne assessore elk 4 uitgebreide skripsies geëvalueer met die bestaande assesserings instrument. In fase twee het die interne assessore deelgeneem aan ‘n fokusgroeponderhoud waar die bestaande assesseringsinstrument geëvalueer is vir geldigheid betreffende regulasies van die eksamineringsliggame, asook vir redes waarom daar verskille was in die toekenning van punte vir spesifieke assesseringskategorieë. Die bestaande assesseringsinstrument het voldoen aan al die regulasies van die assesseringsliggame en was dus geldig. In vier van die 12 moontlike assesseringskategorieë het die mediaanpunte toegeken vir spesifieke kategorieë met meer as 15% verskil. Gedurende die fokusgroeponderhoud is die redes vir die variasie geïdentifiseer en die nuwe assesseringsinstrument is daarvolgens aangepas. ‘n Gebrek aan opleiding en ondervinding in die assessering van skripsies is ook as ‘n bydraende faktor identifiseer. Die assesseringsinstrument wat tans steeds gebruik word, is geldig, maar nie betroubaar vir alle assesseringskategorieë nie. Die nuwe assesseringsinstrument is op al die kategorieë gerig en sal in 2012 geïmplementeer word nadat die assessore opgelei is.
Description
Keywords
Dissertation (M.HPE. (Health Professions Education))--University of the Free State, 2012, University of the Free State. Faculty of Medicine, Medical writing, Research -- Methodology, Family medicine, Mixed method approach, Action research, Assessment