The feasibility of an effective data warehousing solution for a tertiary institution
Loading...
Date
2008
Authors
Nazir, Amer Bin
Journal Title
Journal ISSN
Volume Title
Publisher
University of the Free State
Abstract
English: Even though industry in South Africa has utilized data warehousing technologies successfully for a number of years, tertiary institutions have lagged behind. This can in part be attributed to the high costs involved, many failures in the past and the fact that the decision makers of these institutions are unaware of what data warehousing is and the advantages it can bring. Several factors, however, are forcing tertiary institutions in the direction of data warehousing. They need all the help they can get to make this process as easy as possible. Most of the tertiary institutions that still survive today came through periods of tough rationalizations and mergers. In order to stay alive and competitive, they have grown through the years and have developed into large businesses in and of themselves. On the one hand they had to make ends meet with subsidies from government that became less and less and on the other hand they had to provide more and more detailed statistics to the government. This change has resulted in a more business-like management of these institutions. Strategic decision making has now become of the utmost importance to tertiary institutions to meet the frequent changes in the government funding structure. The University of the Free State initially tried to accomplish that with an online transaction processing system developed in-house. These systems, however, are designed to optimize transactional processing and the features which increase the efficiency of these systems are generally those which also make it difficult to extract information. When that did not work, a new online transaction processing system was bought from an international company at a huge cost. During the course of data transfer from the old to the new system (with a different database design) numerous data conversion errors generated anomalies and a lack of integrity in the database. The new system also proved inadequate to provide the necessary statistics required by the Department of Education. A system was subsequently purchased that utilized ASCII files prepared by the online transaction processing system which generated fixed reports according to the Department of Education requirements. This system provided a workable solution, but with changes in requirements, new reports need to be developed continuously. It was also worthless for institutional planning and forecasting. This study reported the advantages and disadvantages of the current systems in use to provide statistics to the Department of Education. It then proposes a new system based on data warehousing principles. The dimensional star schema design for a data warehouse is provided. The methods used to transfer, load and extract data are discussed in detail. The data warehouse solution is then compared to the current solutions. The conclusion is that a data warehouse is a feasible solution for the strategic information problems tertiary institutions are facing today. An effective management information system using data warehousing can be developed in-house with low budgets, institutional data can be fitted into dimensional modelling star schemas, and error free data can be provided to end-users by developing proper extraction, transformation and loading packages. The data surfaced to end-users from relational online analytical processing can provide statistics to government and can be used for general planning and forecasting purposes.
Afrikaans: Alhoewel die industrie in Suid-Afrika datapakhuistegnologie vir ‘n aantal jare reeds suksesvol aangewend het, het tersiêre inrigtings agtergebly. Dit kan deels toegeskryf word aan hoë kostes, die vele mislukkings in die verlede en die feit dat die besluitnemers in hierdie inrigtings onbewus is van wat datapakhuise behels en die voordele wat dit inhou. Tans dwing verskeie faktore tersiêre inrigtings egter in die rigting van datapakhuise. Hulle benodig al die hulp wat hulle kan kry om hierdie proses so maklik as moontlik te maak. Die meeste van die tersiêre inrigtings wat vandag nog oorleef, het deur tye van moeilike rasionalisersings en saamvoegings gekom. Om te oorleef en kompeterend te bly, moes hulle oor die jare groei en ontwikkel in groot besighede. Aan die eenkant moes hulle gate toestop met subsidies wat minder en minder word en aan die anderkant moes hulle meer en meer statistieke aan die regering verskaf. Hierdie verandering het meer van ‘n besigheidsbenadering tot die bestuur van die inrigting tot gevolg gehad. Strategiese besluitneming het nou van die allergrootste belang geword om die gereelde veranderinge in die regering se befondsingstruktuur die hoof te bied. Die Universiteit van die Vrystaat het probeer om hierdie uitdaging oorspronklik aan te pak met ‘n transaksieverwerkingstelsel wat intern ontwikkel is. Hierdie stelsels is egter ontwikkel om transaksieverwerking te optimaliseer en die eienskappe wat die doeltreffendheid van hierdie stelsels verhoog, is gewoonlik ook verantwoordelik om die onttrekking van inligting te bemoeilik. Toe hierdie stelsel misluk, is ‘n nuwe stelsel teen hoë koste vanaf ‘n internasionale maatskappy aangekoop. Gedurende die oordragproses van die data vanaf die ou na die nuwe stelsel (met ‘n verskillende databasisontwerp) het verskeie data-omskakelingsfoute anomalieë en ‘n gebrek aan integriteit in die databasis tot gevolg gehad. Die he took geblyk dat die nuwe stelsel onvoldoende was om die nodige statistieke aan die Departement van Onderwys te verskaf. ‘n Stelsel is gevolglik aangekoop wat ASCII-lêers gebruik wat deur die transaksieverwerkingstelsel gegenereer is en wat vaste verslae lewer volgens die vereistes van die Departement van Onderwys. Hierdie stelsel was ‘n werkbare oplossing, maar met veranderinge in vereistes moes nuwe verslae voortdurend ontwikkel word. Dit was ook waardeloos vir beplannings- en voorspellingdoeleindes van die inrigting. Hierdie studie doen verslag oor die voor- en nadele van die huidige stelsels om statistieke aan die Departement van Onderwys te verskaf. Dit stel dan ‘n nuwe stelsel voor wat gebaseer is op datapakuisbeginsels. Die dimensionele sterskema vir ‘n datapakhuis word gevolglik verskaf. Die metodes wat gebruik word om die data oor te dra, te laai en te onttrek word breedvoerig bespreek. Die datapakhuisoplossing word dan vergelyk met die huidige oplossings. Die gevolgtrekking is dat ‘n datapakhuis ‘n geskikte oplossing is vir die strategiese inligtingsprobleme wat tersiêre inrigtings vandag in die gesig staar. ‘n Doeltreffende bestuursinligtingstelsel wat datapakhuise gebruik kan intern met ‘n lae begroting ontwikkel word, inrigtingdata kan getransformeer word na dimensionele sterskemas en foutvrye data kan verskaf word aan eindgebruikers deur die gebruik van geskikte Onttrek-, Transformeer- en Laaipakkette. Die data verskaf aan eindgebruikers vanaf ROLAP kan die statistieke aan die regering verskaf en dit kan gebruik word vir algemene beplanning en voorspelling vir die inrigting.
Afrikaans: Alhoewel die industrie in Suid-Afrika datapakhuistegnologie vir ‘n aantal jare reeds suksesvol aangewend het, het tersiêre inrigtings agtergebly. Dit kan deels toegeskryf word aan hoë kostes, die vele mislukkings in die verlede en die feit dat die besluitnemers in hierdie inrigtings onbewus is van wat datapakhuise behels en die voordele wat dit inhou. Tans dwing verskeie faktore tersiêre inrigtings egter in die rigting van datapakhuise. Hulle benodig al die hulp wat hulle kan kry om hierdie proses so maklik as moontlik te maak. Die meeste van die tersiêre inrigtings wat vandag nog oorleef, het deur tye van moeilike rasionalisersings en saamvoegings gekom. Om te oorleef en kompeterend te bly, moes hulle oor die jare groei en ontwikkel in groot besighede. Aan die eenkant moes hulle gate toestop met subsidies wat minder en minder word en aan die anderkant moes hulle meer en meer statistieke aan die regering verskaf. Hierdie verandering het meer van ‘n besigheidsbenadering tot die bestuur van die inrigting tot gevolg gehad. Strategiese besluitneming het nou van die allergrootste belang geword om die gereelde veranderinge in die regering se befondsingstruktuur die hoof te bied. Die Universiteit van die Vrystaat het probeer om hierdie uitdaging oorspronklik aan te pak met ‘n transaksieverwerkingstelsel wat intern ontwikkel is. Hierdie stelsels is egter ontwikkel om transaksieverwerking te optimaliseer en die eienskappe wat die doeltreffendheid van hierdie stelsels verhoog, is gewoonlik ook verantwoordelik om die onttrekking van inligting te bemoeilik. Toe hierdie stelsel misluk, is ‘n nuwe stelsel teen hoë koste vanaf ‘n internasionale maatskappy aangekoop. Gedurende die oordragproses van die data vanaf die ou na die nuwe stelsel (met ‘n verskillende databasisontwerp) het verskeie data-omskakelingsfoute anomalieë en ‘n gebrek aan integriteit in die databasis tot gevolg gehad. Die he took geblyk dat die nuwe stelsel onvoldoende was om die nodige statistieke aan die Departement van Onderwys te verskaf. ‘n Stelsel is gevolglik aangekoop wat ASCII-lêers gebruik wat deur die transaksieverwerkingstelsel gegenereer is en wat vaste verslae lewer volgens die vereistes van die Departement van Onderwys. Hierdie stelsel was ‘n werkbare oplossing, maar met veranderinge in vereistes moes nuwe verslae voortdurend ontwikkel word. Dit was ook waardeloos vir beplannings- en voorspellingdoeleindes van die inrigting. Hierdie studie doen verslag oor die voor- en nadele van die huidige stelsels om statistieke aan die Departement van Onderwys te verskaf. Dit stel dan ‘n nuwe stelsel voor wat gebaseer is op datapakuisbeginsels. Die dimensionele sterskema vir ‘n datapakhuis word gevolglik verskaf. Die metodes wat gebruik word om die data oor te dra, te laai en te onttrek word breedvoerig bespreek. Die datapakhuisoplossing word dan vergelyk met die huidige oplossings. Die gevolgtrekking is dat ‘n datapakhuis ‘n geskikte oplossing is vir die strategiese inligtingsprobleme wat tersiêre inrigtings vandag in die gesig staar. ‘n Doeltreffende bestuursinligtingstelsel wat datapakhuise gebruik kan intern met ‘n lae begroting ontwikkel word, inrigtingdata kan getransformeer word na dimensionele sterskemas en foutvrye data kan verskaf word aan eindgebruikers deur die gebruik van geskikte Onttrek-, Transformeer- en Laaipakkette. Die data verskaf aan eindgebruikers vanaf ROLAP kan die statistieke aan die regering verskaf en dit kan gebruik word vir algemene beplanning en voorspelling vir die inrigting.
Description
Keywords
Dissertation (M.Sc. (Computer Science and Informatics))--University of the Free State, 2008, Tertiary institution, Data warehousing, Student data mart, Star schema, Dimensional modelling, Extraction, Transformation, Loading, Action research, Comparisons, Forecasting, Planning