Data Migration with a Staging Database

摘要

Datamigraatiossa dataa siirretään järjestelmien välillä muokaten sitä kohdejärjestelmään sopivaksi. Prosessi voidaan jakaa kolmeen osaan: Datan hakeminen lähdejärjestelmästä, datan muokkaus ja vienti kohdejärjestelmään. Lähdedata luetaan käsittelyä varten, muokataan prosessointivaiheessa kohdejärjestelmän vaatimaan muotoon ja kirjoitetaan kohdejärjestelmään. Työssä uudistettiin toistuva datamigraatioprosessi, joka oli toteutettu aiemmin Java-ohjelmointikielellä käyttäen Spring Batch -ohjelmistokehystä. Prosessi koostui useista sovelluksella toteutetuista eräajoista, jotka lukivat datan kahdesta eri tietolähteestä, käsittelivät sen ja lopuksi kirjoittivat sovelluksen käyttämään tietokantaan. Prosessissa oli ongelmana pitkä suoritusaika, korkea resurssien tarve ja haastava toistettavuus. Datamigraatioprosessi uudistettiin käyttämällä datan prosessointiin ja muokkaukseen työtietokantaa. Työtietokantana toimi PostgreSQL -tietokanta, jonka ominaisuuksista hyödynnettiin varsinkin näkymiä ja viitetauluja, joista viitetauluja käytettiin datan siirrossa sovelluksen tietokantaan. Työtietokannan käyttöönotto datan prosessoinnissa vei suurimman osan migraatioprosessin vaatimista resursseista sovelluksesta erilliseen tietokantaan. Prosessin kokonaiskesto laski huomattavasti ja työtietokantaan tehdyt näkymät mahdollistivat datan katselmoinnin jo kantatasolla.