Wanneer we het met klanten hebben over data en betrouwbaarheid dan zijn we het beiden altijd eens over een belangrijk aspect ; The single source of truth, uitgaan van data uit eenzelfde bron , op hetzelfde moment zodat er geen ruis ontstaat.
Zolang alle data uit hetzelfde systeem komt, dan is het makkelijk bij elkaar te voegen om hier vervolgens op door te bouwen maar problemen ontstaan op het moment dat het data landschap verspreidt is over verschillende plekken en over verschillende systemen. Het benaderen van deze verschillende systemen vergen allerlei verschillende benaderingen , hebben allen hun eigen API en een sloot aan documentatie waar je je doorheen moet worstelen. Het opzetten van een goed functionerende pipeline kan weken in beslag nemen waarbij ook nog eens het aspect komt kijken dat, zodra een aanbieder z’n API aanpast, je weer van scratch mag beginnen.
Om dit alles te omzeilen zijn wij ontzettend blij met de aanwezigheid van Fivetran ; een scala aan connectors kant-en-klaar waar geen onderhoud aan nodig is. We hebben hierbij al meerdere malen gemerkt dat het verbinden van verschillende databronnen naar 1 centrale opslag , de doorlooptijd verkort van weken naar minuten. De vereisten voor het overzetten van data zijn enkel een bestemming , inlog gegevens van bron en bestemming , een beschikbaar database schema en de vraag naar een synchronisatie schema. Een enkele test , opslaan en klaar!
Hierbij komend is tevens het feit dat, op het moment dat een database meer tabellen beschikbaar gaat stellen , deze automatisch kunnen worden meegenomen zonder tussenkomst van een developer en een sloot aan pipeline werk en testing : Blije developers , testers en eindgebruikers!