Je kijkt naar een dashboard en je ziet de kolom customer_address. Iets klopt niet met die kolom, maar je hebt geen enkele idee welke tabel het vandaan komt, en dat maakt het moeilijk om het probleem op te lossen. Je vraagt je data analyst, en zij weet het ook niet: ze moet naar de query gaan achter de tabel gaan kijken om jou een antwoord te kunnen geven.
Dat kan, hoor! Maar het kost wel tijd, en je voelt dat jij zelf dit soort vragen via de documentatie zou moeten kunnen beantwoorden.
Wat je wilt is column-level lineage, en als je dbt gebruikt, heb ik goed nieuws voor je! Straks wordt deze functionaliteit voor iedereen beschikbaar in dbt Cloud via dbt Explorer!
Deze functionaliteit is voor nu in public preview, dus voor een beperkte aantal account beschikbaar, maar het wordt straks een basis functionaliteit in dbt Explorer:
Tot nu toe was het gebrek aan column-level lineage een van de een van de grootste beperkingen van dbt in zijn functionaliteit als data catalogue, maar met deze stap toont het bedrijf zijn toewijding om zijn documentatiemogelijkheden nog verder te willen ontwikkelen.
Looking forward to seeing what else they have in store for us!
Lees meer over The Information Lab Netherlands hier 🙂