De jaarlijkse dbt conferentie is helaas alweer achter de rug. Hoog tijd om een aantal hoogtepunten van dbt Coalesce 2023 te bespreken!
Allereerst, wat is dbt? dbt staat voor data build tool. Met deze software kunnen we data transformeren. We brengen gegevens samen en verrijken deze om uiteindelijk inzichten te kunnen verschaffen aan organisaties. Het eindresultaat zijn getransformeerde tabellen (ook modellen genoemd) die heel goed door visualisatie-tools gebruikt kunnen worden om informatie te tonen. Daarbij kunnen alle wijzigingen exact bijgehouden worden, waardoor samenwerken, ook in grote teams, goed mogelijk wordt. Tegelijkertijd blijft het heel inzichtelijk welke gegevens waar vandaan komen en welke getransformeerde tabellen/modellen waarvan afhankelijk zijn.
dbt Core is een open-source tool die het werk van heel veel mensen beter en makkelijker maakt. dbt Labs ontwikkelt deze vrij beschikbare software. Daarnaast bieden ze een cloud-oplossing (dbt Cloud) die er naadloos op aansluit en een aantal functies biedt die essentieel zijn voor grotere teams en organisaties. dbt Coalesce is de jaarlijkse conferentie voor gebruikers van deze tools. Er waren een aantal locaties, maar The Information Lab Netherlands was dit jaar aanwezig in San Diego!
Hoogtepunten
Een conferentie is altijd een goede kans om mensen te ontmoeten die met hetzelfde bezig zijn. Het delen van kennis en inzichten is heel waardevol. Het was dan ook heel nuttig en leuk om zo veel andere Analytics Engineers te spreken. Ook waren de ontwikkelaars van dbt zelf in grote getale aanwezig. Daardoor kregen we een mooi inkijkje achter de schermen. Een van de hoogtepunten was zeker de gemeenschapszin die we hebben ervaren. Het biedt vertrouwen om te weten hoe betrokken dbt Labs is bij de mensen en organisaties die dbt gebruiken.
Een ander hoogtepunt zijn de nieuwe features die beschikbaar zijn gesteld. Deze zijn ook uitgebreid besproken en toegelicht op de conferentie:
1. Continuous integration verbeteringen
De verbeterde Continuous Integration opties maken het mogelijk om kosten te besparen. Door de nieuwe inrichting hoeven modellen minder vaak gematerialiseerd worden en dat scheelt geld. Tegelijkertijd weten we door de CI jobs die automatisch in gang worden gezet bij een Merge/Pull request dat de code die we willen toevoegen niet iets anders breekt.
2. Semantic Layer
De nieuwe Semantic Layer is er eindelijk! dbt Labs heeft heel veel geïnvesteerd in het creëren van een nieuwe samantic layer die de integratie met BI Tools nog meer gaat vergemakkelijken. De concepten van de semantic layer sluiten goed aan bij veel BI tools, maar nog belangrijker: definities van berekeningen kunnen nu centraal gedefinieerd worden. Zo wordt de ruimte voor fouten kleiner.
3. dbt Cloud CLI
Voor gebruikers die dbt Cloud functionaliteit willen gebruiken buiten de dbt Cloud IDE, gaat de dbt Cloud CLI veel betekenen, denk ik. (CLI staat voor command-line interface.) Dit maakt het mogelijk om voor een meer hybride werkwijze te kunnen kiezen bij het ontwikkelen en brengt dbt Core dichter bij dbt Cloud.
4. dbt Mesh
Een van de grote thema’s van deze conferentie was hoe groot sommige dbt projecten in de loop der jaren zijn geworden. dbt Labs heeft een aantal mogelijkheden toegevoegd om hiermee om te gaan, onder de noemer dbt Mesh. Het mooie is dat veel hulpmiddelen los van elkaar gebruikt kunnen worden, maar juist ook heel goed elkaar aanvullen. Dit zijn een aantal voorbeelden:
- Grotere projecten kunnen in meerdere projecten opgeknipt worden, waarbij we in het ene project naar een publiek model in het andere project kunnen verwijzen.
- Door model contracts kunnen we voorkomen dat we wijzigingen aanbrengen in een model dat door andere modellen wordt gebruikt (bijvoorbeeld in een ander project).
- Er is een nieuwe manier om de structuur van een dbt project inzichtelijk te maken: de dbt Explorer!
Conclusie
De dbt Coalesce 2023 conferentie was heel leerzaam en nuttig en ik heb er erg van genoten. Hopelijk heb ik met deze blog wat van dat enthousiasme kunnen delen!
Bedankt voor het lezen van deze blog. Bekijk onze blog page voor meer blogs over Tableau, Alteryx, and Snowflake.
Werk samen met een van onze consultants en haal meer uit je data.
Contacteer ons en we zullen je helpen.