dbt
La technologie
dbt (data build tool) permet d'écrire les transformations de données en SQL versionné, testé et documenté, directement dans l'entrepôt : Snowflake, Databricks, BigQuery ou Fabric.
dbt apporte les pratiques du génie logiciel à la transformation de données. Il faut encore les faire vivre : conventions de modélisation, tests systématiques, revue de code et documentation à jour.
Interventions
Missions Visian sur dbt
- Mise en place d'un projet dbt et des conventions de modélisation
- Reprise de transformations existantes (procédures stockées, ETL)
- Tests de qualité, contrats de données et documentation générée
- Orchestration (Airflow, dbt Cloud, Dagster) et CI/CD
- Formation des équipes data engineering et analytics engineering
Ces missions s'inscrivent dans l'expertise Plateforme data, au forfait, en régie ou en centre de service.
Questions fréquentes
dbt : questions fréquentes
dbt remplace-t-il un ETL ?
dbt couvre la transformation (le « T »). L'extraction et le chargement restent assurés par un autre outil : Fivetran, Airbyte, Azure Data Factory ou des scripts.
dbt Core ou dbt Cloud ?
dbt Core est open source et s'intègre à une orchestration existante. dbt Cloud ajoute l'IDE, la planification et la documentation hébergée, avec un coût par utilisateur.