Qu'est-ce que la Modern Data Stack ?
La Modern Data Stack (MDS) désigne l'ensemble des outils cloud-natifs utilisés par les équipes data pour ingérer, stocker, transformer et visualiser les données. Elle s'est imposée comme l'architecture de référence depuis le début des années 2020. L'Analytics Engineer est le professionnel qui vit au cœur de cette stack - comprendre chaque couche et ses outils est une compétence fondamentale.
Couche 1 - L'ingestion : Fivetran et Airbyte
Les données doivent d'abord être collectées depuis leurs sources (bases de données, SaaS, APIs) et chargées dans l'entrepôt.
- Fivetran : solution ELT managée avec 500+ connecteurs préconstruits. Clé en main, zéro maintenance, idéal pour aller vite.
- Airbyte : alternative open source à Fivetran, auto-hébergeable, plus flexible et moins coûteux à grande échelle.
Couche 2 - Le stockage : Snowflake, BigQuery, Redshift
- Snowflake : le plus populaire en Europe. Architecture découplée compute/storage, excellent support dbt, tarification à l'usage.
- BigQuery : l'offre Google Cloud. Serverless, très performant sur les grandes volumétries, intégré à GCP.
- Amazon Redshift : la solution AWS, bien intégrée avec les autres services Amazon.
- Databricks : monte en puissance pour les architectures Lakehouse combinant analytics et machine learning.
Couche 3 - La transformation : dbt
dbt est l'outil de transformation standard de la Modern Data Stack. Toutes les transformations, tests et documentations passent par dbt. Pour un Analytics Engineer, c'est l'outil le plus utilisé au quotidien.
Couche 4 - L'orchestration : Airflow, Prefect, Dagster
Les pipelines doivent s'exécuter dans le bon ordre et au bon moment. L'Analytics Engineer n'est pas toujours responsable de cette couche, mais doit en comprendre le fonctionnement pour debugger ses modèles dbt.
Couche 5 - La visualisation : Metabase, Looker, Power BI
- Metabase : open source, facile à déployer. Très populaire en start-ups et scale-ups.
- Looker : puissant, avec un layer sémantique (LookML) qui complémente bien dbt.
- Power BI : dominant dans les grandes entreprises, notamment dans les environnements Microsoft.
La stack complète enseignée chez Ada Formation
La formation Analytics Engineer d'Ada couvre l'ensemble de cette stack de bout en bout : Fivetran pour l'ingestion, Snowflake pour le stockage, dbt pour la transformation, et Metabase pour la visualisation. L'objectif est de vous rendre opérationnel sur chaque brique de l'architecture moderne dès la fin du programme.
