Data engineering, in plain English.

ETL

Data is pulled from a source, reshaped to fit the destination, then loaded in. The traditional order for moving data into a warehouse.

ELT

Raw data lands first, and the transformation happens afterwards, inside the warehouse itself. The more common pattern on modern cloud platforms.

Data lake

A single store for raw data in its native format, structured and unstructured alike, before anyone decides exactly how it will be used.

Data warehouse

A store built around how the business asks questions: modelled, structured, and optimised for reporting rather than for capturing every raw detail.

Data lakehouse

A lake and a warehouse combined: the flexibility of raw storage with the structure and performance guarantees of a warehouse on top.

Data pipeline

The automated sequence that moves data from source to destination: extract, transform, validate, load, on a schedule or in response to an event.

Data lineage

The record of where a piece of data came from and every transformation it passed through on the way to a report. What an auditor asks for first.

Data governance

Who owns which data, who can change its definition, and what evidence proves the rules were actually followed, not just written down.

Data catalog

A searchable inventory of what data exists, what it means, who owns it and how fresh it is, so people stop asking in Slack.

Data quality

Whether data is accurate, complete, consistent and timely enough for the decision being made with it. Usually enforced with automated checks.

Master data management

Keeping one agreed, trustworthy version of a core entity, a customer, a product, a supplier, instead of five slightly different copies across systems.

Semantic layer

The place a metric is defined once, so every dashboard and report reads the same definition instead of recalculating it slightly differently.

Data mart

A smaller, focused slice of the warehouse built for one department or subject area, so they aren't querying the entire estate for one answer.

Schema

The structure of a dataset: table names, columns, data types and how they relate. What a schema change breaks when nobody is warned first.

Schema drift

A source system silently adds, removes or retypes a column, and anything downstream that assumed the old shape quietly breaks or miscounts.

Change data capture

Streaming only the rows that changed, rather than re-reading an entire table each time. How near-real-time pipelines stay fast at scale.

Orchestration

The scheduler that decides what runs, in what order, and what happens on failure, Airflow and similar tools, rather than a chain of cron jobs.

Data observability

Monitoring not just whether a job ran, but whether the data it produced is actually correct, fresh and complete.

High availability

A system designed to keep running, or fail over automatically, when a component breaks, instead of going down until someone notices.

Disaster recovery

The tested plan, and the tested backups, for getting back up after a serious failure. Untested backups are not a recovery plan.

Replication

Keeping a live copy of a database in sync with the original, for failover, read scaling, or feeding another system in near real time.

Landing zone

The governed, pre-built account and network structure a cloud workload moves into, so every new environment starts from the same secure baseline.

FinOps

The discipline of treating cloud cost as an engineering problem: tagging, right-sizing and architecture decisions, not just a bill to complain about.

Infrastructure as code

Infrastructure defined in version-controlled files (Terraform, CloudFormation) instead of clicked together by hand, so it can be reviewed and repeated.

Well-Architected Framework

AWS's own structured review across operational excellence, security, reliability, performance, cost and sustainability.

Feature store

A central place that stores the inputs machine learning models train on, so the same feature is defined identically for training and for live predictions.

MLOps

The deployment pipelines, monitoring and retraining schedules that keep a model working in production, the operational half of machine learning.

Model drift

A model's accuracy quietly degrading over time as the real world stops matching the data it was trained on, until nobody trusts its answers.

RAG

Retrieval-augmented generation: an AI model answers by first retrieving relevant passages from your own documents, then citing them, rather than guessing from memory.

Row-level security

Restricting which rows of a table a given user can see, so two people querying the same table get different results based on who they are.

PII

Personally identifiable information: anything that can identify a specific person, the category of data that drives most privacy obligations.

OLTP vs OLAP

OLTP systems handle many small transactions fast (an order being placed); OLAP systems handle large analytical queries over history (a quarterly report). Rarely the same database.

Extract, Transform, Load

Les données sont extraites d'une source, remises en forme pour la destination, puis chargées. L'ordre traditionnel pour alimenter un entrepôt de données.

Extract, Load, Transform

Les données brutes arrivent d'abord, et la transformation se fait ensuite, à l'intérieur même de l'entrepôt. Le schéma le plus courant sur les plateformes cloud modernes.

Un data lake

Un entrepôt unique pour les données brutes dans leur format natif, structurées ou non, avant que quiconque ne décide précisément de leur usage.

Un entrepôt de données

Un entrepôt conçu autour des questions posées par l'activité : modélisé, structuré, et optimisé pour le reporting plutôt que pour capturer chaque détail brut.

Un data lakehouse

Un lake et un entrepôt combinés : la flexibilité du stockage brut avec la structure et les garanties de performance d'un entrepôt par-dessus.

Un pipeline de données

La séquence automatisée qui déplace les données de la source à la destination : extraction, transformation, validation, chargement, sur un calendrier ou en réponse à un événement.

La traçabilité (lineage)

L'historique de la provenance d'une donnée et de chaque transformation qu'elle a subie avant d'atteindre un rapport. Ce qu'un auditeur demande en premier.

La gouvernance des données

Qui possède quelles données, qui peut en changer la définition, et quelles preuves montrent que les règles ont réellement été suivies, pas seulement écrites.

Un catalogue de données

Un inventaire consultable des données existantes, de leur signification, de leur propriétaire et de leur fraîcheur, pour que les gens arrêtent de demander sur Slack.

La qualité des données

La question de savoir si les données sont exactes, complètes, cohérentes et assez récentes pour la décision prise avec elles. Généralement vérifiée par des contrôles automatisés.

La gestion des données de référence (MDM)

Conserver une version unique, convenue et fiable d'une entité centrale, un client, un produit, un fournisseur, au lieu de cinq copies légèrement différentes selon les systèmes.

Une couche sémantique

L'endroit où un indicateur est défini une seule fois, pour que chaque tableau de bord et rapport lise la même définition au lieu de la recalculer légèrement différemment.

Un datamart

Une tranche plus petite et ciblée de l'entrepôt, construite pour un seul département ou domaine, pour qu'il n'interroge pas tout le patrimoine pour une seule réponse.

Un schéma

La structure d'un jeu de données : noms de tables, colonnes, types de données et leurs relations. Ce qu'un changement de schéma casse quand personne n'est prévenu.

La dérive de schéma

Un système source ajoute, supprime ou retype silencieusement une colonne, et tout ce qui est en aval et supposait l'ancienne structure casse ou se trompe discrètement.

La capture de changement de données (CDC)

Diffuser uniquement les lignes modifiées, plutôt que de relire une table entière à chaque fois. Comment les pipelines quasi temps réel restent rapides à grande échelle.

L'orchestration

Le planificateur qui décide ce qui s'exécute, dans quel ordre, et que faire en cas d'échec, Airflow et outils similaires, plutôt qu'une chaîne de tâches cron.

L'observabilité des données

Surveiller non seulement si un job s'est exécuté, mais si les données qu'il a produites sont réellement correctes, récentes et complètes.

La haute disponibilité (HA)

Un système conçu pour continuer à fonctionner, ou basculer automatiquement, quand un composant tombe en panne, plutôt que de s'arrêter jusqu'à ce que quelqu'un le remarque.

La reprise après sinistre (DR)

Le plan testé, et les sauvegardes testées, pour redémarrer après une panne grave. Des sauvegardes non testées ne sont pas un plan de reprise.

La réplication

Maintenir une copie en direct d'une base de données synchronisée avec l'originale, pour le basculement, la montée en charge en lecture, ou alimenter un autre système quasiment en temps réel.

Une landing zone

La structure de comptes et de réseau gouvernée et préconstruite dans laquelle une charge de travail cloud s'installe, pour que chaque nouvel environnement parte de la même base sécurisée.

Le FinOps

La discipline qui traite le coût cloud comme un problème d'ingénierie : étiquetage, dimensionnement et décisions d'architecture, pas seulement une facture à déplorer.

L'infrastructure as code

Une infrastructure définie dans des fichiers versionnés (Terraform, CloudFormation) plutôt que construite à la main en cliquant, pour qu'elle puisse être revue et reproduite.

Le Well-Architected Framework

La revue structurée propre à AWS couvrant l'excellence opérationnelle, la sécurité, la fiabilité, la performance, le coût et la durabilité.

Un feature store

Un emplacement central qui stocke les variables sur lesquelles les modèles de machine learning s'entraînent, pour qu'une même variable soit définie à l'identique à l'entraînement et en production.

Le MLOps

Les pipelines de déploiement, la surveillance et les calendriers de réentraînement qui maintiennent un modèle fonctionnel en production, la moitié opérationnelle du machine learning.

La dérive de modèle

La précision d'un modèle qui se dégrade silencieusement avec le temps, le monde réel cessant de correspondre aux données sur lesquelles il a été entraîné, jusqu'à ce que plus personne ne fasse confiance à ses réponses.

RAG (génération augmentée par récupération)

Retrieval-augmented generation : un modèle d'IA répond en récupérant d'abord des passages pertinents dans vos propres documents, puis en les citant, plutôt qu'en devinant de mémoire.

La sécurité au niveau ligne

Restreindre les lignes d'une table qu'un utilisateur donné peut voir, pour que deux personnes interrogeant la même table obtiennent des résultats différents selon leur identité.

Les données personnelles (PII)

Informations personnelles identifiables : tout ce qui peut identifier une personne précise, la catégorie de données à l'origine de la plupart des obligations de confidentialité.

OLTP vs OLAP

Les systèmes OLTP gèrent de nombreuses petites transactions rapidement (une commande passée) ; les systèmes OLAP gèrent de grandes requêtes analytiques sur l'historique (un rapport trimestriel). Rarement la même base de données.