Dans un monde de plus en plus axé sur les données, la capacité à mesurer et évaluer la qualité des données et des connaissances est devenue un pilier fondamental pour la prise de décision éclairée, l'efficacité opérationnelle et la croissance organisationnelle. L'information est une denrée périssable, et l'utilité des rapports, qu'ils soient hebdomadaires ou mensuels, est intrinsèquement liée à leur actualité. La constatation brute et admise d'une absence de données est souvent préférable au risque de prendre des décisions basées sur des informations invalides. C'est dans ce contexte que l'Évaluation de la Qualité des Données (EQD) émerge comme un processus systématique essentiel pour évaluer les forces et les faiblesses d'un ensemble de données, informant ainsi les utilisateurs sur la "santé" de ces données.
La qualité des données n'est pas une propriété intrinsèque ; elle ne peut être évaluée qu'en fonction de l'usage prévu. Savoir ce que l'on veut faire des données - quel est l'objectif final, quel sera leur traitement, quelle signification sémantique leur sera attribuée, et quelles sont les attentes en termes de qualité - est primordial. Le Règlement Général sur la Protection des Données (RGPD) impose des limites strictes aux traitements des données personnelles tout au long de leur cycle de vie.
La qualité des données peut être jaugée à l'aune de nombreux indicateurs, parmi lesquels :
Le Data Management Body of Knowledge (DMBOK) identifie neuf dimensions essentielles pour mesurer la qualité des données de manière fiable, englobant la validité, l'exhaustivité, la cohérence, l'intégrité, la ponctualité, la fraîcheur, la vraisemblance, l'unicité et l'exactitude.
Le contrôle qualité des données doit être considéré dans un cycle de collecte et d'utilisation des données, faisant partie intégrante du Système de Suivi et d'Évaluation (SSE). L'impératif de pouvoir identifier l'origine et le parcours de toute donnée est crucial. Chaque donnée est unique, et un nettoyage régulier des bases de données est nécessaire pour éviter les doublons. Savoir détecter des valeurs aberrantes permet un contrôle de cohérence. Des valeurs incongrues ou extrêmes peuvent résulter d'une erreur de saisie ou d'une mauvaise interprétation d'une question par l'enquêteur. Il est également essentiel de se demander si des données sont manquantes et si cela représente un problème de retard.
Les procédures de collecte et de traitement des données doivent correspondre aux standards définis dans le plan de suivi et d'évaluation. Les critères présentés ci-dessus s'intéressent spécifiquement à cette phase. L'intérêt réside dans le croisement des analyses de ces critères, c'est-à-dire varier les angles à travers une diversité de perspectives. Il ne faut pas perdre de vue la vision globale de la mise en place du système de suivi et d'évaluation, tout en considérant la lisibilité et l'interprétabilité des données : le format est-il adapté et compréhensible par les utilisateurs clés ?
L'EQD est un processus en plusieurs étapes, chacune avec ses propres activités et livrables. Étant un processus long et gourmand en ressources, les experts conseillent de sélectionner un nombre minimum d'indicateurs.
Les indicateurs sélectionnés pour l'EQD incluent : le processus et la méthodologie suivis, les principaux résultats (séparément par indicateur), le flux de données (étapes), la conception du système de gestion des données.
Les indicateurs de qualité des données sont des mesures quantitatives permettant d'évaluer cette qualité. Ils varient selon les entreprises et peuvent refléter les dimensions classiques de la qualité des données (précision, actualité, unicité, etc.) ou des caractéristiques propres aux pipelines de données modernes, comme la durée de traitement.
Les outils d'analyse de la qualité des données, s'appuyant sur l'automatisation et le machine learning (ML), aident les ingénieurs en traitement des données à évaluer ces indicateurs et à repérer les problèmes de qualité en temps réel.
La gouvernance des données est une discipline de gestion des données qui assure l'intégrité et la sécurité des données en définissant et mettant en œuvre des politiques, des normes de qualité et des procédures relatives à leur collecte, propriété, stockage, traitement et utilisation.
L'observabilité des données associe surveillance et gestion des données pour garantir leur qualité, disponibilité et fiabilité à travers les différents processus, systèmes et pipelines de l'entreprise. La gestion de la qualité des données (Data Quality Management - DQM) regroupe un ensemble de pratiques visant à améliorer et maintenir la qualité des données.
Les solutions logicielles peuvent assurer une surveillance en temps réel de la qualité des données, y compris le suivi des performances sur les indicateurs de qualité.
Les conséquences d'une mauvaise qualité des données sont multiples et significatives. Elles peuvent se traduire par :
Une donnée de mauvaise qualité à l'origine le restera à la fin, selon la notion de "Garbage In, Garbage Out". L'étude Capgemini de 2020 révèle que seulement 27% des dirigeants d'entreprise sont satisfaits de la qualité de leurs données, alors que les conséquences d'une mauvaise qualité coûtent jusqu'à 25% de leur chiffre d'affaires.
Une démarche moderne de qualité des données s'inscrit dans une logique circulaire. Les données et métadonnées fiables et bien structurées permettent de concevoir des modèles d'IA performants (Data for AI). Ces modèles, une fois entraînés, peuvent ensuite contribuer à l'amélioration continue de la qualité des données et métadonnées en détectant automatiquement les erreurs, en identifiant les doublons ou en enrichissant les descriptions (AI for Data). Une démarche de Data Quality ne peut se faire sans Metadata Management.
Des rôles clés sont apparus pour soutenir cette démarche : le Master Data Manager, le Data Steward, et le Data Owner, qui garantit la qualité finale des données. La qualité des données est un sujet transverse qui doit impliquer les métiers et les équipes Data ou IT.
La problématique de la mesure et de l'évaluation de la qualité des données et des connaissances est un sujet d'intérêt émergent dans le domaine de la recherche et critique pour les entreprises. Les ateliers QDC (Qualité des Données et des Connaissances) et EvalECD (évaluation des méthodes d'Extraction de Connaissances dans les Données) sont organisés dans le cadre de conférences académiques.
La découverte de connaissances et la prise de décision à partir de données de qualité médiocre ont des conséquences directes et significatives dans tous les domaines d'application (gouvernemental, commercial, industriel, scientifique). L'évaluation des résultats issus du processus de traitement des données est souvent effectuée par un spécialiste.
Des recherches portent sur des méthodes génériques pour évaluer la qualité des données biométriques, des protocoles d'évaluation pour la traduction de textes spécialisés, des métriques pour la reconnaissance d'images, la robustesse des règles d'association, et l'extraction de motifs rares corrélés. D'autres travaux portent sur l'évaluation des propriétés de nombreuses mesures d'intérêt et la comparaison de mesures de similarité pour différents types de données.
Les applications en environnement et santé sont également des domaines phares pour l'extraction et la gestion des connaissances, impliquant des processus de fouille de données hydrologiques et des systèmes d'importation de données hétérogènes de protéomique clinique.
En bref, la qualité des données est un élément central des systèmes de suivi et d'évaluation, sur lequel repose la fiabilité, l'exactitude et la fidélité des informations. En reconnaissant leurs limites et en adoptant une approche méthodique et continue, les organisations peuvent transformer leurs données en un atout stratégique majeur, favorisant ainsi une croissance durable et une prise de décision éclairée. L'histoire de la ville fictive d'Argleton sur Google Maps, une "ville piège" insérée pour détecter les copies illégales, illustre de manière créative l'importance de l'origine et de l'authenticité des données, même dans des contextes inattendus.
tags: #mesurer #et #evaluer #la #qualite #des
