Dans un paysage économique de plus en plus axé sur les données, la qualité de l'information partagée est devenue un pilier fondamental pour la performance et la pérennité des organisations. Sans une qualité des données intégrée, une entreprise risque de jeter de l'argent par les fenêtres, car, comme le souligne la Harvard Business Review, il est dix fois plus coûteux d'achever une unité de travail avec des données erronées. La quête des outils de qualité des données adéquats peut s'avérer complexe. Cependant, en adoptant une approche stratégique et en exploitant des outils de qualité des données en libre-service dotés de contrôles intégrés, il est possible de déployer un système fiable et flexible. Cet article explore en profondeur comment identifier et sélectionner les outils de qualité des données les plus adaptés à votre organisation, tout en abordant les défis et les solutions dans le contexte de la transformation numérique.
Le marché foisonne d'outils autonomes dédiés à la qualité des données. Les salons consacrés au Big Data mettent en avant une multitude de solutions de préparation et de gouvernance des données conçues pour prévenir les données de mauvaise qualité. Néanmoins, peu d'entre eux offrent une solution universelle pour la qualité des données. Ces outils autonomes fournissent souvent une solution ponctuelle, mais peinent à résoudre les problèmes sur le long terme. Il n'est pas rare de rencontrer des outils spécialisés dans la qualité des données qui exigent une expertise approfondie pour un déploiement réussi. Leur complexité intrinsèque requiert une formation poussée avant leur commercialisation et leur utilisation. Bien que ces outils puissent se révéler puissants, leur pertinence est limitée si les priorités en matière de qualité des données sont à court terme, compromettant ainsi le respect des échéances. L'analogie avec un débutant tentant de piloter un gros porteur, dont les instruments de vol sont trop sophistiqués, illustre parfaitement ce risque d'échec.
Une approche proactive de la qualité des données permet de vérifier et de mesurer le niveau de qualité des informations avant leur intégration dans les systèmes centraux. L'accès et la surveillance de ces données au sein d'applications internes, cloud, web et mobiles représentent un défi considérable. La seule manière d'étendre ce type de suivi à l'ensemble de ces systèmes est d'utiliser l'intégration des données. C'est pourquoi il est impératif de disposer d'outils de qualité des données capables de gérer les données en temps réel.
Il est évidemment crucial d'intégrer des règles de contrôle dans vos processus d'intégration des données pour prévenir toute propagation d'informations erronées. Avec les bons outils de qualité des données et une approche d'intégration efficace, vous pouvez créer des systèmes d'alerte permettant de détecter les causes profondes des problèmes globaux d'intégrité des données. Cette démarche implique ensuite de suivre les données à travers l'ensemble de vos applications et systèmes, permettant ainsi d'analyser, de normaliser et de faire correspondre les données en temps réel. Vous pouvez ainsi organiser le processus et vérifier l'exactitude des données au besoin.
Cependant, certaines applications, bien que simples et souvent robustes, peuvent être trop cloisonnées pour s'intégrer efficacement dans un processus global de qualité des données. Même si elles ciblent efficacement les professionnels grâce à une interface utilisateur conviviale, elles négligent un aspect essentiel : la gestion collaborative des données. C'est précisément là que réside le défi. La réussite ne dépend pas uniquement des outils et des capacités de qualité des données eux-mêmes, mais aussi de leur aptitude à communiquer entre eux. Par conséquent, une solution basée sur une plateforme unifiée, capable de partager, d'exploiter et de transférer l'ensemble des données, des actions et des modèles, est indispensable.
À terme, vous serez confronté à des cas d'usage multiples où une personne, voire une équipe, sera dans l'impossibilité de gérer efficacement vos données. Pour surmonter ces situations, une plateforme unifiée, dotée d'outils de qualité des données dans le cloud, est nécessaire. En collaborant avec des utilisateurs professionnels et en leur donnant les moyens d'agir sur le cycle de vie des données, votre équipe acquiert la capacité de surmonter les obstacles inhérents à la qualité des données, tels que le nettoyage, le rapprochement, la mise en correspondance ou la résolution des données. Trois capacités sont cruciales pour atteindre une véritable qualité des données et font partie intégrante de tout ensemble d'outils efficaces de qualité des données dans le cloud :
Le profilage des données est le processus d'évaluation de la nature et de l'état des données stockées sous diverses formes au sein de l'entreprise. Il est généralement considéré comme une étape préliminaire essentielle pour assurer le contrôle des données organisationnelles. L'élément clé de cette étape réside dans une visibilité précise des données, y compris celles provenant de sources individuelles et de registres spécifiques. Avec cette visibilité, un profilage statistique des données est effectué, et des règles personnalisées ainsi que d'autres modifications sont appliquées aux données qui ne se conforment pas aux normes de votre entreprise.
Le Talend Data Stewardship englobe le processus de gestion du cycle de vie des données, de leur agrégation à leur suppression. La gouvernance des données définit et gère les modèles de données, documente et nettoie les données, et établit les règles et politiques à suivre. Elle permet la mise en œuvre de processus de gouvernance des données bien définis, couvrant diverses activités telles que la surveillance, la réconciliation, l'affinage, la déduplication, le nettoyage et l'agrégation, afin de fournir des données de qualité aux applications et aux utilisateurs finaux.
La préparation des données comprend le nettoyage, la normalisation, la transformation, voire l'enrichissement des données. Les entreprises axées sur les données s'appuient sur des outils de préparation des données offrant un accès en libre-service à des tâches autrefois dévolues aux professionnels des données, comme les experts en données, et qui sont désormais assurées par des travailleurs opérationnels connaissant mieux ces données. Cela nécessite des outils faciles à utiliser, basés sur des flux de travail, dotés d'une interface utilisateur similaire à celle d'Excel, ainsi qu'une assistance intelligente.
En déployant des outils de qualité des données dans le cloud, c'est l'ensemble de l'entreprise qui en bénéficie. Les données de qualité sont davantage utilisées, ce qui permet de réduire les coûts induits par des données de mauvaise qualité, notamment ceux résultant de décisions basées sur des analyses incorrectes. À l'ère de la surabondance des données, les outils autonomes de qualité des données ne suffisent plus. Il faut des solutions fonctionnant en temps réel dans tous les secteurs d'activité et dont l'utilisation n'exige pas de compétences pointues en ingénierie des données.
En tant que responsable qualité, il n'est pas toujours évident de choisir l'outil adapté pour analyser une situation. Face à la multitude d'options disponibles, on peut rapidement se sentir désorienté. Un outil qualité est une méthode, une approche ou une technique visant à optimiser les processus et à résoudre les problèmes au sein d'une organisation.
Le marché propose une variété d'outils qualité, chacun répondant à des besoins spécifiques pour l'amélioration des processus et la résolution de problèmes. Parmi les plus reconnus, on trouve :
La Carte de Contrôle : Technique de suivi de la qualité dans les processus de production, elle permet de vérifier la stabilité d'un processus dans le temps. Des limites de contrôle sont définies, et l'on suit si les données restent dans la plage acceptable. Dès qu'un point sort de la limite, une action préventive ou corrective peut être lancée.
Le Brainstorming : Méthode de réflexion en groupe visant à générer des idées et des solutions créatives pour aborder un problème.
La Méthode des "5 Pourquoi" : Technique de questionnement qui aide à remonter aux causes profondes d'un problème en répétant cinq fois la question "Pourquoi ?".
L'AMDEC (Analyse des Modes de Défaillance, de leurs Effets et de leur Criticité) : Cet outil aide à identifier les modes de défaillance potentiels dans un processus, à évaluer leur impact et à déterminer les priorités pour les traiter. C'est une méthode prédictive préconisée par la norme ISO 9001:2015 pour identifier et maîtriser les risques.
Le Diagramme de Flux (ou logigramme) : Il représente les étapes d'un processus sous forme de flux pour visualiser son déroulement. Cet outil est parfait pour cartographier des processus complexes et identifier rapidement les points de blocage ou les inefficiences.
Six Sigma : Approche de gestion de la qualité visant à minimiser la variabilité et les défauts, souvent mise en œuvre via la démarche DMAIC (Définir, Mesurer, Analyser, Innover, Contrôler).
Le Système Andon : Mécanisme d'alerte visuelle ou sonore utilisé dans les environnements de production pour signaler rapidement un problème, permettant aux équipes de réagir instantanément dès qu'une anomalie est détectée.
Le Kanban : Système de gestion visuelle qui aide à organiser les flux de travail et les stocks, offrant une gestion claire et efficace des priorités, permettant de mieux répartir les ressources et de réagir rapidement aux besoins du processus. Il s'appuie sur l'approche Lean.
Le Diagramme de Gantt : Outil de référence pour la gestion de projet, il visualise l'ensemble des étapes et des tâches à réaliser, ainsi que leurs durées et responsables, permettant de suivre en temps réel l'avancement des projets.
Le Diagramme de Pareto : Repose sur la loi des 80/20, qui stipule que 20 % des causes sont responsables de 80 % des défauts, permettant de prioriser les actions à mener en se concentrant sur les causes majeures.
La Méthode QQOQCP (Quoi, Qui, Où, Quand, Comment, Combien, Pourquoi) : Méthode de questionnement simple mais efficace, incontournable pour mieux comprendre une situation, en obtenant des réponses précises et détaillées face à un problème complexe.
Choisir le bon outil qualité dépend des objectifs de votre entreprise et du type de processus à analyser. Pour une mise en œuvre efficace, il est important de former les équipes et de communiquer sur les avantages de chaque outil, ce qui favorise l'adhésion et garantit un meilleur suivi des pratiques. Les outils qualité présentés sont des ressources essentielles pour améliorer la démarche qualité de votre entreprise.
La numérisation des processus s'accompagne d'une augmentation exponentielle de la production et de la collecte de données. La complexité surgit lorsqu'il s'agit d'utiliser des données stockées dans des sources disparates. La norme ISO/IEC 25012 définit la qualité des données comme le degré auquel les données satisfont aux exigences de leur finalité. Cette définition implique que la signification de la qualité des données varie en fonction de leur utilisation. Le concept introduit l'idée de dimensions de la qualité des données, mesurables de différentes manières. Certaines approches distinguent six dimensions, d'autres huit, voire dix.
La hiérarchie des données dans une organisation débute par une valeur de donnée unique. Les valeurs de données d'attributs divers sont regroupées pour former un enregistrement de données. Plusieurs enregistrements forment ensuite un ensemble de données. Les dimensions de la qualité des données se comportent et sont mesurées différemment à chaque niveau de cette hiérarchie.
Ces dimensions permettent d'apprécier et d'évaluer directement la valeur des données au niveau granulaire :
L'Exactitude : Mesurée en vérifiant les valeurs des données par rapport à une source connue d'informations correctes. La mesure peut être complexe si plusieurs sources contiennent des informations correctes. Par exemple, un numéro de téléphone exact est celui qui est correct et qui existe réellement.
La Lignée (ou Traçabilité) : Vérifiée en validant la source d'origine et/ou toutes les sources qui ont mis à jour les informations au fil du temps. Les numéros de contact des employés sont dignes de confiance s'ils proviennent d'une source valide, comme l'employé lui-même.
La Correction Sémantique : La valeur des données doit être sémantiquement correcte, c'est-à-dire liée à sa signification, notamment dans le contexte de l'organisation ou du service où elle est utilisée. Les informations sont généralement échangées entre différents services et processus.
L'Analyse Structurelle : Vérifie la représentation des valeurs des données, c'est-à-dire si elles ont un modèle et un format valides. Dans une base de données d'employés, toutes les valeurs de la colonne du numéro de téléphone doivent être correctement structurées et formatées.
Ces dimensions apprécient et évaluent les données dans leur contexte global :
L'Exhaustivité : Définit le degré auquel les valeurs de données nécessaires sont remplies et ne sont pas laissées en blanc. Elle peut être calculée verticalement (au niveau des attributs) ou horizontalement (au niveau des enregistrements). Les champs marqués comme obligatoires garantissent l'exhaustivité.
La Cohérence : Permet d'établir des rapports uniformes et précis pour toutes les fonctions et opérations de l'entreprise. Pour garantir la cohérence, tous les attributs stockés dans les bases de données doivent avoir les mêmes valeurs, même si les données sont répliquées pour d'autres services.
L'Actualité : Concerne la mesure dans laquelle les attributs des données sont du bon âge dans le contexte de leur utilisation.
La Rapidité d'Exécution : Mesure le temps nécessaire pour accéder à l'information demandée. L'actualité mesure également la rapidité avec laquelle les nouvelles informations sont disponibles dans toutes les sources.
Le Caractère Raisonnable (Reasonability) : Mesure la mesure dans laquelle les valeurs des données ont un type et une taille raisonnables ou compréhensibles. Il impose également des limites maximales et minimales de caractères aux attributs.
L'Identifiabilité : Un attribut d'identification unique est stocké dans la base de données pour chaque enregistrement. Cependant, dans certains cas, des informations personnelles identifiables (PII) sont supprimées pour préserver la confidentialité.
Ces dix mesures de qualité des données sont les plus couramment utilisées. Chaque entreprise ayant ses propres exigences, il peut être nécessaire d'utiliser des indicateurs supplémentaires ou d'en créer de nouveaux. Compte tenu de la complexité de la mesure de la qualité des données, ce processus est généralement confié à des professionnels compétents en technologie ou en données.
Un outil de qualité des données en libre-service, capable de fournir une vue rapide à 360° des données et d'identifier les anomalies de base telles que les valeurs vides, les types de données des champs, les modèles récurrents et d'autres statistiques descriptives, constitue une exigence fondamentale pour toute initiative axée sur les données. Des solutions comme DataMatch Enterprise permettent d'effectuer rapidement des contrôles d'exactitude, d'exhaustivité et de validation, offrant un profil de données concis qui met en évidence les détails du contenu et de la structure de tous les attributs de données choisis.
Pour se positionner en tant que leader sur son marché, l'utilisation d'outils qualité adaptés aux besoins est une nécessité. L'amélioration des performances de l'entreprise sur le long terme repose impérativement sur la qualité. Cela implique l'emploi de méthodes et d'outils de qualité adaptés, tout en mobilisant les collaborateurs compétents pour leur mise en œuvre.
Afin de répondre à la problématique de chaque situation, il est indispensable de sélectionner le ou les meilleurs outils permettant d'atteindre plus facilement l'objectif recherché. Les outils qualité font gagner un temps précieux en s'appuyant sur des méthodologies éprouvées.
L'utilisation des outils qualité contribue à la bonne réalisation du Système de Management de la Qualité (SMQ) et assure une amélioration constante, dans le but d'optimiser et de développer les systèmes d'organisation.
Le concept qualité est devenu un outil incontournable de management pour les organismes qui souhaitent améliorer leur performance et obtenir une reconnaissance internationale grâce aux référentiels ISO. Les outils qualité évoqués permettent de mettre en place un système de management de la qualité (SMQ) plus efficacement.
OPIDoR, par exemple, propose un ensemble d'outils et de services pour la gestion, le partage et l'ouverture des données, des codes sources et des logiciels. Il contribue à la diffusion des bonnes pratiques et promeut l'adoption des principes FAIR (Faciles à trouver, Accessibles, Interopérables, Réutilisables). Des outils comme DMP OPIDoR (aide à la création de PGD) et Cat OPIDoR (cartographie des outils et services utiles pour les projets de recherche) illustrent cette démarche. L'Inist, membre fondateur du consortium DataCite, est également une agence d'attribution de l'identifiant DOI en France, un identifiant pérenne favorisant le référencement et la citation des jeux de données. Cat OPIDoR, un outil collaboratif basé sur MediaWiki, recense les services sur un mode collaboratif.
En résumé, la maîtrise des outils qualité n'est pas une option, mais une nécessité stratégique pour toute organisation cherchant à optimiser ses processus, à résoudre efficacement les problèmes et à garantir une amélioration continue de ses performances dans un environnement de plus en plus compétitif et axé sur la donnée.
tags: #outils #de #mesure #sur #la #qualite
