Dans une approche de conformité sur le long terme, de contrôle ou de prise de décision, les indicateurs sont clés. Les manier correctement et avec précaution est nécessaire pour atteindre ses objectifs : mal choisis, mal suivis ou mal interprêtés, ils peuvent produire des effets contraires à ceux recherchés, ou perdre en pertinence.
L’effet Cobra (ou effet Rat) : la logique des contournements
Quoi de mieux que des exemples concrets (et avec des animaux, c’est toujours plus mignon) pour vulgariser un concept social ou organisationnel ?
L’histoire souvent évoquée pour exprimer la logique de contournement d’une mesure ou d’un indicateur est l’effet Cobra, une situation qu’auraient rencontrées les autorités britanniques durant l’époque coloniale en Inde. Si sa véracité est débattue, une autre histoire, mieux documentée, et surnommée l’effet Rat (pour sa ressemblance avec l’effet Cobra), se serait produite au Vietnam sous l’administration coloniale française.
L’effet Cobra : quand la récompense détourne les yeux du problème
L’effet Cobra décrit une situation dans laquelle une récompense promise, sans analyse de ses effets possibles dans un système, peut devenir contre-productive, voire aggraver une situation.
Nous avions déjà expliqué, à l’aide de l’exemple du parachutage de chats à Bornéo, l’importance de réaliser une analyse d’un système (ou écosystème) dans lequel des activités vont venir s’imbriquer.
L’histoire se déroulerait en Inde coloniale, où les autorités britanniques constatant un problème de prolifération de cobras auraient mises en place un système de primes encourageant les habitants à tuer des cobras. Les habitants obtiendraient ainsi un gain financier en échange d’une activité pouvant s’avérer dangereuse, à la condition d’apporter la preuve du nombre de reptiles tués.
Il est rapporté que certains habitants auraient commencé à élever des cobras dans le but de les tuer et d’empocher les récompenses promises.
Les autorités britanniques, s’en apercevant, auraient alors mis fin au programme de récompense, et les habitants, ne voyant plus d’intérêt à continuer l’élevage des cobras, les auraient relachés, aggravant la situation initiale.
Ici, indicateurs et récompenses peuvent tous deux être mis en cause :
- l’indicateur du nombre de cobras tués, mal surveillé, n’était plus pertinent : puisque certains habitants élevaient des cobras, le nombre de cobras tués n’était plus amputé sur le nombre de cobras errants proliférant dans les villes ;
- l’idée même de récompenser les habitants pour chaque cobra mort est ici prise sans analyse des habitudes et moeurs des habitants : rappelons qu’aujourd’hui encore en Inde des élevages de cobra existent.
Encore une fois, cet exemple est néanmoins sujet à débat, sa véracité n’étant pas démontrée, tandis que l’effet Rat, lui, aurait bien existé.
L’effet Rat : quand la récompense provoque de l’opportunisme
Ici, il est question d’un incident qui se serait produit à Hanoï au Vietnam, sous le régime colonial français.
Constatant une prolifération de rats cette fois-ci, les autorités françaises auraient créé un programme de primes, récompensant chaque habitant apportant une queue de rat coupée.
Finalement, les responsables coloniaux auraient par la suite remarqués à Hanoï des rats sans queue ! Les habitants, plutôt que de tuer les rats avant de leur couper la queue, leur aurait coupé la queue et puis les auraient relachés, afin qu’ils puissent continuer à se reproduire, assurant ainsi des revenus stables provenant des récompenses.
Ici encore, indicateurs et récompenses peuvent être mis en cause :
- la queue d’un rat n’était pas un indicateur suffisamment fiable pour s’assurer de la mort des rongeurs ;
- la récompense pour la mort des rongeurs devenait une source de revenus pour certains, rendant l’existence et la prolifération des rats une nécessité pour la survie de leurs « chasseurs ».
La mesure comme objectif : les lois de Goodhart et de Campbell
Les cas précédents illustrent non seulement l’importance d’analyser les conséquences d’une décision, mais aussi un phénomène classique théorisé : lorsqu’on récompense une mesure sans penser à ses effets systémiques, on incite à des comportements opportunistes, voire contre-productifs.
Ces effets sont été théorises de deux manières :
- la loi de Goodhart : « Lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure. »
- la loi de Campbell : « Plus un indicateur social est utilisé pour prendre des décisions, plus il est exposé à la manipulation et moins il devient fiable. »
Autrement dit, l’utilisation répétée d’un indicateur dans la prise de décision incite progressivement les acteurs d’un système à se concentrer sur l’indicateur plus que sur la réalité qu’il est censé refléter, jusqu’à ce que l’indicateur ne soit plus utilisé pour calculer l’atteinte d’un objectif, mais devienne l’objectif à atteindre.
Dans l’exemple des rats de Hanoï par exemple, la queue de rat est l’indicateur permettant de déterminer le nombre de rats tués, l’objectif final étant d’endiguer la prolifération des rats dans la ville. Pour les habitants, obtenir le plus possible de queues de rats devient l’objectif, puisqu’elles sont sources de revenus. A compter les queues de rats reçues sans vérifier la présence ou le nombre de rats en ville, les autorités françaises auraient pu longtemps s’imaginer que leurs objectifs étaient atteints… alors que le nombre de rats ne baissait pourtant pas !
Manier avec précaution des indicateurs
En matière de cybersécurité, mais aussi dans d’autres domaines, les indicateurs sont omniprésents – utilisés afin de démontrer l’efficacité des mesures prises, de répondre à des exigences réglementaires, ou encore de déterminer de grandes lignes politiques. Afin de rester pertinent, un indicateur doit cependant rester un indicateur d’un objectif à atteindre, et ne pas devenir l’objectif lui-même.
Adopter une lecture systémique des indicateurs
Pris isolément, certains indicateurs normalement pertinents peuvent produire des effets de bord :
- indicateur du nombre de signalements d’un service : le service souhaitant bien performer évite de signaler tous les incidents ou durcit les critères de qualification d’un incident ;
- indicateur du nombre de formations suivies : le nombre de formations suivi n’est pas associé à un indicateur de respect des principes vus en formation, étant ainsi totalement décorrélé des objectifs d’amélioration des performances ou des pratiques ;
- indicateur du temps passé sur une demande : le nombre de demandes traitées dans le mois augmente, mais la qualité dans leur traitement diminue drastiquement.
Pour éviter ces dérives, l’analyse des indicateurs doit s’inscrire dans une démarche d’analyse systémique. Cela nécessite :
- de ne pas interprêter un indicateur de manière isolée ;
- de croiser les indicateurs entre eux ;
- de vérifier régulièrement leur pertinence ;
- de surveiller les effets de bord (les comportements opportunistes) ;
Les OKR : comment conserver la pertinence des instruments de mesure ?
Un OKR (Objective & Key Results) est une méthode de pilotage des objectifs. Le principe est le suivant :
- un objectif clair est défini (O) ;
- des résultats clés quantifiables (KR) permettant de mesurer l’avancement vers l’objectif (O) sont définis.
Dans un OKR, l’objectif correspond à l’élément que l’on cherche à atteindre, et les key results sont des variables calculables individuellement. L’objectif n’est pleinement atteint que lorsque chaque key result est lui-même atteint.
Par exemple :
Objectif : Améliorer la culture de la sécurité des données au sein de l’entreprise
Résultats clés attendus :
- 100 % des collaborateurs formés à éviter le phishing avant la fin du deuxième trimestre
- Réduction de 30 % des incidents liés au phishing
- Score moyen de 8/10 à des tests de sensibilisation interne
Les Key Results (KR) doivent être quantitatifs (il est possible de les compter), mesurables (il est possible de les mesurer avec précision) et significatifs. Ils permettent d’indiquer l’avancée vers un objectif clairement défini.
Dans notre exemple, l’indicateur de réduction des incidents liés au phishing est bien entendu susceptible de se soumettre à des dérives : des incidents non remontés par exemple, afin d’améliorer le résultat calculé. Pour cette raison, chaque indicateur doit pouvoir être revu, vérifié et mis à jour le cas échéant afin de vérifier qu’il concourt toujours à l’atteinte de l’objectif attendu (quand l’indicateur devient lui-même l’objectif, il perd de son sens).
Un indicateur n’est pas une fin en soi
Les indicateurs sont des outils indispensables pour orienter l’action, rendre compte, et ajuster les priorités d’un organisme, d’un projet, …
Les considérer comme des finalités, plus que comme des instruments d’observation au service de la prise de décision, leur fait perdre en pertinence.
La qualité des indicateurs ne réside pas seulement dans leur nombre ou dans leur précision, mais aussi dans leur capacité à refléter de manière juste la réalité, car c’est ainsi qu’ils permettent de prendre des décisions cohérentes.
_____________________________________
Fier de son expérience de matière de protection et de sécurité des données, Datanaos propose un éventail de formations relatives à la sécurité des systèmes d’information, à l’application de normes ISO, ou à la réalisation d’analyses de sécurité complètes (notamment Ebios). N’hésitez pas à nous contacter pour plus d’informations.