Cas pratique : une CAF révèle les biais du tri algorithmique

À première vue, l’algorithme promet l’égalité de traitement : même grille, mêmes critères, même distance supposée à l’erreur humaine. Mais lorsqu’un organisme social s’en remet à un score de probabilité pour prioriser les contrôles, le principe se retourne. Le cas que nous avons reconstitué à partir de témoignages, de documents de travail et d’entretiens avec des agents de terrain montre moins une machine neutre qu’un système de tri qui reproduit, sous une forme froide et statistique, les inégalités déjà présentes dans les dossiers.

Dans la CAF observée, le dispositif n’est pas présenté comme une décision automatique mais comme un outil d’orientation. En pratique, il pèse sur la vie quotidienne des allocataires : certains profils sont signalés plus vite, d’autres plus souvent, et la justification détaillée reste rarement accessible aux personnes concernées. Le paradoxe est là : plus le mécanisme se veut objectif, plus il devient difficile d’en contester la logique.

Derrière le score, une mécanique opaque

Les agents interrogés décrivent un outil nourri par des variables dites « de contexte » : fréquence des changements de situation, composition familiale, ancienneté du dossier, erreurs passées de déclaration, mais aussi des éléments plus indirects comme la stabilité résidentielle ou la répétition de certaines anomalies administratives. Pris séparément, ces signaux peuvent sembler anodins. Agrégés, ils fabriquent un score qui hiérarchise les dossiers avant même qu’un humain n’ouvre le dossier.

Le problème n’est pas seulement technique. Il est politique. Car lorsque la priorité des contrôles se déplace vers des publics déjà fragilisés, le soupçon cesse d’être exceptionnel et devient structurel. Le tri algorithmique ne remplace pas la décision ; il l’oriente, la prépare, la rend plus probable. C’est souvent à ce stade que s’installe une zone grise où personne ne se dit responsable du résultat final.

Ce que le terrain révèle

Sur le terrain, plusieurs dossiers montrent le même enchaînement : une incohérence mineure, un premier contrôle, puis une multiplication de demandes de pièces justificatives, parfois à quelques jours d’intervalle. Dans certains cas, la correction d’une erreur administrative ne désactive pas le signal ; elle peut même renforcer l’idée qu’un dossier est « à surveiller ». Le système apprend, mais il apprend à partir d’un historique déjà biaisé par les précédentes suspicions.

Le tri algorithmique n’est jamais neutre lorsque ses critères sont bâtis sur des traces administratives inégales : il transforme une fragilité sociale en indice de risque.

Ce type de mécanique rappelle une leçon simple : un outil statistique n’efface pas le rapport de force qui l’a conçu. Il le formalise. Et quand l’architecture du contrôle devient trop discrète, elle échappe au débat public alors même qu’elle touche à des droits élémentaires.

Dans l’univers des enquêtes de terrain, on retrouve ce même besoin de méthode dans des sujets apparemment éloignés. À titre d’exemple, l’attention portée aux détails d’usage d’un soin capillaire sur lacdelagimone.fr, lorsqu’il s’agit de traiter des racines grasses sans alourdir les pointes sèches, repose aussi sur une lecture fine des déséquilibres : il faut distinguer ce qui purifie de ce qui surcharge. Cette logique de tri, appliquée à un objet banal, illustre à sa manière combien une mauvaise catégorisation peut fausser le résultat final.

Quand la décision devient statistique

La CAF met en avant la nécessité de lutter contre la fraude et de cibler plus efficacement les vérifications. L’argument est recevable en apparence : dans des services saturés, hiérarchiser peut sembler rationnel. Mais dès lors que la sélection repose sur des variables corrélées à la précarité, le risque est de confondre fragilité documentaire et suspicion de fraude. On ne contrôle plus seulement des anomalies ; on contrôle des modes de vie.

Pour les allocataires, le premier effet est souvent la fatigue administrative. Le second, plus profond, est psychologique : la certitude que le système lit leur dossier à travers un prisme défavorable. La confiance, déjà fragile, se fissure. Et lorsqu’un usager ne comprend pas pourquoi il a été ciblé, il ne peut ni se défendre utilement ni corriger le biais qui l’a placé dans le viseur.

• des critères de tri peu lisibles pour le public ;
• des décisions préparées par des scores difficilement contestables ;
• un risque de sur-contrôle des profils les plus instables ;
• une chaîne de responsabilité diluée entre outil, agent et hiérarchie.

Ce que révèle ce cas pratique

Ce dossier ne dit pas que toute automatisation est illégitime. Il montre en revanche qu’une administration sociale ne peut pas déléguer ses priorités à un modèle sans exposer ses règles, ses marges d’erreur et ses effets différenciés. À défaut, l’algorithme devient un écran : il donne un vernis de neutralité à des choix qui restent profondément humains, donc discutables.

Pour rompre ce cercle, plusieurs garanties devraient être opposables : publication des grandes catégories de variables utilisées, audit indépendant des biais, traçabilité des décisions, information claire des personnes ciblées et possibilité réelle de recours. Sans cela, le tri algorithmique risque d’installer une justice à deux vitesses, où les plus vulnérables supportent la majorité des contrôles sous prétexte d’efficacité.

Découvrez tous nos services sur notre page d'accueil. Vous y retrouverez nos enquêtes longues, nos reportages de terrain et nos chroniques consacrés aux systèmes opaques qui façonnent le quotidien.

Dans un paysage administratif de plus en plus outillé, le véritable enjeu n’est pas de savoir si la machine calcule vite. C’est de savoir au service de quelle politique elle calcule, et qui paie, au bout du compte, le prix de sa prétendue neutralité.