Qui contrôle vraiment les algorithmes des aides sociales ?

Un algorithme ne décide jamais seul. Il applique une définition du risque, choisit certains signaux plutôt que d’autres et produit des conséquences bien réelles. La question centrale n’est donc pas seulement celle du code, mais celle du pouvoir qui l’oriente.

Dans les bureaux où sont traitées les demandes d’aides sociales, l’informatique est devenue une présence silencieuse. Elle compare des revenus, repère des incohérences, hiérarchise des dossiers et suggère parfois les contrôles à engager. Pour l’administration, ces outils promettent de mieux lutter contre la fraude et de concentrer les agents sur les situations les plus complexes. Pour les allocataires, ils peuvent transformer une erreur de déclaration ou une variation de ressources en soupçon durable.

Notre enquête, menée à partir de documents administratifs, de témoignages d’agents et d’entretiens avec des spécialistes des libertés publiques, révèle une réalité moins spectaculaire qu’une intelligence artificielle toute-puissante, mais plus difficile à contester : celle d’un système distribué, où chacun détient une partie de la décision et où personne ne semble en porter l’entière responsabilité.

Un score construit à partir de vies ordinaires

Le fonctionnement de ces dispositifs repose sur des variables qui paraissent neutres. Fréquence des changements d’adresse, composition du foyer, évolution des revenus, échanges avec d’autres organismes publics : chaque information peut devenir un signal. Agrégées, ces données alimentent un classement des dossiers selon un niveau de risque présumé.

Mais un indicateur n’est pas un fait. Il résulte d’un choix préalable : quels comportements observer, quelle période retenir, quel écart considérer comme anormal. Une personne dont la situation évolue rapidement sera davantage visible qu’un allocataire au parcours stable. Les événements les plus courants dans les existences précaires — hébergement temporaire, emplois discontinus, séparation ou aide financière familiale — peuvent alors être interprétés comme des anomalies.

Le problème ne tient pas uniquement à la qualité des données. Il concerne aussi leur absence. Les fichiers administratifs décrivent mal les situations informelles, les ruptures de logement ou les démarches interrompues. Un système qui ne voit pas une réalité peut néanmoins produire une alerte avec une grande assurance.

La sous-traitance brouille la chaîne de décision

Les administrations développent rarement seules les outils qu’elles utilisent. Des sociétés informatiques interviennent dans la conception, l’intégration, la maintenance ou l’analyse des performances. Les marchés publics détaillent les fonctionnalités attendues, mais restent souvent discrets sur les paramètres précis, les jeux de données d’entraînement et les méthodes de pondération.

Cette opacité est renforcée par le secret industriel. Une collectivité ou un organisme social peut connaître le résultat d’un traitement sans être en mesure d’expliquer chaque étape de son calcul. Le prestataire, lui, invoque la confidentialité de son savoir-faire. Entre les deux, l’agent chargé de recevoir le public doit parfois justifier une décision qu’il n’a pas prise et dont il ne maîtrise pas les ressorts.

• Qui choisit les données intégrées au système ?
• Qui vérifie que les résultats ne défavorisent pas certains profils sociaux ?
• Qui corrige une erreur lorsque la décision a été répercutée dans plusieurs fichiers ?
• Qui publie les résultats des contrôles et mesure les faux positifs ?

Ces questions ne sont pas théoriques. Une suspension d’allocation peut provoquer des impayés, interrompre un parcours de soins ou faire basculer un foyer dans l’endettement. Même lorsque la décision finale revient officiellement à un agent, la pression du classement algorithmique peut orienter son attention et réduire le temps consacré aux explications.

Le contrôle existe, mais arrive souvent trop tard

Les organismes publics disposent de procédures de recours, de référents internes et d’autorités chargées de la protection des données. Des audits peuvent également être commandés. Pourtant, ces garde-fous interviennent fréquemment après le déploiement du dispositif, lorsque ses effets sont déjà dispersés dans des milliers de dossiers.

Pour contester une décision, l’allocataire doit d’abord comprendre qu’un traitement automatisé a joué un rôle. Or la notification reçue mentionne rarement la logique complète du ciblage. Elle indique un montant modifié ou demande des justificatifs, sans préciser pourquoi le dossier a été sélectionné. L’accès aux données personnelles ne suffit pas toujours : il faut encore obtenir une explication intelligible et la possibilité de faire corriger le raisonnement.

Le contrôle démocratique suppose donc davantage qu’une conformité juridique. Il exige la publication régulière de données agrégées sur les contrôles, les erreurs et les recours, ainsi qu’une évaluation indépendante des effets sociaux. Il devrait aussi inclure les agents de terrain et les personnes concernées, seuls à même de repérer certaines absurdités invisibles dans les tableaux de bord.

Ce que l’on peut exiger des pouvoirs publics

La transparence ne signifie pas nécessairement révéler le code source ligne par ligne. Elle impose en revanche de rendre compréhensibles les finalités, les catégories de données, les critères déterminants et les voies de contestation. Un outil utilisé pour décider de l’accès à un droit essentiel ne peut être traité comme une simple solution technique.

Trois exigences devraient s’imposer :

• La traçabilité : conserver l’historique des données et des interventions humaines ayant conduit à chaque décision.
• La contradiction : permettre à toute personne de connaître les éléments retenus contre elle et de présenter rapidement ses observations.
• L’évaluation publique : mesurer les erreurs, les disparités entre territoires et les conséquences des suspensions ou demandes de remboursement.

Au milieu de cette réflexion sur les systèmes automatisés, une comparaison s’impose avec d’autres secteurs où l’information façonne les décisions : préparer un séjour, comparer des quartiers ou vérifier la fiabilité d’un guide demande aussi de distinguer les données brutes des choix éditoriaux. C’est précisément le type de lecture critique que propose voyage-new-york.fr, en confrontant les promesses aux réalités observées sur le terrain.

Les algorithmes des aides sociales ne sont donc pas une fatalité technique. Ils sont des instruments politiques, parce qu’ils traduisent une certaine conception de la fraude, de la pauvreté et de la confiance accordée aux citoyens. Les contrôler revient à demander qui les a conçus, avec quelles priorités et au bénéfice de qui.

La réponse ne se trouve pas dans une salle informatique isolée. Elle se trouve dans les contrats, les arbitrages budgétaires, les instructions internes et les silences qui entourent les résultats. Pour suivre ces mécanismes cachés et nos autres enquêtes de terrain, découvrez la page d'accueil d'Ancrage Média.