Police prédictive : la prédiction des banalités

Depuis 2011, l'enthousiasme autour de Predpol, le logiciel de police prédictive américain, électrise la terre entière. Son algorithme secret, toujours comparé aux précogs de Minority Report, c'est-à-dire à une forme de perception extra-sensorielle, semble tenir plus de la magie que de la science, comme si les mathématiques étaient miraculeuses. La société, elle, affiche partout des résultats là où sa technologie est déployée - à savoir si l'on en croit le site de Predpol, une petite dizaine de villes américaines pour l'instant, Los Angeles et Atlanta étant les plus importantes - : une baisse de la criminalité de 10 à 30% selon le type de crimes.

Pourtant, on trouve peu d'études critiques sur les résultats mêmes de Predpol. Notamment parce que si la société communique beaucoup, elle livre bien peu de données. Comme si son algorithme secret devait être parfait parce que secret.

D'où l'idée d'Ismaël Benslimane, qui dans le cadre d'un master en physique à l’université Joseph-Fourier de Grenoble et en tant que membre du CorteX, un collectif d'enseignement et de recherche en esprit critique, de s'attaquer aux résultats mêmes de Predpol - Cortex est une association de chercheurs qui cherche à créer du débat public par l'analyse critique et scientifique.

[...]

Les biais de la mesure de la criminalité

Tout d'abord, ne sont comptés que les crimes et délits constatés. Il suffit donc d'un changement dans les procédures d'enregistrement pour faire varier les chiffres. Or, Predpol est aussi et d'abord un outil d'enregistrement et de classification des délits. Ce qui pose la question des types de délits enregistrés et de ceux utilisés pour l'évaluation et la prédiction, ainsi bien sûr que leur géolocalisation. Si Predpol est efficace là où il est déployé, que sait-on de l'augmentation de la criminalité dans les quartiers où il n'est pas présent ? Comme le montrent plusieurs études sur les caméras de surveillance (voir notamment les enquêtes de Jean-Marc Manach), Predpol ne risque-t-il pas avant tout de déplacer la criminalité ?

Autre problème comment valide-t-on l'efficacité du logiciel ?

Visiblement, comme le souligne l'exemple, Predpol gagne à tous les coups !

Enfin, l'usage de Predpol repose sur l'augmentation des patrouilles de police, ce qui a pour effet logique de diminuer la criminalité. Cette diminution est-elle alors le fait du logiciel ou de l'augmentation du nombre de patrouilles ?

Ces biais signalés, intéressons-nous maintenant à la démonstration : http://internetactu....-des-banalites/

Je dirais qu'ils font de leur mieux contre le délit de non assistance à personne en danger.

Les biais de la mesure de la criminalité

Tout d'abord, ne sont comptés que les crimes et délits constatés. Il suffit donc d'un changement dans les procédures d'enregistrement pour faire varier les chiffres. Or, Predpol est aussi et d'abord un outil d'enregistrement et de classification des délits. Ce qui pose la question des types de délits enregistrés et de ceux utilisés pour l'évaluation et la prédiction, ainsi bien sûr que leur géolocalisation. Si Predpol est efficace là où il est déployé, que sait-on de l'augmentation de la criminalité dans les quartiers où il n'est pas présent ? Comme le montrent plusieurs études sur les caméras de surveillance (voir notamment les enquêtes de Jean-Marc Manach), Predpol ne risque-t-il pas avant tout de déplacer la criminalité ?

Autre problème comment valide-t-on l'efficacité du logiciel ?

Imaginons un policier, en pause, en train de manger un donut gras et collant dans sa voiture, l’ordinateur signale une zone à risque :

1. il va sur les lieux, il remet le donut à plus tard :

A. il y a un délit qui se produit, le policier valide donc la prédiction du logiciel.

B. il n’y a pas de délit, le policier valide aussi la prédiction du logiciel, car il a empêché tout incident.

2. il ne va pas sur les lieux, il finit son donut :

A. Il y a eu un de délit, le policier apprend la nouvelle, il validera la prédiction du logiciel, car il aurait dû finir son donut et se déplacer.

Il n’y a pas eu de délit, le policier finira son énième donut et oubliera l’événement, car personne ne lui rappellera qu’il n’y a pas eu de délit."

Visiblement, comme le souligne l'exemple, Predpol gagne à tous les coups !

Ce biais est très connu : c'est l'effet Barnum, tout bêtement. C'est le même procédé qui oeuvre chez... les astrologues et autres "métiers" prédisant l'avenir. PredPol n'échappe pas à la règle, malgré son aspect prétendument scientifique. :D

On peut ajouter à ça l'effet paillasson : le logiciel prédit un délit mais pas le type de délit visiblement, ce qui laisse le loisir de choisir le délit qu'une fois ce dernier constater, faisant que le logiciel n'aura pratiquement jamais tort.

Ou comment vendre une daube en la faisant passer pour une révolution soi-disant scientifique...

Le principe du rasoir d'Ockham (sous logiciel ici) "les hypothèses les plus simples sont les plus vraisemblables) , mais on connait depuis longtemps (études de Palo Alto, ça m'étonne que Grenoble, qui s'est longtemps appuyé sur des types comme Bateson persiste là-dedans) l'emballement et la rupture d'un tel système.

Cela me rappelle une polémique récente liée au "CrimeMapping" aux Etats-Unis et à Londres. Comme son nom l'indique, cette pratique consistait à matérialiser sous forme de carte les données liées à la criminalité, les maires s'en servaient comme argument électoral, arguant d'une baisse de la criminalité dans certains quartiers grâce à la soi-disant efficacité accrue des policiers aidés par leur CrimeMap.

On s'est vite rendu compte que le problème était la méthode employée pour comptabiliser ces crimes, comme pour Predpol. En effet seuls meurtres et cambriolages étaient relevés, les données étaient "mappées" au niveau du commissariat et non là où l'acte avait eu lieu, etc.

Au final cette pseudo-carte reflétait la densité de population (qui a fortiori engendre plus de crimes) et non de véritable zones où la criminalité était plus forte par rapport à une densité de population équivalent. Une question persiste: le pragmatisme est-il soluble dans le réductionnisme ? Vouloir simplifier/synthétiser une situation aussi complexe qu'est le crime et la criminalité, qu'il faudrait au contraire analyser/disséquer, c'est effacer le problème et le cacher sous le paillasson.

Je cherche de l'info sur PredPol sur le web et c'est plustot vague à savoir comment ça fonctionne. Donc, c'est surement du scam similaire au t-1000 et au voiture google autonome: Des technologie promis et fictionnelle qui existerons jamais et qui se vendent bien à des gens moins intelligent ou ignorant.