Les limites des méthodes actuelles d’évaluation
Durant le printemps 2015, le Cerema a évalué pour la première fois en Europe un capteur externalisé du nombre d’occupants dans les véhicules. Cette première expérimentation a suscité l’intérêt d'autres industriels, qui ont ensuite commandé de nouvelles évaluations.
À première vue, le comptage des occupants semble simple : il suffirait d’établir une référence fiable (souvent humaine) pour ensuite comparer les résultats fournis par le système testé. Mais ce principe, en apparence évident, révèle rapidement des difficultés méthodologiques majeures.
Afin d’illustrer clairement ces difficultés, prenons deux exemples fictifs représentés par des matrices que nous utilisons habituellement dans nos évaluations. Ces matrices permettent de confronter directement les données issues de la référence terrain (sur l'axe vertical) aux résultats fournis par le système industriel évalué (sur l'axe horizontal). Chaque véhicule qui passe devant le capteur vient alimenter cette matrice en fonction de la réalité terrain observée et du comptage du capteur testé.
Quatre situations peuvent ainsi se présenter :
- Si un véhicule est classé comme autosoliste (un seul occupant) par la référence, et que le système de comptage détecte correctement un seul occupant, il incrémente la case en haut à gauche, appelée Vrai Positif (VP).
- Si ce même véhicule autosoliste est mal identifié par le capteur (qui détecte plusieurs occupants), cela constitue une erreur, et la case en haut à droite, appelée Faux Négatif (FN), est incrémentée.
- Inversement, si un véhicule est classé comme covoitureur (plusieurs occupants) par la référence mais que le capteur le considère à tort comme autosoliste, cette erreur incrémente la case en bas à gauche, appelée Faux Positif (FP).
- Enfin, si un véhicule covoitureur est correctement identifié par le capteur comme tel, la case en bas à droite, appelée Vrai Négatif (VN), est incrémentée.
Ces matrices permettent donc une analyse approfondie des performances des capteurs évalués, en quantifiant précisément les erreurs de classification et en facilitant ainsi la compréhension des points forts et des limites des technologies testées.
|
| Evaluation industriel | |
|
| Autosoliste | Covoitureurs |
Evaluation Référence | Autosoliste | 450 | 50 |
Covoitureurs | 4 | 16 | |
Précision du système : 90 %
|
| Evaluation industriel | |
|
| Autosoliste | Covoitureurs |
Evaluation Référence | Autosoliste | 90 | 10 |
Covoitureurs | 20 | 80 | |
Précision du système : 85 %
Les deux tableaux précédents illustrent concrètement l'utilisation des matrices de confusion, en mettant en lumière les performances distinctes de deux systèmes industriels évalués.
Tableau 1 :
Parmi les véhicules certifiés comme autosolistes par la référence (soit un seul occupant réel), le système industriel en identifie correctement 450, correspondant ainsi à 450 Vrais Positifs (VP). En revanche, 50 véhicules autosolistes ont été incorrectement identifiés comme covoitureurs, représentant 50 Faux Négatifs (FN).
Concernant les véhicules réellement covoitureurs, le système industriel en identifie correctement 16 (Vrais Négatifs - VN), mais commet 4 erreurs, classant à tort 4 véhicules covoitureurs comme autosolistes (Faux Positifs - FP).
La précision globale de ce premier système est donc de 90 %, ce qui indique une performance élevée.
Tableau 2 :
Dans ce second exemple, parmi les véhicules autosolistes, le système industriel identifie correctement 90 cas (VP), mais fait 10 erreurs en classant incorrectement des autosolistes comme covoitureurs (FN).
Pour les véhicules covoitureurs réels, le système détecte correctement 80 cas (VN), mais se trompe 20 fois en les classant à tort comme autosolistes (FP).
La précision globale du second système s'établit à 85 %, révélant une performance moindre par rapport au premier système.
Ces deux tableaux proviennent d'une même expérience fictive, mais reposent sur deux approches méthodologiques distinctes. Le premier tableau correspond à une situation où le trafic est largement dominé par les autosolistes, tandis que le second illustre des résultats basés sur un échantillon normalisé, c'est-à-dire comportant autant d'autosolistes que de covoitureurs (100 de chaque). Cette variation méthodologique entraîne une différence apparente notable des performances, alors même que le système évalué est rigoureusement identique. Ce constat souligne l'importance des choix méthodologiques dans l’interprétation des résultats et dans l’évaluation objective des technologies de comptage.
Ce cas met en lumière une limite majeure aux évaluations : la forte dépendance des résultats à la répartition du trafic entre autosolistes et covoitureurs. Lorsque les autosolistes sont majoritaires, le système apparaît artificiellement plus performant, car il détecte plus facilement les cas simples. À l’inverse, une part importante de covoitureurs augmente mécaniquement la complexité de la détection et fait apparaître davantage d’erreurs. Cette variabilité pose un problème particulier lors des campagnes d’expérimentation sur le terrain, qui peuvent être menées soit sur des voies réservées au covoiturage, soit sur des voies « classiques ». Selon le contexte choisi, la répartition du trafic peut fortement varier et fausser les résultats obtenus. D’où l’importance de concevoir une méthode d’évaluation indépendante de ces variations, afin d’assurer des résultats comparables et représentatifs, quel que soit le site ou la configuration de l’expérimentation.
Autre problématique importante : la gestion des véhicules dits "inclassables", c’est-à-dire ceux pour lesquels le système ne parvient pas à déterminer avec certitude le nombre d’occupants. Dans la majorité des évaluations industrielles actuelles, ces cas sont simplement exclus de l’analyse. Cette pratique a pour effet de masquer la part de l’information manquante, en ne rendant pas compte de la complexité réelle de l’exploitation du système. Or, dans un usage opérationnel, ces cas inclassables représentent une difficulté concrète pour l’opérateur, qui devra alors intervenir manuellement ou interpréter une image non concluante, avec une perte de temps et d’argent à la clé. Leur exclusion dans les résultats fausse donc la perception de la fiabilité du système et empêche d’estimer correctement la charge réelle liée à son utilisation sur le terrain.
Enfin, les résultats sont parfois présentés sans contextualisation claire : ni sur la méthode de calcul employée, ni sur la nature des données utilisées. Cette absence de transparence sur les conditions exactes des tests rend difficile l’interprétation des résultats. Sans cadre méthodologique commun, il devient impossible de comparer objectivement les performances des différents dispositifs. Cela ouvre la voie à des évaluations potentiellement biaisées, intentionnellement ou non, qui peuvent présenter un système sous un jour plus favorable qu’il ne l’est réellement, excluant de facto toute possibilité de reproductibilité ou comparabilité.
Face à ces constats, il apparaît indispensable de disposer d’une méthode d’évaluation fiable, reproductible et neutre, capable d’intégrer les incertitudes, de rester indépendante de la répartition du trafic observé, et de permettre une comparaison équitable entre tous les systèmes.
C’est précisément dans cette optique que le Cerema a conçu une nouvelle méthodologie d’évaluation.
Une approche innovante développée par le Cerema
Pour répondre aux limites méthodologiques identifiées dans les évaluations existantes, le Cerema a conçu une approche rigoureuse, transparente et pensée dès l’origine pour permettre la comparaison entre systèmes, indépendamment du contexte d’expérimentation.
Des outils statistiques robustes : fiabiliser l’interprétation
Pour l’analyse des résultats, le Cerema privilégie la méthode de Wilson pour le calcul des intervalles de confiance sur les proportions. Ce choix repose sur sa capacité à fournir des estimations plus précises, même pour des effectifs d’échantillons modérés, par rapport à des approches classiques. Cette rigueur statistique permet de répondre à des questions essentielles : par exemple, un système affichant 90 % de précision est-il réellement meilleur qu’un autre à 88 %, ou cette différence est-elle due aux fluctuations statistiques ?
Grâce à cette approche, les comparaisons entre dispositifs peuvent intégrer les incertitudes, ce qui est indispensable lorsque les performances sont proches.
Prise en compte explicite de l’incertitude : taux de visibilité
La méthode introduit également le taux de visibilité, un indicateur qui correspond à la proportion de véhicules classables parmi l’ensemble des véhicules observés. Cet indicateur permet de quantifier la fiabilité globale d’une expérimentation, en incluant les cas inclassables dans l’analyse. Un taux de visibilité élevé témoigne d’une bonne capacité du système à produire des résultats exploitables dans un contexte réel. À l’inverse, un taux plus faible signale une perte potentielle d’efficacité opérationnelle : lors de son utilisation, l’opérateur pourrait être confronté à de nombreux cas incertains.
Un indicateur global : le SCORE
Enfin, pour synthétiser les performances d’un système tout en conservant leur complexité, le Cerema a développé un indicateur composite appelé SCORE. Celui-ci agrège plusieurs dimensions : qualité de la détection, précision des vrais positifs et maîtrise des faux positifs. Ce SCORE peut être modulé en fonction des cas d’usage (voie réservée, barrière, contrôle ponctuel…), offrant adaptabilité d’interprétation selon les cas d’usage.
Une méthode qui s’approche de celle utilisée pour des homologations de systèmes
La méthode intègre désormais le classement des résultats selon des classes d’exactitude pour les principaux indicateurs. Cette approche s’inspire directement de pratiques déjà en place dans le domaine du trafic routier, notamment à travers les normes NF P 99-300 et NF P 99-330.
L’objectif est de proposer un cadre clair pour la lecture des résultats comme cela se fait déjà pour d’autres équipements liés à la régulation du trafic.
Cette orientation a d’ailleurs été présentée au Laboratoire national de métrologie et d’essais (LNE) en décembre 2024, dans une logique de coopération avec les acteurs du secteur. Elle marque une étape importante vers la formalisation d’une méthode.
Une méthodologie reproductible et comparable
Tous les éléments de calcul, protocoles et définitions sont systématiquement décrits lors des expérimentations. Un tableau fourni permet de refaire ou comprendre les mêmes calculs. Cette transparence garantit la reproductibilité des évaluations dans d’autres contextes et permet une comparabilité fiable entre les systèmes testés, objectif essentiel dans la perspective d’une future standardisation.
Une méthode robuste, au service de l’évaluation et de l’avenir du comptage
Avec la méthode développée par le Cerema, l’enjeu n’est pas seulement de mesurer la performance d’un système de comptage à un instant donné. Il s’agit de proposer un cadre méthodologique solide, pensé pour durer, capable de garantir des évaluations justes, reproductibles et comparables.
Cette méthode a été conçue dès l’origine avec l’exigence d’une transparence totale : protocole clairement défini, indicateurs robustes, prise en compte des incertitudes, traitement explicite des cas inclassables… Autant d’éléments qui permettent de restituer une vision fidèle des performances d’un dispositif dans des conditions réelles, sans masquer les limites.
Mais au-delà des résultats immédiats, cette démarche vise aussi plus loin. Le Cerema propose des outils et indicateurs qui pourraient être partagés par l’ensemble des acteurs : industriels, collectivités, autorités publiques. Dans un contexte où les systèmes de contrôle des voies réservées sont appelés à se multiplier, il devient essentiel de s’appuyer sur des évaluations indépendantes, rigoureuses et comparables. Elle peut aussi être une base de réflexion pour organiser des évaluations de capteurs sur d’autres objets (vélos…).
La méthode du Cerema se veut à la fois un outil opérationnel et un levier stratégique, au service d’une mobilité plus durable et plus équitable.