Banc d’essai : méthode, résultats et limites
Ce que nous avons mesuré le 2026-10-20, comment, et ce que cela ne montre pas. Nous gardons le verdict précédent à côté du nouveau.
Méthode
Le jeu de test (test2) compte 1 000 adresses françaises, mélange d’adresses propres et volontairement dégradées (abréviations, fautes, code postal absent, texte libre, ordre inversé, boîtes postales, lieux-dits, outre-mer). Il a été tiré avec une graine fixe, ne partage aucune adresse avec les jeux précédents, et a été gelé par son empreinte SHA-256 (9de1b2df…) avant toute passe.
Le critère a été choisi, et les règles de décision écrites et enregistrées dans un commit, avant la passe. Le jeu n’a servi qu’une fois, sans réglage ensuite. Il est désormais consommé : tout nouveau verdict demande un nouveau jeu et un protocole enregistré à nouveau.
Une erreur est une adresse sans réponse ou dont le point est à 50 m ou plus du point de référence. La réduction d’erreurs est un moins les erreurs d’Addrova divisées par celles de la BAN seule, comptées sur les mêmes 610 adresses bruitées. Les intervalles sont des intervalles bootstrap à 95 % sur 10 000 rééchantillonnages appariés.
Un faux positif confiant est une réponse acceptée (score brut d’au moins 0,76) fausse de plus que la tolérance de sa catégorie, ou située dans la mauvaise commune.
Résultats face aux règles fixées d’avance
| Critère | Résultat | Atteint |
|---|---|---|
| Réduction des erreurs sur les adresses bruitées d’au moins 50 % (estimation ponctuelle) | 56,4 % [33,3 ; 72,9] : 24 erreurs contre 55 pour la BAN seule | Oui |
| Faux positifs confiants d’au plus 1 % | 0,22 % (borne haute à 95 % : 0,80 %) | Oui |
| Latence p95 d’au plus 150 ms | 23 ms | Oui |
| Erreur de calibration (ECE) d’au plus 0,05 | 0,005 | Oui |
| Adresses propres : réussite ≥ 97 % et taux de réponse ≥ 99 % (complémentaire) | 100 % et 100 % | Oui |
Le critère « au plus 3 points sous le meilleur fournisseur commercial » n’a pas été évalué : aucune comparaison avec un fournisseur commercial n’a été faite.
Verdict : GO, hors toute comparaison avec Google
Selon les règles fixées d’avance, le résultat est un GO. L’estimation ponctuelle de la réduction d’erreurs dépasse 50 %, mais l’intervalle est large, de 33 % à 73 %, parce que la BAN seule fait peu d’erreurs sur ce jeu. Dans 75 % des rééchantillons, la réduction est d’au moins 50 %.
Nous ne prétendons pas qu’Addrova soit meilleur qu’un autre service. Nous donnons ces chiffres, sur ce jeu de test, face à la BAN seule.
Limites
- Le point de référence est le point de la BAN elle-même, ce qui biaise la comparaison en faveur de la BAN et des moteurs bâtis dessus.
- Un seul pays (la France). Les autres pays ne sont pas mesurés ici et n’ont aucun chiffre sur ce site.
- Aucune comparaison avec un fournisseur commercial : un GO ici est un GO hors de cette comparaison.
- La latence a été mesurée en local, une requête à la fois, sur une machine partagée : ce n’est pas un engagement de niveau de service.
- L’intervalle de la réduction est large quand la référence fait peu d’erreurs ; lisez l’intervalle, pas seulement l’estimation ponctuelle.
- Les rapports complets et le protocole sont dans le dossier de banc d’essai du projet ; leur publication n’est pas décidée. [À VÉRIFIER]
Historique : le premier verdict, 2026-10-19
La première mesure utilisait un autre jeu de test et un critère plus strict : un gain d’au moins 10 points sur les adresses bruitées. Le résultat était un PIVOT (zone grise) : le gain était de +7,7 points [+5,2 ; +10,2], et les faux positifs confiants de 13 sur 871 réponses acceptées, soit 1,49 %, au-dessus de l’objectif de 1 %.
Ce jeu de test a été consommé et son verdict reste tel qu’enregistré. La seconde mesure n’en est pas une relecture : elle utilise un jeu neuf, tiré avec une nouvelle graine, et un critère différent choisi ensuite (erreurs supprimées).
La suite
Étendre la mesure aux autres pays à mesure qu’ils sont ingérés, chacun avec son jeu gelé et son protocole enregistré, et ne faire de comparaison avec des fournisseurs commerciaux que si leurs conditions le permettent.