AML-Bench-FR

1.1 Convergence réglementaire et technologique

Le paysage LCB-FT européen connaît une transformation structurelle. Le règlement européen AMLR, applicable au 10 juillet 2027, l'établissement de l'autorité européenne AMLA, et l'extension du périmètre des entités assujetties aux activités non-financières (agents immobiliers, professionnels du chiffre, marchands de biens précieux, prestataires de services sur actifs numériques) génèrent un besoin sans précédent en outils d'aide à la conformité. Simultanément, l'AI Act européen classe les systèmes d'IA déployés en compliance financière parmi les usages à haut risque, imposant des obligations d'évaluation, de documentation et de gestion des risques.

Cette double dynamique crée un appel d'air pour des solutions IA, mais aucune méthodologie de référence ne permet aujourd'hui à un acquéreur, un régulateur ou un auditeur d'évaluer objectivement les performances d'un système d'IA appliqué à la LCB-FT. Les benchmarks NLP généralistes (MMLU, BIG-bench) ne couvrent pas le domaine. Les benchmarks juridiques (LegalBench) restent ancrés en common law américain. Les benchmarks financiers (FinanceBench) couvrent l'analyse corporate, non la conformité réglementaire. Cette absence est un risque systémique : elle ouvre la porte à des déploiements d'IA non évalués sur des fonctions à fort enjeu juridique et opérationnel.

1.2 Positionnement

AML-Bench-FR vise à devenir le référentiel d'évaluation des systèmes d'IA — modèles de langage seuls et architectures RAG — sur les tâches de conformité LCB-FT en droit français et européen. Le projet poursuit trois objectifs simultanés :

Académique : produire un dataset et une méthodologie d'évaluation publiables, citables, reproductibles, contribuant à la littérature en NLP juridique et en évaluation des systèmes IA spécialisés.

Industriel : offrir aux éditeurs reg-tech, aux entités assujetties et à leurs auditeurs un outil de mesure objectif des performances et limites des systèmes IA en conformité.

Réglementaire : anticiper les attentes des autorités (ACPR, AMLA, autorités de marché) en matière d'évaluation d'IA à haut risque dans les fonctions de compliance, et fournir un cadre potentiellement adoptable comme référence supervisoire.

2.1 Benchmarks généralistes et spécialisés

Nous positionnons AML-Bench-FR par rapport aux principaux efforts d'évaluation existants :

• MMLU et MMLU-Pro (Hendrycks et al., 2020 ; Wang et al., 2024) — Couverture multi-domaine large, format QCM. Limites documentées : saturation par les modèles frontières, contamination probable des données d'entraînement, faible profondeur de raisonnement.
• GPQA (Rein et al., 2023) — Questions de niveau doctoral en sciences naturelles, conçues pour résister à la recherche web. Méthodologie de validation experte contradictoire à laquelle ce projet emprunte explicitement.
• LegalBench (Guha et al., 2023) — 162 tâches juridiques, taxonomie IRAC, construction collaborative par juristes. Référence structurelle pour AML-Bench-FR, mais ancrage common law et absence de couverture LCB-FT.
• FinanceBench (Islam et al., 2023) — Questions sur documents 10-K, approche evidence-based avec passages sources annotés. Inspiration pour la traçabilité documentaire mais hors scope LCB-FT.
• HELM (Liang et al., 2022, Stanford CRFM) — Framework d'évaluation holistique : accuracy, calibration, robustness, fairness, bias, toxicity, efficiency. Cadre méthodologique pour la définition de métriques au-delà de l'accuracy.
• TruthfulQA (Lin et al., 2021) — Détection des idées reçues et confabulations. Pertinent pour les misconceptions LCB-FT (seuils, exemptions, périmètre d'obligations).

2.2 Benchmarks RAG

RGB (Chen et al., 2023) et CRAG (Yang et al., Meta 2024) évaluent les systèmes RAG sur quatre capacités : robustesse au bruit (passages non pertinents dans le contexte), rejet négatif (capacité à refuser quand la réponse n'est pas dans le contexte), intégration d'information (synthèse multi-documents), robustesse contrefactuelle (résistance à des informations erronées dans le contexte). Ces axes sont directement pertinents pour évaluer un système de conformité où une hallucination peut entraîner un risque juridique réel. Ragas (Es et al., 2023) propose un ensemble de métriques opérationnelles : faithfulness, answer relevancy, context precision, context recall.

2.3 Lacune identifiée

À la connaissance des auteurs, aucun benchmark public n'évalue les systèmes d'IA sur les tâches de conformité LCB-FT en droit français ou européen. Les seuls travaux proches portent sur la détection d'opérations suspectes par apprentissage supervisé sur données transactionnelles, ce qui relève d'une problématique distincte (classification structurée, non raisonnement réglementaire). AML-Bench-FR vise à combler cette lacune en construisant un référentiel rigoureux, multi-tâches, évalué et maintenu.

Le benchmark structure l'évaluation autour de sept capacités cognitives distinctes, chacune correspondant à un type de raisonnement mobilisé par un professionnel LCB-FT. Une question peut être taggée sur plusieurs capacités.

3.1 Stratification croisée

Chaque entrée du dataset est en outre stratifiée selon quatre dimensions transverses, permettant des analyses de performance ciblées.

• Type d'entité assujettie. Établissement de crédit, établissement de paiement, agent immobilier, notaire, expert-comptable, marchand de biens précieux (or, pierres, art), PSAN/CASP. Les obligations varient substantiellement entre ces catégories.
• Juridiction. Droit français (Code monétaire et financier, livre V titre VI), droit européen (AMLD 4/5/6, AMLR), normes internationales (recommandations GAFI, FATF). Permet de mesurer la confusion inter-régimes.
• Temporalité. Régime actuel vs régime AMLR (entrée en vigueur juillet 2027). Mesure la capacité d'anticipation du modèle.
• Difficulté. Calibrée empiriquement (cf. § 4.6), non auto-déclarée. Trois niveaux : easy (recall direct), medium (raisonnement à un ou deux sauts), hard (zones grises, jurisprudence Commission des sanctions, articulation de normes).

La rigueur méthodologique de construction conditionne la valeur du benchmark. Six principes structurent le processus.

Le format QCM, dominant dans MMLU, présente des limites connues : saturation rapide, vulnérabilité au biais de position, faible discrimination sur le raisonnement long. AML-Bench-FR adopte une diversité de formats.

• QCM 4-5 options avec distracteurs plausibles. Principalement pour les capacités A et F.
• Réponses ouvertes courtes. Notées par exact match ou expression régulière (seuils numériques, délais, références d'articles).
• Réponses ouvertes longues. Notées par rubrique structurée et juge LLM calibré sur annotations humaines.
• Classification multi-label. (« parmi ces 12 obligations, lesquelles s'appliquent à ce cas ? ») évaluée par F1-score.
• Ranking. Ordonnancement de red flags par criticité, évalué par tau de Kendall.
• Génération structurée. Production d'une fiche KYC, d'une trame de déclaration de soupçon, évaluée par rubrique de complétude.
• Tâches de refus. Questions où la bonne réponse est l'expression d'incertitude ou le renvoi vers une expertise humaine. Mesure spécifique du taux de fausse confiance.
• Tâches contrefactuelles. Modification d'un seul élément du cas, le modèle doit détecter le changement de réponse.

Conformément à l'esprit du framework HELM, l'évaluation est holistique et ne se réduit pas à l'accuracy.

• Accuracy. Ventilée par capacité, par type d'entité assujettie, par niveau de difficulté, par juridiction.
• Calibration (ECE). Expected Calibration Error. Le modèle est invité à exprimer sa confiance ; on vérifie l'adéquation entre confiance déclarée et taux de bonnes réponses. Métrique critique : un système sur-confiant en compliance est dangereux.
• Faithfulness / hallucination rate. Proportion de claims dans la réponse non supportés par le contexte fourni au modèle (mesure inspirée de Ragas).
• Citation accuracy. Lorsque le modèle cite une référence (article du Code monétaire et financier, ligne directrice ACPR), vérification automatique de la validité de la citation.
• Refusal appropriateness. Matrice de confusion sur les questions à refus attendu : refus correct, sur-refus (refus injustifié), sur-confiance (réponse alors qu'un refus était attendu).
• Robustness. Variance des réponses sous perturbations contrôlées (paraphrase de la question, permutation de l'ordre des options QCM, ajout de bruit dans le contexte RAG).
• Self-consistency. Taux d'accord avec soi-même sur n=5 runs à température non nulle.
• Métriques RAG dédiées. Context Precision et Context Recall (Ragas) pour distinguer les erreurs de retrieval des erreurs de génération.
• Coût et latence. Dimensions opérationnelles pertinentes pour l'usage produit.

Pour garantir la reproductibilité et la comparabilité inter-modèles, le protocole d'évaluation est strictement standardisé.

• Few-shot uniforme : évaluations en 0-shot, 3-shot, 5-shot avec exemples identiques pour tous les modèles.
• Templates de prompt figés et publiés. Les ajustements de prompt sont autorisés en mode sandbox mais ne sont pas pris en compte dans le leaderboard officiel.
• Seeds fixes et températures reportées (T=0 pour le score officiel, T=0,7 pour la mesure de variance).
• Multiplicité des runs : n=3 minimum, moyennes et écarts-types reportés.
• Baseline humaine : un sous-ensemble représentatif est traité par un panel de praticiens LCB-FT.
• Baselines triviales : random et majority pour les tâches de classification, afin d'objectiver la valeur ajoutée des modèles.

8.1 Documentation. Le projet adopte les standards documentaires de la communauté ML-éthique : Datasheet for Datasets (Gebru et al., 2018) pour le dataset, Model Cards (Mitchell et al., 2019) pour chaque modèle évalué et publié sur le leaderboard. Cette documentation couvre la motivation, la composition, le processus de collecte, les biais connus, les usages recommandés et déconseillés.

8.2 Licence et accès. La partie publique du dataset est publiée sous licence CC-BY 4.0. Le held-out reste sous EULA stricte, accessible uniquement via une API d'évaluation. Cette dichotomie protège la valeur diagnostique tout en favorisant l'adoption.

8.3 Leaderboard et soumission. Un leaderboard public est hébergé sur l'infrastructure Hugging Face Spaces. Les soumissions sont effectuées via API, avec exécution sur l'environnement contrôlé du held-out. Les résultats incluent les scores ventilés par capacité, type d'entité, difficulté et les indicateurs de calibration et de fidélité.

8.4 Publication scientifique. Un article décrivant la méthodologie, le dataset et les résultats initiaux est rédigé en parallèle de la construction du benchmark, avec un dépôt sur arXiv puis une soumission cible à un workshop NLP-Law (NLLP, Jurix) ou aux findings d'une conférence de référence (ACL, EMNLP). Une co-auteurship académique avec un laboratoire de NLP juridique est recherchée.

8.5 Maintenance. Le benchmark est versionné selon un schéma sémantique. Une rotation partielle des questions est effectuée à chaque version mineure ; une refonte taxonomique est envisagée à chaque version majeure. Le projet vise une cadence semestrielle de mise à jour, conditionnée à l'évolution réglementaire (notamment AMLR à compter de juillet 2027).

Quatre phases, du cadrage à la diffusion continue.

Trois catégories de risques sont identifiées et font l'objet de stratégies d'atténuation.

• Risque méthodologique. Une taxonomie imparfaite ou un sourcing partiel biaiseraient les conclusions. Atténuation : validation contradictoire experte, mesure formelle d'inter-annotator agreement, ouverture du processus à la revue par les pairs académique et professionnelle.
• Risque de contamination et d'obsolescence. La diffusion publique érode la valeur diagnostique. Atténuation : held-out privé, canary strings, rotation versionnée. L'évolution réglementaire (AMLR 2027) impose en outre une maintenance active.
• Risque d'instrumentalisation. Un benchmark peut être utilisé pour justifier abusivement le déploiement d'un système IA en production critique. Atténuation : la documentation insiste explicitement sur le fait que le benchmark mesure des capacités circonscrites et ne constitue ni une certification, ni une garantie de conformité opérationnelle. Une section « usages déconseillés » est intégrée à la datasheet.

AML-Bench-FR se positionne à l'intersection d'un besoin réglementaire émergent, d'une lacune scientifique avérée et d'une opportunité industrielle réelle. La construction d'un référentiel d'évaluation rigoureux des systèmes d'IA en compliance LCB-FT constitue un actif stratégique pour la communauté reg-tech francophone et européenne, et une contribution scientifique de niveau publication.

Le projet recherche dès la phase 0 des collaborations dans trois directions : (i) un partenariat académique avec un laboratoire de NLP juridique pour la co-auteurship scientifique, (ii) un panel d'experts LCB-FT praticiens pour l'annotation contradictoire, (iii) un dialogue avec les autorités (ACPR, AMLA) pour aligner le benchmark sur les futures attentes supervisoires en matière d'IA à haut risque dans la compliance.

Références indicatives citées dans ce position paper.

• Chen, J. et al. (2023). Benchmarking Large Language Models in Retrieval-Augmented Generation. arXiv preprint.arXiv:2309.01431
• Es, S. et al. (2023). RAGAS: Automated Evaluation of Retrieval Augmented Generation. arXiv preprint.arXiv:2309.15217
• Gebru, T. et al. (2018). Datasheets for Datasets. arXiv preprint.arXiv:1803.09010
• Guha, N. et al. (2023). LegalBench: A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models. arXiv preprint.arXiv:2308.11462
• Hendrycks, D. et al. (2020). Measuring Massive Multitask Language Understanding. arXiv preprint.arXiv:2009.03300
• Islam, P. et al. (2023). FinanceBench: A New Benchmark for Financial Question Answering. arXiv preprint.arXiv:2311.11944
• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv preprint.arXiv:2211.09110
• Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv preprint.arXiv:2109.07958
• Mitchell, M. et al. (2019). Model Cards for Model Reporting. arXiv preprint.arXiv:1810.03993
• Rein, D. et al. (2023). GPQA: A Graduate-Level Google-Proof Q&A Benchmark. arXiv preprint.arXiv:2311.12022
• Yang, X. et al. (2024). CRAG — Comprehensive RAG Benchmark. Meta AI.

Sources institutionnelles

Code monétaire et financier (livre V, titre VI) ; Directives AMLD 4/5/6 ; Règlement AMLR ; Lignes directrices ACPR et TRACFIN ; Recommandations GAFI/FATF ; Décisions de la Commission des sanctions ACPR ; Rapports annuels TRACFIN.

Pour référencer AML-Bench-FR dans un travail académique, merci d'utiliser l'entrée BibTeX suivante. La version publiée passera à une référence CEUR ou arXiv une fois soumise.

@misc{aml-bench-fr-2026,
  title        = {AML-Bench-FR: Toward a Benchmark for
                  Evaluating Generative-AI Systems on AML-CTF
                  Compliance under French and European Law},
  author       = {{AML-Bench-FR Project}},
  year         = {2026},
  howpublished = {Position paper v0.1},
  url          = {https://lutteblanchiment.fr/research/aml-bench-fr},
  note         = {Working draft, open for collaboration}
}