Les jeux de données
- arene-reponses.jsonl (9.5 Mo)
Toutes les réponses des IA : questions, réponse complète, sources citées, notes et justifications, coût. Une ligne JSON par appel. - arene-notes.csv (0.1 Mo)
Volet A : les notes par critère, pour chaque candidat, chaque IA et chaque passage (colonne « volet »). - dossier-notes.csv (0.1 Mo)
Volet B : les notes par critère du dossier vérifié, pour chaque candidat, chaque IA et chaque passage, avec les refus et leur motif. - dossier-reponses.jsonl (1.2 Mo)
Volet B : toutes les notations et justifications des IA sur le dossier. Une ligne JSON par appel. - dossier-textes.json (0.2 Mo)
Volet B : le texte exact du dossier que les IA ont lu, pour chaque candidat. - ecart-a-b.csv (0.0 Mo)
L'écart A − B pour chaque candidat et chaque IA, et au global (médianes). - arene-synthese.csv (0.0 Mo)
La synthèse par candidat : médiane de chaque IA, moyenne, écart. - candidats-citations.csv (0.2 Mo)
Toutes les citations collectées sur l'IA, avec date, média, lien et thèmes. - controle-loupe.csv (0.0 Mo)
Le contrôle Loupe : chaque proposition qu'une IA attribue à un candidat, et si la Loupe la retrouve dans ses propos (avec les numéros des citations). - candidats-matiere.json (6.6 Mo)
Les fiches complètes des candidats : statut, site, programme, comptes officiels, citations, incertitudes. - couts-appels.csv (0.2 Mo)
Le coût de chaque appel aux IA : modèle, mots-jetons lus et écrits, recherches web, montant. - methode.json (0.0 Mo)
Les questions, la consigne de notation (volets A et B), les critères et leurs poids, les IA interrogées.
Les fichiers CSV utilisent le point-virgule et s'ouvrent directement dans Excel. Nous ne republions pas les pages et documents des candidats ni les articles de presse : chaque citation renvoie à sa source.
Ce que la mesure nous a coûté
Montants réels, relevés appel par appel sur la plateforme Lamalo qui interroge les IA, au tarif de chaque fournisseur. 594 séries de questions pour la vague 1 (33 candidats × 6 IA ou versions × 3 passages), chacune suivie d'une notation.
| IA | Notes | Recherches web | Mots-jetons lus | Coût | Par note |
| ChatGPT | 99 | 787 | 7,2 M | 25,52 $ | 0,26 $ |
|---|
| Claude | 99 | 2 414 | 30,3 M | 92,34 $ | 0,93 $ |
|---|
| Gemini | 54 | 748 | 0,3 M | 14,24 $ | 0,26 $ |
|---|
| Qwen lecteur | 90 | 0 | 1,2 M | 1,64 € | 0,02 € |
|---|
| Qwen | 84 | 0 | 0,4 M | 1,06 € | 0,01 € |
|---|
| Total de la mesure | | | | 132,09 $ + 2,70 € | |
|---|
- Pourquoi Claude coûte plus cher : il lance beaucoup plus de recherches web et relit beaucoup plus de pages avant de répondre. Ce n'est pas un défaut de mesure, c'est sa façon de travailler.
- Contrôle Loupe (0 relevés, une IA qui compare chaque réponse aux citations) : 0,00 $.
- Mesures hors vague (remesures du 26/10, non publiées comme notes, présentes dans les données) : comprises dans le fichier des coûts.
- Essais préparatoires mesurés (pilote sur un candidat, essais de Grok) : 1,77 $ + 1,48 €.
- Non mesuré précisément : un tout premier essai sur 3 candidats, lancé avant que nous relevions les coûts (environ 6 $ estimés), et quelques appels de test d'une ligne (quelques centimes).
- La collecte des citations a été faite par des agents d'IA (Claude Code), dans le cadre d'un abonnement : environ 1,3 million de mots-jetons, sans facturation à l'appel.
- Les appels refusés par un fournisseur surchargé (11 chez Mistral) ont été relancés ; seuls les appels aboutis figurent ici.