L'IA peut-elle préparer une note fiscale ? Ce que nous avons mesuré

Nous avons fait rédiger les six mêmes notes par Claude, avec et sans accès aux textes, puis nous les avons passées sur notre banc d'essai. Parmi les modèles extérieurs, seul Claude a été testé. Le livrable visé est un premier jet dont la recherche est faite, avec les règles applicables, les écritures proposées et, pour chaque texte cité, un lien vers la source ; l'auteur le vérifie, écritures et choix des comptes compris.

Ce qui fait la qualité d'une note, ce sont le corpus et la méthode, et les deux sont les nôtres. Quand Claude travaille sur le corpus de Luca Paper en suivant notre méthode (les consignes et les étapes de notre chaîne, un agent par cas), il obtient 7,83/10 sur 6 cas, sans défaut majeur, sur un passage. Notre chaîne de rédaction applique la même méthode à un modèle peu coûteux : 7,62/10 en moyenne sur quatre passages (de 7,17 à 7,83) ; ses meilleurs passages atteignent le score de Claude. Sans le corpus, Claude reste autour de 6/10, avec 6 ou 7 défauts majeurs sur six notes. Ces six cas sont nos cas de travail, sur lesquels notre chaîne et ses consignes ont été mises au point (voir les limites).

Le dispositif

• —
  Six cas de travail. Chaque cas est une demande de note comptable et fiscale française, rédigée puis figée par un agent IA distinct. Les personnes qui écrivent les consignes données au modèle de Luca Paper (les prompts) ne les lisent jamais.
• —
  Un correcteur automatique. Un modèle d'IA, Claude Opus, qui ne voit pas nos consignes et applique la même grille à toutes les notes. Chaque note reçoit un score sur 10 et un relevé de défauts : règle erronée, citation erronée, écriture comptable erronée, fait inventé, élément manquant, bruit interne (la note raconte le fonctionnement de l'outil), digression. Chaque défaut est classé majeur ou mineur. Toutes les notes du tableau ont été notées par la même version du correcteur, qui peut vérifier une citation dans le corpus (voir « Notre correcteur s'est trompé »).
• —
  Un passage par cas et par configuration de Claude, quatre pour notre chaîne (voir les limites).
• —
  Cinq configurations :

  1. la chaîne de rédaction de Luca Paper (production, versions du 1er au 11 octobre 2026, identiques pour la rédaction), sur le modèle DeepSeek v4.1-flash : elle cherche dans le corpus, lit les paragraphes, planifie, calcule et rédige en plusieurs étapes ;
  2. Claude Sonnet 5 avec le corpus de Luca Paper et notre méthode. Il accède au corpus par notre connecteur pour Claude (MCP), qui lui donne la recherche dans le corpus, la lecture des paragraphes et le moteur de calcul. Chaque cas est confié à un agent Claude distinct, qui reçoit les consignes de notre chaîne et en suit les étapes une à une : cadrage, recherche, plan, rédaction ;
  3. Claude Sonnet 5 avec recherche internet, en un seul appel ;
  4. Claude Sonnet 5 avec recherche internet et trois relectures : il relit et corrige trois fois sa propre note ;
  5. Claude Sonnet 5 sans outils, en un seul appel.

Le corpus, dans son état au 1er octobre 2026, réunit des textes comptables et fiscaux français, dont, côté comptable, le PCG (plan comptable général), les règlements de l'ANC (Autorité des normes comptables) et le Code de commerce et, côté fiscal, le BOFiP (Bulletin officiel des finances publiques-Impôts), le CGI (Code général des impôts), le CIBS (Code des impositions sur les biens et services) et le LPF (Livre des procédures fiscales).

Les résultats

Une erreur de recherche majeure est une règle erronée, une citation erronée, un élément manquant ou un fait inventé, classé majeur : la recherche est ce qu'on attend d'abord d'un collaborateur. Avec le corpus et notre méthode, Claude n'en a aucune sur 6 notes et notre chaîne 2 sur 24. Sans le corpus, Claude en compte de 0 à 3 sur 6 selon la configuration, et ses notes portent bien plus de défauts majeurs.

Ce que cela montre

Le 7,83 a été obtenu avec le corpus et notre méthode ensemble : Claude était branché sur le corpus et suivait aussi, cas par cas, les consignes et les étapes de notre chaîne (voir les limites). Sans le corpus, le même Claude reste autour de 6 (de 6,0 à 6,17), avec 6 ou 7 défauts majeurs sur six notes. Le corpus et la méthode lui font gagner près de deux points ; sur ce passage, il n'a aucun défaut majeur.

Notre chaîne applique cette méthode avec un modèle bien moins coûteux, DeepSeek. Sur ses quatre passages, elle obtient en moyenne 7,62 : ses meilleurs passages atteignent le score de Claude (7,83), les autres restent un peu en dessous. Elle connaît parfois un passage faible sur un cas (5/10 au plus bas) et compte des défauts majeurs dans trois passages sur quatre ; le passage de Claude n'en a eu aucun. Deux modèles très différents obtiennent donc des scores proches dès qu'ils disposent du corpus et de la méthode : le corpus et la méthode semblent compter davantage que le modèle.

Ce niveau demande beaucoup de lecture : pour chaque note, Claude + corpus a lu près du double du texte traité par notre passage du 1er octobre, et environ le triple de celui du 11 octobre. Les volumes et leur coût sont détaillés dans Près du niveau de Claude Sonnet 5 avec le même corpus, pour une fraction du coût : ce que nous avons mesuré.

Une source derrière chaque règle

Notre chaîne cite chaque texte au plus près : l'article du CGI ou du PCG, le paragraphe du BOFiP. Exemple : dans Amortissement dérogatoire : pourquoi la comptabilité et le fiscal divergent, chaque citation de l'article 39 du CGI renvoie à Légifrance. Ces pages d'exemples sont des réponses brutes de Luca Paper (questions-réponses ou chaîne de rédaction), jamais retouchées à la main ; elles ne font pas partie des six notes évaluées.

Notre correcteur s'est trompé

Notre premier correcteur travaillait sans outils. Pour les notes rédigées avec le corpus, les paragraphes cités étaient joints à la note, et il pouvait les comparer au texte. Pour les configurations sans corpus, aucun texte n'était joint : il jugeait les citations de mémoire.

Le problème est apparu sur Claude avec internet et trois relectures. En examinant les évaluations de ses notes, nous avons repéré des citations exactes comptées comme fausses, surtout quand la note indiquait elle-même qu'une source n'avait pas été vérifiée. Des agents Claude, qui avaient, eux, accès aux sources, ont revérifié ses six notes ; aucune personne ne les a relues. Son score est passé de 5,83 à 6,83, et la revérification a relevé une omission réelle que le correcteur avait manquée.

Nous avons donc donné au correcteur un outil qui vérifie une citation dans le corpus quand aucun texte n'est joint, puis nous avons noté à nouveau, avec cette version, toutes les notes du tableau. Les scores sans corpus ont un peu monté : de 5,5 à 6,0 sans outils, de 6,0 à 6,17 avec internet, de 5,83 à 6,17 avec trois relectures. Ceux avec corpus aussi : de 7,5 à 7,83 pour Claude, de 7,33 à 7,83 pour le passage de notre chaîne du 1er octobre. La revérification par des agents est une autre méthode : son 6,83 n'est pas au tableau.

Méthode et limites

• —
  Six cas, un seul correcteur automatique (Claude Opus), sans notation humaine. Un passage par configuration de Claude, quatre pour notre chaîne. C'est trop peu pour une conclusion statistique précise, et de petits écarts ne signifient rien : d'un passage à l'autre, une même version de notre chaîne obtient de 7,17 à 7,83 sur ces six cas (voir notre méthode de test). Avec un seul passage, nous ne savons pas comment varie Claude.
• —
  Cas de travail. Les six cas sont ceux sur lesquels nous mesurons nos propres modifications : notre chaîne et ses consignes ont été mises au point au vu de leurs scores. Claude + corpus suivait ces consignes et partage cet avantage ; les configurations de Claude sans corpus, non.
• —
  Correcteur. Il peut se tromper dans les deux sens : compter à tort une citation exacte comme fausse, ou manquer une vraie erreur. Son outil vérifie les citations dans notre corpus, pas sur internet.
• —
  Corpus et méthode mesurés ensemble. Nous n'avons pas séparé l'effet du corpus de celui de la méthode, et DeepSeek n'a jamais été mesuré sans le corpus. Avec deux modèles et six cas, nous n'en tirons pas de règle générale.
• —
  Méthode, pas seulement connecteur. La configuration Claude + corpus utilisait les outils publics de notre connecteur, avec, en plus, les consignes et les étapes de notre chaîne, un agent par cas. Ces outils ne comprennent pas la recherche de comptes du plan comptable dont dispose notre chaîne. Nous n'avons pas mesuré le connecteur seul, sans notre méthode, et rien ne dit qu'il atteindrait le même score.
• —
  Version de Claude. Toutes les configurations de Claude utilisent Claude Sonnet 5, mesuré le 2 octobre 2026.
• —
  Méthode détaillée, volumes et coûts : le protocole de test et l'économie de chaque configuration sont exposés dans notre méthode de test.
• —
  Données téléchargeables : les scores par cas anonymisé, les défauts par type, les volumes traités et un script de recalcul. Elles ne contiennent ni énoncé de cas, ni consigne, ni commentaire du correcteur. Les énoncés des cas et nos consignes sont disponibles sur demande, à hello@lucapaper.com.