Un modèle plus cher pour l'étape du plan : ce qu'il apporte, ce qu'il coûte

Nous avons confié l'étape du plan de notre chaîne de rédaction à un modèle plus puissant et plus cher, GPT-6.1 Terra (OpenAI), au lieu de DeepSeek v4.1-flash. Le plan est l'appel qui décide, avant la rédaction, quelles règles et quelles écritures figureront dans la note. Sur nos six cas de travail, les deux passages avec ce plan atteignent ou dépassent 8/10 (8,00 et 8,33), contre 7,83 et 7,50 pour deux passages sur DeepSeek seul, soit 8,17 contre 7,67 en moyenne : un écart de 0,5 point. L'amélioration est visible dans les scores, mais elle reste à la limite haute du bruit de notre banc d'essai, et elle coûte beaucoup plus : 0,27 $ par note contre 0,10 $, soit de 2,6 à 2,7 fois plus.

Trois réserves comptent ici : l'écart est à la limite haute du bruit, le code de la chaîne a aussi changé entre les deux séries de passages, et notre correcteur automatique dérive d'une séance à l'autre. Elles sont détaillées plus bas.

Ce que nous avons changé

Notre chaîne de rédaction cherche dans le corpus, lit les paragraphes, planifie, calcule et rédige en plusieurs étapes (voir Près du niveau de Claude Sonnet 5 avec le même corpus, pour une fraction du coût : ce que nous avons mesuré). Le plan relit toutes les sources réunies par la recherche, deux fois par note : une première fois, puis une seconde après avoir demandé la lecture de textes supplémentaires, soit 12 appels pour six notes. Avec un modèle peu coûteux, c'est l'étape la plus lente de la chaîne, car le modèle raisonne longuement. Nous avons essayé un modèle plus fort, qui répond plus vite mais coûte bien plus cher au jeton (le jeton est l'unité de texte facturée par le fournisseur du modèle). Tout le reste (recherche, lecture, rédaction) est resté sur DeepSeek v4.1-flash. Entre les passages sur DeepSeek seul et ceux-ci, la chaîne a aussi reçu dix autres améliorations, décrites plus bas : l'écart mesuré mêle donc les deux.

Ce que nous avons mesuré

Ce sont les six cas de travail de nos autres articles, le même correcteur. Un passage est une série de six notes, une par cas.

Moyennes : 8,17 pour les 12 notes avec le plan sur Terra, 7,67 pour les 12 notes sur DeepSeek seul. Aucune des 12 notes avec le plan sur Terra n'a demandé de réécriture importante, contre 2 des 12 notes sur DeepSeek seul. Les défauts d'écriture comptable passent de 9 à 2 sur 12 notes, ce qui est cohérent avec le rôle du plan, qui décide des écritures. Les faits inventés passent de 3 à 5 et les défauts de langue ou de mise en forme de 1 à 4 ; les autres types de défauts restent proches (voir le jeu de données). Le plan est aussi beaucoup plus rapide : 39 s en moyenne par appel contre 172 s, et environ 5 600 jetons de réponse, raisonnement compris, contre 31 000.

Une amélioration à la limite haute du bruit

• —
  Ce que le bruit permet. Deux passages d'un même modèle diffèrent de 0,33 point, pour Terra comme pour DeepSeek, et une version inchangée de notre chaîne a obtenu de 7,17 à 7,83 sur trois passages. Nos deux passages avec le plan sur Terra, à 8,00 et 8,33, sont à la limite haute de cette fourchette, voire un peu au-dessus. Selon la règle que nous appliquons à nos modifications (un gain doit dépasser la fourchette), ce serait un progrès ; nous le présentons pourtant avec prudence, pour les raisons ci-dessous.
• —
  Deux passages contre deux. Les deux passages sur Terra sont au-dessus des deux passages sur DeepSeek. Si les passages étaient interchangeables, la chance d'obtenir ce classement par hasard serait d'environ une sur six. Les défauts bougent aussi d'un passage à l'autre : les défauts d'écriture comptable sont à 4 et 5 sur DeepSeek seul, à 2 et 0 avec le plan sur Terra.
• —
  Un correcteur qui dérive. À chaque séance, le correcteur note six notes de référence dont la note attendue est connue ; son écart moyen avec cette note attendue (positif quand il est plus indulgent) a été de +0,50 et +0,17 pour les deux passages sur Terra, de 0,00 et −0,33 pour les deux passages sur DeepSeek : le même ordre que les scores. Une fois cet écart retiré, les quatre passages retombent autour de 7,83. Avec seulement six notes de référence, ce n'est pas une correction, mais cela montre que la dérive du correcteur peut produire à elle seule un écart de cette taille.
• —
  Un code qui a changé. Entre les passages sur DeepSeek (27 octobre) et ceux sur Terra (28 et 29 octobre), dix modifications ont été apportées à la chaîne, toutes destinées à améliorer la qualité. Nous ne savons pas dans quelle mesure elles jouent dans l'écart. Notre lecture est que le modèle du plan y contribue, mais nous n'avons pas relancé DeepSeek avec le code actuel pour l'isoler : le gain mesuré mêle les deux.

Ce que cela coûte

Les prix ci-dessous sont ceux du dernier passage sur Terra, celui où le cache du modèle était réglé (voir la section suivante). Ce sont les montants facturés par OpenRouter, la plateforme par laquelle nous appelons les modèles, pour les six notes de chaque configuration, sans le correcteur.

Le plan représente 69 % du coût d'une note. Il lit près de 100 000 jetons par note, à un prix par jeton de 6 à 8 fois celui de DeepSeek (1,20 $ le million de jetons en entrée et 6 $ en sortie, contre 0,195 $ et 0,78 $). Au premier passage sur Terra, avant le réglage du cache et avec un appel de reprise, une note coûtait 0,32 $, soit de 3,1 à 3,2 fois le prix de DeepSeek seul. Avec le plan sur Terra, la chaîne reste au moins 6,6 fois moins chère que Claude avec le corpus (au moins 10,71 $ pour les six notes, comparaison détaillée dans l'article cité plus haut).

Le cache : ce que la facture nous a appris

Le cache de prompts évite de payer plein tarif des textes déjà envoyés. Avec ce modèle, notre plan ne le lisait jamais, et rien ne le montrait dans nos journaux.

• —
  Un supplément de 25 % invisible. Le prix affiché est de 1,20 $ le million de jetons en entrée. Tant que rien n'est lu dans le cache, chaque jeton est facturé comme une écriture de cache (un jeton mis en mémoire pour être réutilisé), soit 1,50 $, 25 % de plus. Nous l'avons trouvé en comparant le coût de chaque appel au nombre de jetons.
• —
  Un texte prolongé n'est pas lu dans le cache. Le second plan reprend le premier et y ajoute des lignes, mais par défaut le fournisseur ne marque un repère de réutilisation qu'à la fin du dernier message : il n'y a rien à réutiliser. Nos essais le montrent (voir le jeu de données) : le même texte envoyé deux fois est lu presque en entier dans le cache, un texte prolongé ne l'est pas du tout, et changer le réglage de raisonnement entre deux appels annule aussi la réutilisation.
• —
  Des repères explicites. Nous plaçons maintenant nous-mêmes ces repères, sur l'appel du plan seulement, pour que le second plan réutilise le premier.
• —
  Résultat sur les notes : 40 %. Le second plan a lu dans le cache 127 498 des 318 639 jetons de son texte, soit 40 %, contre 91 % dans un essai propre, ce qui représente 21 % de tout ce que le plan lit. À ce niveau, les repères reviennent au même prix que couper le cache, à 0,005 $ près sur les six notes : il faut dépasser 21 % pour y gagner. Nous n'avons pas vérifié pourquoi le taux est plus bas ; notre hypothèse est que des lignes déjà envoyées s'allongent entre les deux plans.

Entre nos deux passages sur Terra, le coût du plan est passé de 1,51 $ à 1,12 $. Le cache explique 0,18 $ de cette baisse, l'appel de reprise du premier passage 0,11 $, et des textes de départ plus courts le reste (0,09 $). Le cache est réglé et il fonctionne, mais à ce taux il ramène seulement la facture au prix affiché, sans la faire descendre en dessous.

Méthode et limites

• —
  Six cas de travail, un correcteur, peu de passages. Deux passages par modèle, un par cas, six notes chacun. Ce sont les cas sur lesquels nous mettons au point notre chaîne et ses consignes : les scores sont à lire avec ce biais.
• —
  Code différent. Dix modifications séparent les passages sur DeepSeek de ceux sur Terra. Nous n'avons pas relancé DeepSeek avec le code actuel : l'écart de 0,5 point mêle donc l'effet du modèle du plan et celui de ces modifications.
• —
  Un seul correcteur, Claude Opus, qui peut se tromper et dont l'écart avec la note attendue varie d'une séance à l'autre (voir plus haut). Aucune personne n'a noté ces notes.
• —
  Qui a lu quoi. Les consignes de la chaîne sont écrites par une personne qui ne lit ni les notes évaluées ni leurs évaluations ; pour cet article, seuls les tableaux de synthèse du correcteur ont été lus.
• —
  Un seul modèle comparé pour le plan. Rien ne permet de généraliser à d'autres modèles ni à d'autres étapes de la chaîne.
• —
  Prix. Les montants sont ceux facturés par OpenRouter, requête par requête, pour la fenêtre de temps de chaque passage ; le journal de notre API et la facture concordent à 0,0002 $ près. Le coût de DeepSeek seul est celui du premier passage, donné en fourchette parce que la dernière minute de sa fenêtre contient aussi les premiers appels du passage suivant. Les prix peuvent avoir changé depuis. Le coût de Claude avec le corpus est une borne basse (voir l'article cité plus haut).
• —
  Page d'exemple. Une page du site existe dans les deux versions, sans retouche : Créance client irrécouvrable : traitement fiscal de la perte (version actuelle : plan sur Terra ; ancienne version : DeepSeek seul). Elle ne fait pas partie des six notes évaluées.
• —
  Données téléchargeables : les scores par configuration, les défauts par type, les appels du plan avec leurs jetons et leur coût, les prix, la facture par fenêtre de temps et les essais de cache, avec un script qui recalcule les chiffres de l'article. Elles ne contiennent ni énoncé de cas, ni consigne, ni commentaire du correcteur. Les énoncés des cas et nos consignes sont disponibles sur demande, à hello@lucapaper.com. Jeu de données.