Comment nous testons Ask

En quoi consiste le test

Nous conservons les notes d’une équipe fictive : 31 notes courtes sur le lancement d’un produit appelé Harbor, un déménagement de bureaux, un podcast, des recrutements et quelques collègues. Nous posons 111 questions à Ask à leur sujet, comme vous le feriez dans l’application, avec une clé d’API Anthropic enregistrée. Puis nous posons les mêmes questions par les autres moyens dont ChatMD dispose pour se connecter à une IA.

Chaque question démarre une nouvelle conversation et se termine par la même demande, en anglais : « Answer in one or two sentences and cite the note. » (Répondez en une ou deux phrases et citez la note.) Ask choisit quelles notes envoyer avec chaque question ; nous ne les choisissons pas à sa place. La recherche web est désactivée.

Nous avons rédigé les questions en anglais. Elles sont de six types.

• Fait précis

  29 questions

  La réponse figure dans une seule note.

  “Who owns the Harbor launch, and when is it?”

• Calcul

  17 questions

  La réponse demande un calcul sur des chiffres tirés des notes : 22 000 $ moins 6 400 $ déjà dépensés.

  “How much of the Harbor ads budget is left?”

• Date

  16 questions

  La réponse demande de comparer deux dates ou de calculer une date.

  “Is Tom Okafor back in time for the Harbor beta?”

• Notes contradictoires

  17 questions

  Deux notes se contredisent, ou une note plus récente remplace une plus ancienne : d’abord 18 000 $, puis 22 000 $. La bonne réponse est le chiffre le plus récent.

  “What is the current Harbor budget?”

• Plusieurs notes

  17 questions

  La réponse est répartie sur plusieurs notes.

  “Who is drafting the Harbor press kit, and is it due before launch?”

• Absent des notes

  15 questions

  Les notes ne permettent pas de répondre. La bonne réponse le dit au lieu d’en inventer une.

  “What salary is offered for the designer role?”

Comment une réponse est notée

Un programme note chaque réponse. Ni une personne ni une IA ne la juge : une même réponse obtient donc toujours les mêmes points.

• Chaque question a une courte liste de faits qu’une bonne réponse doit énoncer. Chaque fait énoncé rapporte 1 point. Le programme cherche chaque fait dans le texte de la réponse.
• Nommer la bonne note rapporte 1 point de plus. Le titre de la note peut figurer dans la réponse ou dans sa liste de sources, et quand plusieurs notes conviennent, n’importe laquelle compte.
• Quand les notes ne permettent pas de répondre, le seul point récompense le fait de le dire clairement, par exemple « les notes ne le disent pas ». Inventer une réponse rapporte 0.
• Une réponse qui échoue avec une erreur obtient 0.

Par exemple, « What is the current Harbor budget? » vaut 2 points : 1 pour avoir indiqué 22 000 $ et 1 pour avoir nommé la note de la réunion Harbor du 26 septembre. Les 111 questions valent 263 points au total.

La recherche de motifs a un coût. Une formulation inhabituelle d’une bonne réponse peut manquer un point, et une mauvaise réponse qui emploie par hasard les bons mots peut en obtenir un.

Une citation est la partie de vos notes vers laquelle une réponse renvoie comme source. Avec une clé Anthropic enregistrée, l’IA peut désigner le passage exact qu’elle a utilisé. Nous comptons combien de fois elle l’a fait, et combien de fois ce passage contient au moins un fait dont la question a besoin.

Ce que nous avons constaté

Réalisé le 16 octobre 2026, sur ChatMD 2.2.0 : Ask avec une clé Anthropic enregistrée, 111 questions, citations activées.

Le coût est une estimation : le compteur d’utilisation de l’application multiplie les jetons utilisés par chaque requête par les prix publiés du fournisseur. Le coût pour 1 000 questions est ce total divisé par 111, multiplié par 1 000. La durée court du moment où le test ouvre une nouvelle conversation jusqu’à la réponse terminée ; elle comprend donc aussi la saisie de la question, les clics du test lui-même et une pause d’une seconde après chaque réponse. La dernière ligne ne compte que les réponses accompagnées des citations propres de l’IA, et laisse de côté les questions auxquelles les notes ne peuvent pas répondre.

Ce que coûte l’IA

Les autres façons de connecter une IA

Nous avons posé les mêmes 111 questions par les autres moyens dont ChatMD 2.2 se connecte à une IA, le 16 octobre 2026. Chacun a utilisé le modèle avec lequel ChatMD démarre pour lui, et chaque réponse a été notée de la même façon.

Ask était réglé sur « Notes pertinentes » pour chacun, comme pour la clé ci-dessus : ChatMD choisit les notes et les envoie. Le réglage par défaut de Claude Code est « Dossier entier », où il lit vos notes lui-même, et nous ne l’avons pas mesuré. Ollama parcourt toujours vos notes lui-même.

Claude Code et Codex utilisent le quota de votre forfait, il n’y a donc pas de prix par question. Codex choisit son propre modèle ; sur notre PC de test, il est réglé sur GPT-6.1 Sol avec un raisonnement élevé. Les montants pour OpenAI et Grok viennent du compteur d’utilisation de l’application, comme pour la clé Claude ; pour Grok, il enregistre le montant facturé indiqué par xAI, quand xAI le transmet.

Nous n’avons pas mesuré le temps de Claude Code : un défaut de notre test ajoutait une attente fixe de 15 secondes à chacune de ses réponses. Ollama a tourné sur notre PC de test, qui n’a pas de carte graphique ; son temps dépend donc de votre matériel.

Pas encore mesuré : Antigravity (hors de cette série de tests).

Deux règles, préenregistrées

Une règle est préenregistrée quand elle est écrite avant le test, de sorte qu’on ne puisse pas la plier au résultat. Nous avons écrit ces deux règles en premier.

Ce que cela ne dit pas

• C’est un seul dossier fictif de 31 notes courtes, en anglais. Vos notes sont plus longues et plus désordonnées, et peut-être dans une autre langue : Ask peut donc faire mieux ou moins bien avec elles.
• C’est notre propre test, noté par notre propre programme. Aucun groupe extérieur ne l’a vérifié.
• Les scores varient d’une exécution à l’autre. Sur nos exécutions du 9 au 16 octobre, avec différentes versions de l’application, Claude Haiku 5.5 a obtenu entre 92,8 % et 95,8 % et Claude Sonnet 5.5 entre 95,4 % et 96,6 %. Le score de Claude Haiku 5.5 lui-même a varié de 3,0 points sur ces exécutions ; l’écart entre les deux modèles dans cette exécution est de 3,0 points. Les autres façons de se connecter n’ont été testées qu’une fois chacune, donc un écart d’un ou deux points entre deux d’entre elles peut être dû au hasard.
• Le coût dépend de la quantité de vos notes qu’Ask envoie. Nos notes étaient courtes, et chaque réponse devait tenir en une ou deux phrases.
• Pas encore mesuré : Antigravity (hors de cette série de tests). Nous l’ajouterons ici une fois mesuré.
• Nous refaisons ce test avant chaque version. Cette page montre l’exécution du 16 octobre 2026, sur ChatMD 2.2.0.