So testen wir Ask

Was der Test ist

Wir führen die Notizen eines erfundenen Teams: 31 kurze Notizen über einen Produktstart namens Harbor, einen Büroumzug, einen Podcast, Neueinstellungen und ein paar Kolleginnen und Kollegen. Dazu stellen wir Ask 111 Fragen, so wie du es in der App tun würdest, mit einem gespeicherten Anthropic-API-Schlüssel. Danach stellen wir dieselben Fragen über die anderen Wege, auf denen ChatMD eine KI verbinden kann.

Jede Frage beginnt ein neues Gespräch und endet mit derselben Bitte, auf Englisch: „Answer in one or two sentences and cite the note.“ (Antworte in ein oder zwei Sätzen und nenne die Notiz.) Ask wählt selbst, welche Notizen es mit jeder Frage mitschickt; wir wählen sie nicht für Ask aus. Die Websuche ist aus.

Wir haben die Fragen auf Englisch geschrieben. Es gibt sechs Arten.

• Einzelfakt

  29 Fragen

  Die Antwort steht in einer Notiz.

  “Who owns the Harbor launch, and when is it?”

• Rechnen

  17 Fragen

  Die Antwort erfordert Rechnen mit Zahlen aus den Notizen: 22.000 $ abzüglich bereits ausgegebener 6.400 $.

  “How much of the Harbor ads budget is left?”

• Datum

  16 Fragen

  Für die Antwort müssen zwei Daten verglichen oder ein Datum berechnet werden.

  “Is Tom Okafor back in time for the Harbor beta?”

• Widersprüchliche Notizen

  17 Fragen

  Zwei Notizen widersprechen sich, oder eine spätere ersetzt eine frühere: erst 18.000 $, dann 22.000 $. Die richtige Antwort ist die neuere Zahl.

  “What is the current Harbor budget?”

• Mehrere Notizen

  17 Fragen

  Die Antwort verteilt sich auf mehrere Notizen.

  “Who is drafting the Harbor press kit, and is it due before launch?”

• Nicht in den Notizen

  15 Fragen

  Die Notizen geben keine Antwort her. Die richtige Antwort sagt das, statt eine zu erfinden.

  “What salary is offered for the designer role?”

Wie eine Antwort bewertet wird

Ein Programm bewertet jede Antwort. Weder ein Mensch noch eine KI urteilt darüber, deshalb bekommt dieselbe Antwort immer dieselben Punkte.

• Zu jeder Frage gibt es eine kurze Liste von Fakten, die eine richtige Antwort nennen muss. Jeder genannte Fakt bringt 1 Punkt. Das Programm sucht jeden Fakt im Text der Antwort.
• Die richtige Notiz zu nennen bringt 1 weiteren Punkt. Der Titel der Notiz kann in der Antwort oder in ihrer Quellenliste stehen; wo mehrere Notizen passen, zählt jede.
• Wenn die Notizen keine Antwort hergeben, gibt es den einzigen Punkt dafür, das klar zu sagen, etwa „die Notizen sagen dazu nichts“. Eine erfundene Antwort bringt 0 Punkte.
• Eine Antwort, die mit einem Fehler scheitert, bekommt 0 Punkte.

Zum Beispiel ist „What is the current Harbor budget?“ 2 Punkte wert: 1 für die Angabe von 22.000 $ und 1 für die Nennung der Notiz zum Harbor-Treffen am 26. September. Die 111 Fragen sind zusammen 263 Punkte wert.

Mustererkennung hat ihren Preis. Eine ungewöhnliche Formulierung einer richtigen Antwort kann einen Punkt verfehlen, und eine falsche Antwort, die zufällig die richtigen Wörter benutzt, kann einen bekommen.

Eine Quellenangabe ist die Stelle in deinen Notizen, auf die eine Antwort als Quelle verweist. Mit einem gespeicherten Anthropic-Schlüssel kann die KI auf genau die Passage verweisen, die sie genutzt hat. Wir zählen, wie oft sie das getan hat und wie oft diese Passage mindestens einen Fakt enthält, den die Frage braucht.

Was wir gefunden haben

Durchgeführt am 16. Oktober 2026 mit ChatMD 2.2.0: Ask mit einem gespeicherten Anthropic-Schlüssel, 111 Fragen, Quellenangaben eingeschaltet.

Die Kosten sind eine Schätzung: Der Nutzungszähler der App multipliziert die Tokens jeder Anfrage mit den veröffentlichten Preisen des Anbieters. Die Kosten pro 1.000 Fragen sind diese Summe geteilt durch 111, mal 1.000. Die Zeit läuft vom Öffnen einer neuen Unterhaltung durch den Test bis zur fertigen Antwort und enthält daher auch das Eintippen der Frage, die Klicks des Tests selbst und eine Sekunde Pause nach jeder Antwort. Die letzte Zeile zählt nur Antworten, die mit eigenen Quellenangaben der KI kamen, und lässt die Fragen aus, die die Notizen nicht beantworten können.

Was die KI kostet

Andere Wege, eine KI zu verbinden

Dieselben 111 Fragen haben wir am 16. Oktober 2026 über die anderen Wege gestellt, auf denen ChatMD 2.2 eine KI verbindet. Jeder Weg nutzte das Modell, mit dem ChatMD dort startet, und jede Antwort wurde gleich bewertet.

Ask stand bei allen auf „Relevante Notizen“, wie beim Schlüssel oben: ChatMD wählt die Notizen aus und schickt sie mit. Die eigene Voreinstellung von Claude Code ist „Gesamter Ordner“, bei der es deine Notizen selbst liest; das haben wir nicht gemessen. Ollama sieht deine Notizen immer selbst durch.

Claude Code und Codex verbrauchen das Kontingent deines Tarifs, daher gibt es keinen Preis pro Frage. Codex wählt sein Modell selbst; auf unserem Test-PC ist GPT-6.1 Sol mit hohem Denkaufwand eingestellt. Die Zahlen für OpenAI und Grok stammen vom Nutzungszähler der App, wie beim Claude-Schlüssel; bei Grok erfasst er die Gebühr, die xAI meldet, wenn xAI sie mitschickt.

Die Zeit von Claude Code haben wir nicht gemessen: Ein Fehler in unserem Test fügte jeder seiner Antworten eine feste Wartezeit von 15 Sekunden hinzu. Ollama lief auf unserem Test-PC ohne Grafikkarte, seine Zeit hängt also von deiner Hardware ab.

Noch nicht gemessen: Antigravity (war in dieser Runde nicht dabei).

Zwei Regeln, vorab festgelegt

Eine Regel ist vorab festgelegt, wenn sie vor dem Testlauf aufgeschrieben wird und sich deshalb nicht dem Ergebnis anpassen lässt. Beide haben wir zuerst aufgeschrieben.

Was das nicht aussagt

• Es ist ein erfundener Ordner mit 31 kurzen Notizen auf Englisch. Deine Notizen sind länger und unordentlicher und vielleicht in einer anderen Sprache, deshalb kann Ask bei ihnen besser oder schlechter abschneiden.
• Es ist unser eigener Test, bewertet von unserem eigenen Programm. Keine externe Stelle hat ihn geprüft.
• Die Ergebnisse schwanken von Lauf zu Lauf. Bei unseren Läufen vom 9. bis 16. Oktober, mit verschiedenen App-Versionen, erreichte Claude Haiku 5.5 zwischen 92,8 % und 95,8 % und Claude Sonnet 5.5 zwischen 95,4 % und 96,6 %. Das Ergebnis von Claude Haiku 5.5 selbst schwankte über diese Läufe um 3,0 Punkte; der Abstand zwischen beiden Modellen beträgt in diesem Lauf 3,0 Punkte. Die anderen Verbindungswege liefen jeweils nur einmal, ein Abstand von ein oder zwei Punkten zwischen zweien davon kann also Zufall sein.
• Die Kosten hängen davon ab, wie viel von deinen Notizen Ask mitschickt. Unsere Notizen waren kurz, und jede Antwort sollte ein oder zwei Sätze lang sein.
• Noch nicht gemessen: Antigravity (war in dieser Runde nicht dabei). Wir ergänzen es hier, sobald wir es gemessen haben.
• Wir führen diesen Test vor jeder neuen Version erneut durch. Diese Seite zeigt den Lauf vom 16. Oktober 2026 mit ChatMD 2.2.0.