Jak testujemy Ask

Na czym polega test

Mamy notatki fikcyjnego zespołu: 31 krótkich notatek o premierze produktu o nazwie Harbor, przeprowadzce biura, podkaście, rekrutacji i kilku współpracownikach. Zadajemy Ask 111 pytań o nie, tak jak zrobiłbyś to w aplikacji, z zapisanym kluczem API Anthropic. Następnie zadajemy te same pytania przez inne sposoby, w jakie ChatMD może połączyć się z AI.

Każde pytanie zaczyna nową rozmowę i kończy się tą samą prośbą, po angielsku: „Answer in one or two sentences and cite the note.” (Odpowiedz w jednym lub dwóch zdaniach i wskaż notatkę.) Ask sam wybiera, które notatki wysłać z pytaniem; my nie wybieramy ich za niego. Wyszukiwanie w sieci jest wyłączone.

Pytania napisaliśmy po angielsku. Są sześciu rodzajów.

• Pojedynczy fakt

  29 pytań

  Odpowiedź znajduje się w jednej notatce.

  “Who owns the Harbor launch, and when is it?”

• Obliczenie

  17 pytań

  Odpowiedź wymaga obliczeń na liczbach z notatek: 22 000 $ minus 6 400 $ już wydane.

  “How much of the Harbor ads budget is left?”

• Data

  16 pytań

  Odpowiedź wymaga porównania dwóch dat lub obliczenia daty.

  “Is Tom Okafor back in time for the Harbor beta?”

• Sprzeczne notatki

  17 pytań

  Dwie notatki są ze sobą sprzeczne albo późniejsza zastępuje wcześniejszą: najpierw 18 000 $, potem 22 000 $. Prawidłowa odpowiedź to nowsza kwota.

  “What is the current Harbor budget?”

• Kilka notatek

  17 pytań

  Odpowiedź jest rozproszona w kilku notatkach.

  “Who is drafting the Harbor press kit, and is it due before launch?”

• Brak w notatkach

  15 pytań

  Notatki nie dają odpowiedzi. Prawidłowa odpowiedź mówi to wprost, zamiast coś zmyślać.

  “What salary is offered for the designer role?”

Jak oceniamy odpowiedź

Każdą odpowiedź ocenia program. Nie ocenia jej ani człowiek, ani AI, więc ta sama odpowiedź zawsze dostaje tyle samo punktów.

• Każde pytanie ma krótką listę faktów, które musi podać prawidłowa odpowiedź. Każdy podany fakt daje 1 punkt. Program szuka każdego faktu w tekście odpowiedzi.
• Wskazanie właściwej notatki daje jeszcze 1 punkt. Tytuł notatki może być w odpowiedzi albo na liście jej źródeł, a gdy pasuje kilka notatek, liczy się każda z nich.
• Gdy notatki nie dają odpowiedzi, jedyny punkt przyznajemy za jasne powiedzenie tego, na przykład „notatki tego nie podają”. Zmyślona odpowiedź dostaje 0.
• Odpowiedź, która kończy się błędem, dostaje 0.

Na przykład „What is the current Harbor budget?” jest warte 2 punkty: 1 za podanie 22 000 $ i 1 za wskazanie notatki ze spotkania Harbor z 26 września. 111 pytań daje łącznie 263 punkty.

Dopasowywanie wzorców ma swoją cenę. Nietypowe sformułowanie prawidłowej odpowiedzi może stracić punkt, a błędna odpowiedź, która przypadkiem użyje właściwych słów, może go zdobyć.

Cytat to fragment Twoich notatek, na który odpowiedź wskazuje jako swoje źródło. Przy zapisanym kluczu Anthropic AI może wskazać dokładnie ten fragment, z którego skorzystała. Liczymy, jak często to zrobiła i jak często ten fragment zawiera co najmniej jeden fakt potrzebny do odpowiedzi.

Co wyszło

Wykonane 16 października 2026 r. na ChatMD 2.2.0: Ask z zapisanym kluczem Anthropic, 111 pytań, cytaty włączone.

Koszt jest szacunkiem: licznik zużycia w aplikacji mnoży tokeny użyte w każdym zapytaniu przez opublikowane ceny dostawcy. Koszt 1 000 pytań to ta suma podzielona przez 111 i pomnożona przez 1 000. Czas liczymy od rozpoczęcia przez test nowej rozmowy do gotowej odpowiedzi, więc obejmuje on też wpisanie pytania, kliknięcia samego testu i sekundową pauzę po każdej odpowiedzi. Ostatni wiersz obejmuje tylko odpowiedzi, które miały własne cytaty AI, i pomija pytania, na które notatki nie mogą odpowiedzieć.

Ile kosztuje AI

Inne sposoby połączenia z AI

Te same 111 pytań zadaliśmy przez inne sposoby, w jakie ChatMD 2.2 łączy się z AI, 16 października 2026 r. Każdy z nich używał modelu, od którego ChatMD dla niego zaczyna, a każdą odpowiedź oceniono tak samo.

Ask był ustawiony na „Powiązane notatki” w każdym przypadku, tak jak dla klucza powyżej: ChatMD wybiera notatki i je wysyła. Domyślnym ustawieniem Claude Code jest „Cały folder”, w którym sam czyta Twoje notatki, i tego nie zmierzyliśmy. Ollama zawsze sama przegląda Twoje notatki.

Claude Code i Codex zużywają limit Twojego planu, więc nie ma ceny za pytanie. Codex sam wybiera model; na naszym komputerze testowym ustawiony jest GPT-6.1 Sol z wysokim poziomem rozumowania. Kwoty dla OpenAI i Grok pochodzą z licznika zużycia w aplikacji, tak jak dla klucza Claude; dla Grok licznik zapisuje opłatę podaną przez xAI, jeśli xAI ją przesyła.

Nie zmierzyliśmy czasu Claude Code: błąd w naszym teście dodawał do każdej jego odpowiedzi stałe 15 sekund czekania. Ollama działała na naszym komputerze testowym, który nie ma karty graficznej, więc jej czas zależy od Twojego sprzętu.

Jeszcze nie zmierzone: Antigravity (nie było w tej rundzie).

Dwie reguły, ustalone z góry

Reguła jest ustalona z góry, gdy zapisujemy ją przed uruchomieniem testu, więc nie da się jej naciągnąć do wyniku. Obie zapisaliśmy najpierw.

Czego to nie mówi

• To jeden fikcyjny folder z 31 krótkimi notatkami po angielsku. Twoje notatki są dłuższe i bardziej chaotyczne, a mogą być w innym języku, więc Ask może poradzić sobie z nimi lepiej lub gorzej.
• To nasz własny test, oceniany przez nasz własny program. Żadna zewnętrzna grupa go nie sprawdziła.
• Wyniki zmieniają się z przebiegu na przebieg. W naszych przebiegach od 9 do 16 października, na różnych wersjach aplikacji, Claude Haiku 5.5 uzyskał od 92,8% do 95,8%, a Claude Sonnet 5.5 od 95,4% do 96,6%. Sam wynik Claude Haiku 5.5 zmienił się w tych przebiegach o 3,0 punktu; różnica między oboma modelami w tym przebiegu wynosi 3,0 punktu. Inne sposoby połączenia przetestowaliśmy po jednym razie, więc różnica jednego czy dwóch punktów między nimi może być przypadkowa.
• Koszt zależy od tego, ile z Twoich notatek wysyła Ask. Nasze notatki były krótkie, a od każdej odpowiedzi oczekiwaliśmy jednego lub dwóch zdań.
• Jeszcze nie zmierzone: Antigravity (nie było w tej rundzie). Dodamy je tutaj, gdy je zmierzymy.
• Powtarzamy ten test przed każdą wersją. Ta strona pokazuje przebieg z 16 października 2026 r. na ChatMD 2.2.0.