Pruebas
Qué preguntamos, cómo puntuamos las respuestas y qué encontramos, para que puedas juzgar por ti mismo.
Mantenemos las notas de un equipo ficticio: 31 notas breves sobre el lanzamiento de un producto llamado Harbor, una mudanza de oficina, un pódcast, contrataciones y algunos compañeros. Le hacemos a Ask 111 preguntas sobre ellas, como lo harías en la app, con una clave de API de Anthropic guardada. Después hacemos las mismas preguntas a través de las otras formas en que ChatMD puede conectarse a una IA.
Cada pregunta inicia una conversación nueva y termina con la misma petición, en inglés: “Answer in one or two sentences and cite the note.” (Responde en una o dos frases y cita la nota.) Ask elige qué notas enviar con cada pregunta; nosotros no se las elegimos. La búsqueda web está desactivada.
Escribimos las preguntas en inglés. Son de seis tipos.
29 preguntas
La respuesta está escrita en una nota.
“Who owns the Harbor launch, and when is it?”
17 preguntas
La respuesta exige operar con cifras de las notas: 22.000 $ menos 6.400 $ ya gastados.
“How much of the Harbor ads budget is left?”
16 preguntas
La respuesta exige comparar dos fechas o calcular una fecha.
“Is Tom Okafor back in time for the Harbor beta?”
17 preguntas
Dos notas se contradicen, o una posterior sustituye a una anterior: primero 18.000 $, luego 22.000 $. La respuesta correcta es la cifra más reciente.
“What is the current Harbor budget?”
17 preguntas
La respuesta está repartida entre varias notas.
“Who is drafting the Harbor press kit, and is it due before launch?”
15 preguntas
Las notas no pueden responder. La respuesta correcta lo dice en lugar de inventarse una.
“What salary is offered for the designer role?”
Un programa puntúa cada respuesta. Ni una persona ni una IA la juzga, así que la misma respuesta siempre recibe los mismos puntos.
Por ejemplo, «What is the current Harbor budget?» vale 2 puntos: 1 por indicar 22.000 $ y 1 por nombrar la nota de la reunión de Harbor del 26 de septiembre. Las 111 preguntas valen 263 puntos en total.
Comparar patrones tiene un coste. Una redacción poco habitual de una respuesta correcta puede perder un punto, y una respuesta incorrecta que casualmente use las palabras adecuadas puede ganar uno.
Una cita es la parte de tus notas a la que apunta una respuesta como fuente. Con una clave de Anthropic guardada, la IA puede señalar el pasaje exacto que usó. Contamos con qué frecuencia lo hizo y con qué frecuencia ese pasaje contiene al menos un dato que la pregunta necesita.
Realizada el 16 de octubre de 2026, con ChatMD 2.2.0: Ask con una clave de Anthropic guardada, 111 preguntas, citas activadas.
| La medida | Claude Haiku 5.5 | Claude Sonnet 5.5 |
|---|---|---|
| En conjunto | ||
| Puntuación en las 111 preguntas | Claude Haiku 5.592,8 % (244 de 263 puntos) | Claude Sonnet 5.595,8 % (252 de 263 puntos) |
| Respuestas que fallaron con un error | Claude Haiku 5.50 | Claude Sonnet 5.50 |
| Puntuación por tipo de pregunta | ||
| Dato puntual | Claude Haiku 5.597% | Claude Sonnet 5.5100% |
| Cálculo | Claude Haiku 5.591% | Claude Sonnet 5.5100% |
| Fecha | Claude Haiku 5.597% | Claude Sonnet 5.595% |
| Notas contradictorias | Claude Haiku 5.592% | Claude Sonnet 5.596% |
| Varias notas | Claude Haiku 5.585% | Claude Sonnet 5.588% |
| No está en las notas | Claude Haiku 5.5100% | Claude Sonnet 5.5100% |
| Tiempo y coste | ||
| Tiempo hasta una respuesta terminada | Claude Haiku 5.5unos 5,7 segundos | Claude Sonnet 5.5unos 4,7 segundos |
| Coste de las 111 preguntas | Claude Haiku 5.50,0832 $ en total | Claude Sonnet 5.51,2081 $ en total |
| Coste por cada 1.000 preguntas | Claude Haiku 5.5unos 0,75 $ | Claude Sonnet 5.5unos 10,88 $ |
| Citas | ||
| Respuestas con citas propias de la IA | Claude Haiku 5.587 de 111 | Claude Sonnet 5.595 de 111 |
| El pasaje citado contenía un dato que la pregunta necesita | Claude Haiku 5.568 de 84 | Claude Sonnet 5.575 de 94 |
El coste es una estimación: el contador de uso de la app multiplica los tokens que usó cada solicitud por los precios publicados del proveedor. El coste por cada 1.000 preguntas es ese total dividido entre 111, por 1.000. El tiempo va desde que la prueba abre una conversación nueva hasta que la respuesta está terminada, así que también incluye escribir la pregunta, los clics de la propia prueba y una pausa de un segundo después de cada respuesta. La última fila cuenta solo las respuestas que llegaron con citas propias de la IA y deja fuera las preguntas que las notas no pueden responder.
Hicimos las mismas 111 preguntas a través de las otras formas en que ChatMD 2.2 se conecta a una IA, el 16 de octubre de 2026. Cada una usó el modelo con el que ChatMD empieza para ella, y todas las respuestas se puntuaron igual.
| Forma de conexión | Modelo | Puntuación | Errores | Tiempo hasta la respuesta | Coste por cada 1.000 preguntas |
|---|---|---|---|---|---|
| Claude Code | ModeloClaude Sonnet 5.5 | Puntuación96,6 % (254 de 263 puntos) | Errores0 de 111 | Tiempo hasta la respuestaSin medir | Coste por cada 1.000 preguntasEl cupo de tu plan |
| Codex | ModeloGPT-6.1 Sol, el ajuste propio de Codex | Puntuación95,8 % (252 de 263 puntos) | Errores0 de 111 | Tiempo hasta la respuestaunos 6,0 segundos | Coste por cada 1.000 preguntasEl cupo de tu plan |
| Tu propia clave de OpenAI | ModeloGPT-6.1 Sol | Puntuación96,2 % (253 de 263 puntos) | Errores0 de 111 | Tiempo hasta la respuestaunos 3,7 segundos | Coste por cada 1.000 preguntasunos 3,01 $ |
| Tu propia clave de Grok | ModeloGrok 4.7 | Puntuación89,7 % (236 de 263 puntos) | Errores0 de 111 | Tiempo hasta la respuestaunos 8,8 segundos | Coste por cada 1.000 preguntasunos 6,88 $ |
| Ollama en tu PC | ModeloGranite 4.1 (3B) | Puntuación62,7 % (165 de 263 puntos) | Errores5 de 111 | Tiempo hasta la respuestaunos 46,9 segundos | Coste por cada 1.000 preguntasNada, funciona en tu PC |
Ask estaba en «Notas relevantes» en todos los casos, como con la clave de arriba: ChatMD elige las notas y las envía. La opción predeterminada de Claude Code es «Carpeta completa», en la que lee tus notas por sí mismo, y eso no lo hemos medido. Ollama siempre revisa tus notas por sí mismo.
Claude Code y Codex gastan el cupo de tu plan, así que no hay precio por pregunta. Codex elige su propio modelo; en nuestro PC de pruebas está configurado GPT-6.1 Sol con razonamiento alto. Las cifras de OpenAI y Grok salen del contador de uso de la app, como con la clave de Claude; para Grok registra el cargo que indica xAI, cuando lo envía.
No medimos el tiempo de Claude Code: un fallo de nuestra prueba añadía una espera fija de 15 segundos a cada una de sus respuestas. Ollama se ejecutó en nuestro PC de pruebas, que no tiene tarjeta gráfica, así que su tiempo depende de tu equipo.
Aún sin medir: Antigravity (no formó parte de esta ronda).
Una regla está registrada de antemano cuando se escribe antes de ejecutar la prueba, de modo que no se puede torcer para que encaje con el resultado. Escribimos ambas primero.
Claude Haiku 5.5 es el modelo que recomendamos para una clave de Anthropic guardada si su puntuación no queda más de 5 puntos porcentuales por debajo de la de Claude Sonnet 5.5 y ninguna de sus respuestas es un error. Si no, Claude Sonnet 5.5 sigue siendo el recomendado.
Resultado: 92,8 % frente a 95,8 %, a 3,0 puntos de distancia y sin errores. Se recomienda Claude Haiku 5.5.
Antes de cada versión, el modelo que recomendamos debe obtener al menos un 85 % en conjunto y al menos un 70 % en cada tipo de pregunta, sin errores. Si no llega, investigamos antes de publicar.
Resultado: Claude Haiku 5.5 obtuvo un 92,8 % en conjunto y sin errores, y su tipo más flojo fue el 85 % («Varias notas»). Superó la comprobación. Esta se aplica al modelo recomendado; como comparación, el tipo más flojo de Claude Sonnet 5.5 fue el 88 %, también sin errores.
¿Has encontrado un fallo en la prueba o quieres que añadamos una pregunta?
Cuéntanoslo
ChatMD