IA

Los modelos de IA empeoran después del estreno

Cuando sale un modelo nuevo, todo son demostraciones espectaculares. Unas semanas después, el mismo modelo hace menos con el mismo prompt. No es una sensación: ya ha pasado, está documentado y las empresas lo han tenido que reconocer.

El 20 de octubre, Ivana publicó dos simulaciones de Mentos hechas con Claude Opus 5.5 y el mismo prompt. Una es del 30 de septiembre y otra del 20 de octubre.

Ivana@ivanainai
Traducido al español

El mismo modelo. El mismo prompt. Veinte días de diferencia.

Imagen original del vídeo de Ivana, con las dos simulaciones identificadas como 30 de septiembre y 20 de octubre.

20 de octubre de 2026

Extracto · Ver la publicación y el vídeo en X

No es la única. Tony ya recogía quejas el 27 de septiembre, antes de su vídeo. Cosmic describe el ciclo completo: estreno brillante, decepción y un modelo nuevo que impresiona recuperando lo que el anterior ya hacía.

GPT-4 empeoró y está demostrado

Lingjiao Chen, Matei Zaharia y James Zou compararon GPT-4 en marzo y en junio de 2023. Identificando números primos, pasó del 84 % al 51 % de aciertos en tres meses, con el mismo nombre. El estudio está revisado y publicado en Harvard Data Science Review.

Gráfica de la prueba de números primos y compuestos del estudio HDSR: GPT-4 de marzo de 2023 obtuvo 84 por ciento y el de junio 51 por ciento de aciertos.
Chen, Zaharia y Zou · HDSR, 2024.

Mejoró en otras tareas, sí. Pero si tú lo usabas para esa, tenías un modelo peor y nadie te avisó.

Lo niegan hasta que lo reconocen

En septiembre de 2025, Anthropic tuvo que admitir que tres errores suyos habían empeorado las respuestas durante agosto y principios de septiembre. En la peor hora, uno de ellos afectaba al 16 % de las peticiones de Sonnet 4. Los usuarios lo notaron antes de que la empresa encontrara las causas.

AnthropicA postmortem of three recent issues
Traducido al español

Según Anthropic, nunca reducen la calidad del modelo por demanda, hora del día o carga de los servidores.

17 de septiembre de 2025

Leer el informe técnico de Anthropic

Puede ser. Pero durante semanas el modelo respondió peor, y quien lo detectó fue el que paga.

El estreno es un escaparate

The Leaderboard Illusion, publicado en NeurIPS 2025, documentó que Meta probó 27 variantes privadas en Chatbot Arena antes de un lanzamiento. Lo que vemos el día del estreno es el mejor de muchos intentos. Lo que usamos después es otra cosa.

Lo mismo, con más trabajo

Haleemah@Haleeeemahh
Traducido al español

No diría que Opus esté recortado, pero necesita unos cuantos prompts más para parecerse al primer resultado.

21 de octubre de 2026

Extracto · Ver su comparación y comentario original

Eso también es empeorar. Cada intento extra es tiempo tuyo: leer la respuesta, encontrar qué falla y volver a pedirlo.

Ni siquiera el mismo día sale lo mismo. Dewaldt Huysamen ejecutó dos veces un prompt parecido con Opus 5.5, esfuerzo xhigh y la misma herramienta de terminal.

Dewaldt Huysamen@GodsBoy7777
Traducido al español

Una tardó 21 minutos y la otra 75. Construcciones completamente diferentes.

21 de octubre de 2026

Extracto · Ver sus dos ejecuciones en el vídeo original
Ver la imagen original con sus condiciones de prueba
Imagen original del vídeo de Dewaldt. Declara dos ejecuciones el 20 de octubre, un prompt propio parecido al de Ivana y tiempos de 75 y 21 minutos.
Comparación de Dewaldt.

Pagas lo mismo y no sabes cuál de los dos te va a tocar.

El nombre no cambia, el modelo sí

Lo que recibes no depende solo del modelo. El proveedor puede cambiar las instrucciones ocultas, las herramientas o el esfuerzo de razonamiento sin avisarte, y tú sigues viendo el mismo nombre.

1Modelo base
2Instrucciones y contexto
3Herramientas y esfuerzo de razonamiento
4Respuesta que recibes

Pizarro, Azanza y Pérez Lamancha siguieron durante veinte meses herramientas de IA para generar pruebas de software y encontraron regresiones. Tschisgale y Wulff fijaron todo lo que estaba en su mano con GPT-4o (versión, parámetros y prompt) y, aun así, los resultados de una tarea de física variaban según la hora y el día de la semana.

Lo que digo

Los modelos empeoran después del estreno. Hay regresiones demostradas, fallos que las empresas solo reconocen cuando no les queda otra, estrenos inflados y cambios que nadie te comunica.

¿Lo hacen a propósito para vendernos el siguiente? No lo puedo probar. Pero para quien paga da igual: el modelo que te enseñan el primer día no es el que usas un mes después.

Para seguir leyendo

Volver a UnaCosa