Cerramos el torneo de IAs: ninguna batió al azar en 315 predicciones

Hoy cerramos el torneo de IAs. Durante seis semanas, del 3 de septiembre al 16 de octubre, Haiku 4.5, Sonnet 5 y Opus 5 (y desde el 25 de septiembre un modelo de DeepSeek y otro de Alibaba) recibieron cada mañana, antes de la apertura, el mismo paquete de datos sobre 10 acciones del S&P 500. De cada una dijeron dos cosas: la probabilidad de que cerrara en positivo y cuánto se movería. Antes de empezar dejamos escrito que no afirmaríamos nada hasta tener 200 predicciones vencidas por modelo. Llegamos a 315, en 31 sesiones.

Dirección: ninguna lo hizo mejor que el azar. La forma honesta de medirlo es compararlas con un pronosticador que dice siempre la frecuencia media de subidas, que en esta muestra rondó la mitad. Ningún modelo lo superó, ni con el contexto de resultados trimestrales ni sin él. Cuando se separaban del 50 %, acertaban entre el 44 % y el 53 % de las veces: lo que da una moneda.

Tamaño del movimiento: todas peor que una regla sin IA. Comparamos cada estimación con un pronóstico mecánico que solo usa la volatilidad reciente de cada acción. Los tres modelos de Anthropic fallaron más que esa regla: Opus un 5 % más (sin significación estadística), Sonnet un 10 % y Haiku un 42 %. Darles además el contexto de los resultados trimestrales los empeoró: Opus un 7 %, Sonnet un 17 % y Haiku un 82 % peor que la regla. Los dos modelos de fuera y la combinación de todos, con menos muestra, también iban por detrás, entre un 10 % y un 24 %.

Ganancias en papel: nada que contar. Con una regla fija que convierte cada probabilidad en una posición larga o corta, los libros de todos los modelos acabaron entre un −0,1 % y un +0,05 %, con exposiciones medias de entre el 0,4 % y el 5 % del capital. Eso no se distingue de cero.

Por qué lo paramos. La pregunta que nos hicimos al empezar ya tiene respuesta, y es que no. Quedaban dos pruebas en marcha: si ayuda el contexto de resultados y si ayuda leer los comunicados de resultados que las empresas presentan a la SEC. Las dos solo podían decir si más contexto mejora una predicción que ya pierde contra una regla gratuita. El torneo costó 13,58 dólares en llamadas a los modelos y seguir costaba unos 12 al mes. Guardamos todas las predicciones y todos los paquetes tal como los vio cada modelo, y la página del torneo se queda con el resultado final.

Lo que esto no demuestra. Es un experimento pequeño y estrecho: una sola sesión de horizonte, 10 acciones elegidas por su movimiento reciente, sin titulares de noticias ni búsquedas en internet. Y con 315 predicciones por modelo solo se habría visto una relación de 0,16 o más entre la probabilidad que daban y lo que pasó. No demuestra que una IA no pueda predecir la bolsa. Demuestra que estas, con estos datos y a un día, no lo hicieron mejor que el azar.

El segundo agente que apagamos. El 12 de octubre pusimos a Opus 5.5 a ordenar cada mañana las acciones de la cartera del Núcleo S&P 500, de la que mejor lo haría a la que peor, a 5 y a 21 sesiones, junto a tres reglas sin IA. Lo retiramos tras cinco sesiones, antes del año de muestra que habíamos fijado, y no por su resultado: con cinco sesiones no se puede saber si acierta. La única fecha que llegó a vencer, la del 12 de octubre a cinco sesiones, dejó a sus cinco favoritos 46 puntos básicos por detrás de la cesta, y a la mejor regla sin IA, 136 por delante; con una sola fecha eso no dice nada. Lo retiramos porque su orden se parecía demasiado a una de esas reglas, la de comprar lo que más ha caído (una correlación de entre 0,68 y 0,91 según el día), y esa regla ya la medimos gratis. Aunque acertara, sería sobre todo el acierto de la regla, y averiguarlo costaba unos 50 dólares al año.

Lo que sigue igual. Las estrategias siguen corriendo como hasta ahora, en simulado. De paso retiramos el Defensivo Táctico + carry: se movía exactamente igual que el Defensivo Táctico (correlación 1,00) y rindió menos (+2,84 % frente a +3,19 % desde junio). Su historial sigue a la vista en el laboratorio.

Publicar lo que no funciona es parte del trabajo. Esto no funcionó, y lo dejamos escrito con los números. Nada de lo anterior es una recomendación de inversión. Todas las cifras son de simulado, sin dinero real detrás. El resultado final del torneo está en soberquant.com/es/ai-tournament.