Desde que se popularizó la IA generativa no paran de aparecer titulares del tipo "la IA predice X". Muchos hablan de acontecimientos que ni un analista experto llamaría predecibles: ganadores de un Mundial, resultados de unas elecciones, decisiones judiciales. Nos recordaba mucho al pulpo Paul, aquel molusco alemán que en el Mundial de 2010 acertó ocho pronósticos seguidos y acabó tratado como un oráculo real. Creemos que con la IA generativa está pasando algo parecido, pero sin animales involucrados.
Así que montamos un experimento que uniera las dos ideas: dar el cuadro eliminatorio del Mundial 2026 a cuatro oráculos con métodos muy distintos (una IA sin conexión, una IA con acceso a la web, un grupo de humanos y una moneda al aire), sellar las predicciones antes de que empezara, y comparar cuando terminase.
Lo que nos llevó a hacer esto
Hay algo en común en muchos titulares recientes de "la IA predice X". Se le pide a un sistema estadístico que anticipe un fenómeno humano con muchísimo ruido de fondo, y su respuesta se trata como un análisis riguroso. La IA de Google que predice cuándo llegarán las próximas elecciones en España, la empresa china que desarrolla una IA para identificar disidentes antes de que actúen, las prisiones españolas que siguen usando un algoritmo sin actualizar desde 1993 para decidir permisos de salida. Son casos muy diferentes pero tienen la misma idea de fondo, que un modelo puede sustituir el juicio experto en un dominio con demasiado azar.
Por supuesto hay dominios en los que la predicción funciona bien, pero en sistemas humanos complejos no está claro que funcione mejor que un pulpo (por mucho criterio que pueda tener el pulpo).
Un Mundial es un caso obvio de sistema con demasiado ruido. El resultado de un partido depende de infinitos factores azarosos. Y eso es un partido. Si encadenamos quince en formato eliminatorio, los errores se arrastran y se multiplican. Nuestra hipótesis de partida era que ninguna IA debería tener ventaja significativa sobre un humano con contexto.
Diseñamos el experimento para poder decirlo con datos y no con opinión.
Los cuatro oráculos
Definimos cuatro métodos distintos a los que les plantearíamos la misma pregunta: ¿quién pasa cada cruce, quién llega a la final, quién es campeón? Todas las predicciones se sellaron antes de que empezaran los octavos y no se han tocado desde entonces.
El Pulpo. Un algoritmo aleatorio que elige el ganador de cada cruce con una moneda al aire. Homenaje al pulpo Paul y línea base del experimento: ningún oráculo debería quedarse por debajo del azar.
El Humano. Un grupo de compañeros de Cloud District votando por formulario, antes de la fase eliminatoria, sin ver las predicciones de los demás. Se agregan por mayoría cruce a cruce. Por supuesto, como cualquier votación, tiene sesgos: aficionados españoles votando en un Mundial donde España tiene equipo fuerte. (Y unos cuantos compañeros argentinos que también participaron.)
IA Local. Un modelo de lenguaje sin acceso a internet. Elige los ganadores con lo que sabe de fútbol por su entrenamiento. Sesgo previsible: tirar de potencias históricas.
IA Conectada. Un modelo con búsqueda activa. Consulta noticias recientes, forma actual de los equipos, casas de apuestas. Sobre el papel es el que parte con ventaja.
Puedes explorar el cuadro y las cuatro predicciones en el site del Oráculo.
Lo que dijo cada uno antes de empezar
| Oráculo | Campeón | Finalista | Semis (los otros dos) |
|---|---|---|---|
| Pulpo | Bélgica | México | Marruecos, Colombia |
| Humano | España | Argentina | Francia, Brasil |
| IA Local | Argentina | Francia | Brasil, España |
| IA Conectada | Francia | Argentina | España, Brasil |
En octavos los cuatro coinciden en algunos pocos ganadores: Marruecos, Francia, Brasil y Colombia. En los otros cuatro cruces ya empiezan a divergir. A partir de cuartos las opiniones se separan del todo, y en el campeón del mundial cada uno apuesta por un país distinto.
La IA Local y la IA Conectada dan respuestas parecidas pero no iguales. La Local se aferra a Argentina como campeona (potencia histórica reciente), la Conectada apuesta por Francia (posiblemente influida por las cuotas de las casas de apuestas del momento). Ninguna de las dos ve a España ganadora.
El Humano sí y con bastante margen: un 35 % de los votantes la eligieron como campeona, por delante de Francia (23 %) y Argentina (18 %).
Lo que pasó al final
Este ha sido un Mundial donde la mayoría de los favoritos han avanzado casi hasta el final. Como ya sabemos, finalmente España se llevó el campeonato tras vencer a Argentina en la final, con Francia e Inglaterra fuera en semis. Con esos resultados y las predicciones ya selladas desde antes de octavos, el marcador de los oráculos queda así.
Puntuamos con un sistema ponderado: 1 punto por cada acierto en octavos, 2 por cada cuarto, 4 por cada semifinal y 8 por el campeón. Cada ronda pesa 8 puntos en el total, con un máximo de 32.
| Oráculo | Octavos | Cuartos | Semis | Campeón | Total | % |
|---|---|---|---|---|---|---|
| Humano | 4 | 6 | 8 | 8 | 26 | 81 % |
| IA Conectada | 5 | 8 | 4 | 0 | 17 | 53 % |
| IA Local | 6 | 6 | 4 | 0 | 16 | 50 % |
| Pulpo | 3 | 0 | 0 | 0 | 3 | 9 % |
El Humano ha ganado y por bastante, muy por delante de la mejor IA.
Las dos IAs se han quedado muy parejas entre sí. La Conectada solo saca tres puntos porcentuales a la Local, y eso teniendo acceso a la web, a las casas de apuestas y a la prensa deportiva del momento. El Pulpo ha cumplido su papel de suelo: tres octavos por casualidad y nada más.
Los matices
Ronda a ronda hay algunas diferencias curiosas. La IA Conectada acertó los cuatro semifinalistas y la Local acertó tres. Ambas fallaron al campeón, y ninguna veía a España ganadora. Con un solo Mundial encima de la mesa, esas variaciones son sobre todo anécdota: para decir en serio que una IA "predice mejor" haría falta correr el experimento en varios Mundiales.
Lo que sí llama la atención por el tamaño es la diferencia entre el Humano y las dos IAs: veintiocho puntos porcentuales. Podría ser suerte del Humano, pero es una brecha grande. Frente a eso, los tres puntos porcentuales que separan la Conectada de la Local son casi ruido: toda la supuesta ventaja de tener acceso a la web apenas ha movido el marcador respecto a la IA que respondía de memoria.
La trampa del "acertó"
Aquí hay que hablar del pulpo Paul.
En 2010, Paul acertó ocho de ocho pronósticos. La probabilidad de que un evento binario salga bien ocho veces seguidas por casualidad es 1 entre 256. Aproximadamente un 0,4 %. Es poco, pero no es imposible. Y sobre todo: hubo miles de intentos parecidos en el mundo esa temporada. Osos, papagayos, cerdos, gatos. Ponemos suficientes animales a predecir y alguno va a acertar por pura estadística. Paul fue el que ganó la lotería y salió en los periódicos. Los que fallaron no salieron. Ya en su momento hubo mucho artículo crítico alrededor de este asunto.
Ahora aplícale eso a un titular del tipo "la IA predice quién gana el Mundial". Si acierta, ¿qué sabemos? Que ha acertado. No sabemos si es buena prediciendo Mundiales, porque solo la hemos visto probar uno. Para saber lo primero habría que ejecutar el experimento muchas veces, con Mundiales distintos, y ver si tiende a acertar por encima del azar.
(Nuestro experimento tiene el mismo problema. Un solo Mundial, una sola tirada. Aunque el Humano ha ganado con 81 %, no podemos decir con seguridad que "los humanos predicen mejor los Mundiales que la IA". Podemos decir que en este Mundial, con este grupo de votantes y estas IAs, ha dado este resultado.)
Un par de puntualizaciones antes de cerrar. Los votantes son un grupo autoseleccionado de Cloud District, no la humanidad. La IA Conectada, cuando mira las casas de apuestas, hereda su sesgo hacia favoritos históricos: parte de su acierto puede ser mérito del mercado, no del modelo. Y el sesgo humano por España salió bien: los votantes españoles la votaron más de lo estadísticamente esperable, y ganó de verdad. Cuánto fue criterio y cuánto afinidad, no lo sabemos.
Conclusiones
El experimento no dice que la IA no sirva para predecir. Dice que no sirve para predecir un Mundial. Y probablemente tampoco para predecir elecciones, disidencia política o si un preso debería tener permiso de salida.
Hay dominios donde rinde muy bien. El ajedrez es el caso cerrado clásico. La meteorología a corto plazo o los sistemas de tráfico funcionan por la misma razón: reglas estables y mucho dato coherente detrás. Un ejemplo reciente son unos estudiantes españoles que han construido una IA que predice riesgos climáticos para centros de datos: dominio bien delimitado y modelable, tiene sentido pedirle a un modelo que prediga.
Donde no funciona es en disciplinas con componente humano importante (e imprevisible), contexto que cambia rápido, cuando hay muestras muy pequeñas… Un Mundial parece un ejemplo muy bueno donde no va a funcionar. Unas elecciones, la decisión de un juez, la trayectoria futura de una persona, lo mismo. Ahí una IA no tiene un mapa mejor que el nuestro; como mucho, tiene el mismo que las casas de apuestas o la prensa deportiva del momento, con todos los sesgos incluidos.
La próxima vez que veas un titular tipo "la IA predice X", pregúntate qué es X, con qué datos se predice y cuánto ruido tiene ese dominio. Si la respuesta es un evento único con mucho azar humano, el titular está diciendo básicamente lo mismo que si Paul, el pulpo, siguiera vivo y comiera de la caja adecuada.
El cuadro completo con todas las predicciones y aciertos está en el site del Oráculo. Trastea, compara y saca tus propias conclusiones.