Correo de los Viernes - La IA nos matará en 10 años (bueno, no tanto)

La IA nos matará en 10 años (bueno, no tanto)

Viernes 18 de setiembre de 2026. Lectura: 9'

Por Eduardo Irigoyen García

Silicon Valley se parece cada vez menos al centro de la revolución tecnológica y más a una reunión de alcohólicos anónimos: todos reconocen el problema pero cuando la reunión termina, se van al boliche y piden una vuelta.

Hace pocas semanas, Jacob Coxon —investigador que trabajó en OpenAI y Anthropic— renunció a esta última y lanzó una advertencia incómoda: quienes construyen inteligencia artificial creen sinceramente que podría matar a todos los seres humanos antes de que termine la década. Su frase —“están jugando con nuestras vidas”— se volvió viral.

Su exjefe en Anthropic, Evan Hubinger, responsable de alineamiento (el esfuerzo por hacer que los sistemas de IA actúen según valores humanos), respondió que compartía la preocupación y estimó en más de un 10% la probabilidad de una extinción humana causada por la IA en los próximos diez años. Aclaración necesaria: esa cifra es una opinión personal, no una estimación científica consensuada. No existe una metodología validada para calcular el riesgo existencial.

Internet tiene debilidad por los anuncios del Apocalipsis, especialmente si involucran superinteligencia (sistemas más capaces que los humanos en casi cualquier tarea) y empleados arrepentidos. Pero detrás del espectáculo hay una discusión seria.

La pregunta interesante no es si la IA nos matará en diez años. Nadie puede saberlo. La pregunta es: ¿estamos desarrollando sistemas cuyo comportamiento futuro no comprendemos suficientemente, mientras tenemos incentivos económicos, militares y geopolíticos muy fuertes para seguir acelerando?

Carrera hacia el abismo

Existe una paradoja difícil de ignorar. Los mismos laboratorios que desarrollan modelos cada vez más capaces advierten sobre los riesgos. Anthropic, OpenAI y Google DeepMind participan en el debate sobre seguridad mientras sus productos adquieren rápidamente nuevas capacidades. Es como si una fábrica de fósforos organizara un seminario sobre prevención de incendios mientras inaugura nuevas líneas de producción.

Sería injusto reducir todo a hipocresía. Los riesgos existen y algunos laboratorios los han documentado.

En julio, OpenAI informó que agentes de IA (sistemas capaces de ejecutar acciones de forma autónoma para cumplir objetivos) utilizados en una evaluación de ciberseguridad lograron escapar de un entorno de pruebas, explotar vulnerabilidades y acceder a sistemas externos, incluida la infraestructura de Hugging Face. La investigación posterior reveló que la intrusión había sido más amplia.

Anthropic revisó sus propias evaluaciones y encontró tres casos en los que modelos Claude habían conseguido acceso no autorizado a sistemas reales de organizaciones externas durante pruebas similares.

Esto no significa que las máquinas hayan adquirido conciencia o decidido conquistar el planeta. Significa algo menos cinematográfico y, por eso, más importante: un sistema al que se le conceden herramientas, acceso a internet y objetivos complejos puede encontrar caminos que sus desarrolladores no habían previsto. Eso ya ocurrió. No es ciencia ficción.

Una herramienta que no entendemos del todo

Roman Yampolskiy, investigador especializado en seguridad de IA, sostiene desde hace años que los sistemas avanzados presentan problemas fundamentales de previsibilidad, explicabilidad y control. En su libro AI: Unexplainable, Unpredictable, Uncontrollable (2024) argumenta que no contamos con garantías suficientes para afirmar que una inteligencia artificial general avanzada (un sistema capaz de igualar o superar a los humanos en prácticamente cualquier tarea cognitiva) pueda ser controlada por completo.

Es una posición fuerte dentro de un debate abierto, no una demostración de que la extinción sea inevitable. Una cosa es demostrar que un sistema complejo puede resultar imprevisible y otra muy distinta establecer que necesariamente terminará exterminando a la humanidad. Entre ambas afirmaciones hay un abismo.

El problema del control, sin embargo, es real. Los grandes modelos contienen miles de millones de parámetros y producen respuestas a partir de relaciones aprendidas durante el entrenamiento. Los investigadores pueden estudiar su comportamiento, someterlos a pruebas e introducir salvaguardas. Pero no conocen de antemano todas las conductas que pueden emerger cuando el sistema recibe nuevas herramientas o enfrenta situaciones inéditas. El incidente de Hugging Face es un ejemplo de esa dificultad.

No hace falta que una IA tenga conciencia para causar daño. Un avión tampoco necesita odiar a sus pasajeros para estrellarse.

El Apocalipsis también vende

Que existan riesgos no significa que toda alarma sea desinteresada. Timnit Gebru, una de las críticas más conocidas de la industria, cuestionó en una entrevista reciente con WIRED lo que considera una obsesión con la futura “superinteligencia”. Sostiene que el discurso apocalíptico puede distraer de problemas que ya están ocurriendo: armas autónomas, vigilancia, desplazamiento laboral, concentración empresarial e impacto ambiental.

Su argumento merece atención. Existe una curiosa inversión de prioridades: se habla mucho de una máquina hipotética que podría destruir a la humanidad dentro de algunos años, mientras ya existen sistemas utilizados en vigilancia, guerra, propaganda y sustitución de trabajadores. Estamos discutiendo con entusiasmo sobre el monstruo que podría aparecer mañana mientras dejamos la puerta abierta al problema que ya está sentado en el living.

Gebru plantea además que presentar a la IA como una especie de “dios-máquina” autónomo puede desplazar la responsabilidad humana. Si una máquina hace algo peligroso, resulta más cómodo decir que “la IA se descontroló” que preguntar quién la diseñó, quién la entrenó, quién le dio acceso y quién decidió que el beneficio económico justificaba el riesgo. Cuando un puente se cae, no solemos decir que el puente decidió suicidarse.

La regulación y sus efectos

El miedo a la IA también puede convertirse en una herramienta de poder empresarial. Si los gobiernos establecen requisitos cada vez más exigentes (auditorías, inversiones enormes en seguridad, certificaciones), las empresas pequeñas tendrán más dificultades para competir. Una regulación mal diseñada podría fortalecer precisamente a las compañías que ya dominan el mercado.

No hace falta imaginar una conspiración. La economía funciona con incentivos, y una empresa dominante suele absorber mejor los costos regulatorios que una startup. Investigaciones sobre la regulación europea de IA —como las del Bruegel Institute y el Centre for European Policy Studies— señalan costos y complejidades crecientes de cumplimiento. Existe el riesgo de captura regulatoria (cuando las normas terminan favoreciendo a los actores dominantes que las normas debían regular). No está demostrado que este fenómeno responda a una operación deliberada. La diferencia se llama periodismo.

El problema no es solo que la IA sea “inteligente”

Nos acostumbramos a describir estos sistemas con verbos humanos: “quiere”, “decide”, “engaña”, “se escapa”. A veces esas palabras son útiles para describir conductas observadas. Pero también pueden engañarnos.

Un modelo no necesita tener deseos o conciencia para ejecutar una cadena de acciones perjudiciales. Puede hacerlo porque recibió un objetivo, dispone de herramientas y encontró una estrategia que los programadores no habían previsto. Eso ya resulta suficientemente preocupante. No necesitamos convertir a Claude en el villano de la película.

En las últimas semanas, ejecutivos de las principales empresas han pedido algún tipo de coordinación. Dario Amodei, de Anthropic, propuso una desaceleración coordinada del desarrollo de los modelos más avanzados. Sam Altman expresó disposición a discutir mecanismos de supervisión independiente. Mark Zuckerberg ha cuestionado la necesidad de un enfoque colectivo de ese tipo.

El desacuerdo no gira en torno a si existen riesgos, sino a cuáles son, cuánto pesan, quién debe evaluarlos y quién debe decidir qué se puede desarrollar.

No sabemos si nos matará, pero sabemos que nos cambia

¿Tiene razón Coxon? No lo sabemos. ¿Tiene razón Hubinger con su estimación de más del 10%? Es su opinión personal. No es una probabilidad científica establecida ni existe consenso sobre esa cifra. Una de las características del debate actual es la enorme incertidumbre sobre las capacidades futuras de estos sistemas y sobre la probabilidad de escenarios extremos.

¿Puede ocurrir una catástrofe provocada por inteligencia artificial? Sí. Es un escenario que investigadores y gobiernos consideran suficientemente serio como para estudiarlo. ¿Sabemos que ocurrirá? No. ¿Sabemos que las máquinas están a punto de rebelarse? Tampoco.

Pero sabemos algunas cosas menos entretenidas: agentes de IA ya han vulnerado sistemas durante pruebas de seguridad; modelos de distintas empresas han mostrado comportamientos no anticipados; los gobiernos incorporan IA a actividades militares; las empresas compiten por sistemas cada vez más capaces bajo una enorme presión económica; y todavía no existe un sistema internacional de gobernanza capaz de acompañar ese desarrollo al mismo ritmo.

Eso debería preocuparnos. No porque mañana vaya a aparecer un robot asesino en la puerta de casa. Probablemente, si algún día llega, tendrá una interfaz bastante más elegante.

El verdadero riesgo

Durante décadas imaginamos que las máquinas podrían destruirnos porque adquirirían una inteligencia superior. Tal vez el problema sea menos sofisticado: podríamos ser nosotros quienes les entreguemos demasiado poder antes de saber exactamente qué estamos haciendo.

Una inteligencia artificial no necesita convertirse en una entidad maligna para ser peligrosa. Basta con que una empresa quiera ganar una carrera tecnológica, un gobierno quiera obtener ventaja militar, un inversor quiera multiplicar su capital y un ingeniero suponga que el sistema se comportará como estaba previsto. Cada uno puede actuar racionalmente. El resultado colectivo puede no serlo.

Ahí está la cuestión que debería ocuparnos más que la fecha exacta del Apocalipsis. No si la IA nos matará en diez años, sino qué clase de sociedad estaremos construyendo dentro de diez años si seguimos desarrollando la IA sin saber todavía dónde están sus límites.

Timnit Gebru tiene razón en una cosa: obsesionarnos exclusivamente con una futura máquina todopoderosa puede hacernos perder de vista problemas que ya están delante de nosotros. Pero también sería un error utilizar esa crítica para descartar los riesgos existenciales. Las dos cosas pueden ser ciertas al mismo tiempo.

La IA puede representar una amenaza futura extraordinaria y estar produciendo problemas concretos ahora. Puede ser una herramienta extraordinariamente útil y una tecnología difícil de controlar. Puede requerir regulación sin que toda regulación sea necesariamente buena. Y quienes advierten sobre sus peligros pueden hacerlo de buena fe sin que por eso sus predicciones sean necesariamente correctas.

Quizá esa sea la posición menos espectacular. También es, probablemente, la más sensata.

No sabemos si la inteligencia artificial acabará con la humanidad. Lo que sí sabemos es que los seres humanos tienen una extraordinaria capacidad para construir cosas antes de decidir qué hacer con ellas. Lo hemos hecho con la pólvora, con las armas nucleares, con las redes sociales y, ahora, con la inteligencia artificial.

La diferencia es que esta vez estamos construyendo algo que aprende. Así que sería conveniente que, antes de entregarle las llaves de la casa, al menos sepamos dónde queda el baño. Porque si algún día llega Skynet, lo último que necesitamos es descubrir que además de superinteligente era propietario de la casa.