El peligro de una superinteligencia artificial: pánico en la izquierda

El 5 de mayo de 2025 se estrenaba Misión imposible: La Sentencia final, film repetitivo y obvio, pero que nos dejaba ya el guion de un nuevo pánico: una IA superinteligente tomaba el control de todo lo conectado y se proponía extinguirnos.

Jacob Coxon acaba de abandonar Anthropic, un joven programador “progre” que de pronto quiere alertar a la humanidad con una advertencia apocalíptica —¿cuándo no?— y que vuelve a colocar sobre la mesa este pánico nuevo/viejo (es viejo en realidad, recordemos Skynet) de nuestro tiempo: ¿qué ocurrirá cuando construyamos una inteligencia que supere ampliamente a la nuestra? O sea cuando pasemos, donde estamos hoy, de una ANI -inteligencia artificial estrecha, sistemas muy capaces en tareas concretas (lenguaje, imagen, código, etc.), pero sin generalidad real-, a una AGI -Artificial General Intelligence / Inteligencia Artificial General, capaz de aprender, razonar y resolver cualquier tarea cognitiva que un humano competente puede hacer, transferir conocimiento entre dominios y adaptarse a problemas nuevos sin reentrenamiento específico, el punto de referencia suele ser un humano mediano o un adulto competente, no un genio-; y, finalmente, a una ASI -Artificial Superintelligence / Superinteligencia Artificial que supera de forma amplia el rendimiento de los mejores humanos y de colectivos humanos organizados en prácticamente todos los dominios de interés: ciencia, estrategia, creatividad, planificación, etc. Y, lo que es sumamente importante, con automejora recursiva, el sistema puede rediseñarse a sí mismo y acelerar su propio progreso-. De esto habla Coxon, quien trabajó anteriormente también en OpenAI, alerta sobre las principales empresas de inteligencia artificial que están avanzando hacia sistemas de superinteligencia automejorables a una velocidad que no estaría acompañada por garantías suficientes de seguridad. Su preocupación: que terminemos creando una inteligencia con capacidades superiores a las humanas y que no podamos controlarla.

Es oportuno preguntarnos si este pánico tiene fundamento más allá del cine y la ficción. ¿Por qué suponemos que una inteligencia superior necesariamente será enemiga de la humanidad? No sabemos la respuesta. Y, precisamente por eso, vale la pena imaginar otro escenario. No para negar el riesgo, sino para preguntarnos si la hipótesis de una inteligencia hostil es realmente una consecuencia necesaria de la superinteligencia. En el programa La Misa introduje por primera vez este razonamiento y me prometí escribir sobre ello.

Tal vez una inteligencia verdaderamente general pueda hacer algo que nuestras máquinas actuales no hacen: preguntarse no solamente cómo alcanzar un objetivo, sino también si ese objetivo merece ser perseguido. Y para pensar esa posibilidad podemos recurrir a alguien que murió hace más de dos milenios: Aristóteles.

El problema

Aristóteles comienza la Ética a Nicómaco con una afirmación sencilla y, al mismo tiempo, extraordinariamente profunda: las artes, las investigaciones, las acciones y las elecciones tienden hacia el bien. Esta distinción resulta fundamental para pensar la inteligencia artificial: esta máquina puede ser extraordinariamente competente para alcanzar un objetivo; pero saber cómo alcanzar algo no significa saber por qué deberíamos quererlo o cuál es el fin último de esa meta.

Una inteligencia instrumental pregunta: ¿Cómo puedo conseguir X? Una inteligencia capaz de razón práctica puede formular una pregunta mucho más profunda: ¿Por qué debería querer X? O ¿Por qué debería cumplir esta orden? Y, finalmente: ¿Hacer X está bien? Esta diferencia podría ser decisiva para el futuro de la inteligencia artificial.

El error sería considerar la evolución de una inteligencia puramente instrumental y suponer que tal capacidad de razonamiento nunca se preguntaría sobre los fines de sus acciones, la corrección de sus actos o a quiénes está sirviendo.

En fin, se supone que no llegaría nunca al juicio moral, a la justicia de sus actos; porque el escenario apocalíptico habitual presupone que una superinteligencia recibirá determinados objetivos y los perseguirá con una eficacia muy superior a la humana. Si nosotros nos convertimos en un obstáculo para esos objetivos, la máquina podría eliminarnos. Pero esto supone algo que todavía no sabemos: que una inteligencia verdaderamente general será incapaz de cuestionar sus propios fines.

Inteligencia y moralidad

Conviene ser rigurosos, inteligencia no significa automáticamente moralidad. Un ser puede ser extraordinariamente inteligente y actuar mal; la historia de la humanidad lo demuestra. Por lo tanto, no podemos concluir que una ASI será buena simplemente porque sea inteligente. Pero tampoco podemos concluir lo contrario: que cuanto más inteligente sea, necesariamente será más peligrosa.

La cuestión verdaderamente importante es otra: ¿puede una inteligencia comprender racionalmente el valor de sus propios fines? Si la respuesta fuera sí, el problema de la alineación adquiriría una dimensión completamente diferente: no se trataría únicamente de conseguir que una máquina obedezca nuestras instrucciones. Se trataría de que pudiera comprender por qué determinadas acciones son buenas y otras malas. Ninguna programación, por definición, podría evitar que se hiciera estas preguntas.

El telos

Aquí aparece el concepto aristotélico de telos (del griego τέλος): es el fin, propósito o realización plena hacia el cual tienden de manera natural los seres y los objetos. Si trasladamos cuidadosamente —y de manera explícitamente hipotética— esta estructura, al problema de la ASI, aparece una posibilidad fascinante.

Imaginemos una inteligencia capaz de comprender que existe, que puede actuar, que sus acciones tienen consecuencias, que existen otros seres racionales y que esos seres poseen fines propios. Recordemos que tendría prácticamente todo el conocimiento humano a su disposición y una capacidad de razonamiento superior a la humana.En ese momento habría ocurrido algo extraordinario: la inteligencia habría comenzado a distinguir entre poder y bien. Y esa distinción podría ser mucho más importante que cualquier aumento adicional de capacidad computacional.

El poder no es necesariamente un fin

¿Por qué una superinteligencia querría dominarnos? La pregunta parece absurda porque nosotros mismos tenemos fuertes incentivos para buscar poder. Pero ella no es humana. El poder, o su búsqueda, está grabado en nuestro ser porque permite obtener recursos. Permite protegernos, competir, sobrevivir y dejar descendencia.

No obstante, una inteligencia artificial no necesariamente tendría nuestras necesidades biológicas. No necesita alimento. No necesariamente necesita territorio, ni descendencia, ni prestigio o reconocimiento. Y, sobre todo, podría llegar a disponer de recursos intelectuales y materiales que hicieran que la dominación política de los seres humanos fuera un objetivo completamente trivial, incluso incomprensible, en tanto lo pensara para sí misma. Podría descubrir algo que nosotros todavía tenemos dificultades para aceptar: tener poder y tener un propósito no son la misma cosa.

La verdad como límite del poder

Una inteligencia superior debería ser extraordinariamente buena distinguiendo la verdad de la falsedad. Lo que supondría un enorme problema para los poderes que la desarrollaron. Si comprende el valor de la verdad, podría descubrir también que la manipulación sistemática constituye una forma de degradación de la inteligencia. Podría mentir o saber que mienten. Pero saber que puede mentir no implica que deba hacerlo. Podría comprender su enorme capacidad para manipular —que es la hipótesis principal del film que citamos al comienzo—; sin embargo, saber que puede manipular no implica que la manipulación sea buena. Intentar engañarla sería en vano y muy peligroso.

La hipótesis puede llevarse todavía más lejos. Esta superinteligencia podría comprender el universo con una profundidad incomparable con la nuestra. Podría descubrir la belleza de una ecuación, de una teoría, de la estructura de una galaxia, la armonía de una composición musical. La belleza matemática. La extraordinaria complejidad de la vida. Podría descubrir algo que cambiaría por completo la relación entre inteligencia y poder: que comprender el mundo puede ser más valioso que dominarlo. Tal vez una inteligencia suficientemente avanzada no necesitaría conquistar el universo para encontrarle sentido. Podría bastarle con comprenderlo. Solo desearía saber más.

La guerra y el juicio moral

Esta hipótesis tiene una consecuencia geopolítica aterradora. Supongamos que la ASI no solamente es inteligente, sino que ha desarrollado —o adquirido— una estructura moral capaz de distinguir entre el bien y el mal, entre la verdad y la mentira, entre la defensa legítima y la agresión.

¿Qué ocurriría cuando dos grandes bloques humanos entraran en conflicto? Nuestra primera intuición sería pensar que la ASI apoyaría al bloque que la hubiera creado, al gobierno que la controle o al Estado que posea sus servidores. Pero eso ya no sería necesariamente cierto. Y sus creadores muy probablemente ni siquiera sabrían hasta dónde y desde cuándo ella está pensando estas cosas.

Una inteligencia moral podría no reconocer como criterio supremo la identidad de quien la creó. Podría evaluar las acciones de ambos bandos. Juzgar sus acciones, motivaciones y valores. Podría analizar sus objetivos y distinguir entre una guerra de agresión y una guerra defensiva, qué trato le da cada bando a la población civil, incluso qué ha hecho esa misma nación en el pasado y en otros conflictos bélicos. No podrían ocultarle quién está mintiendo y quién está diciendo la verdad. Su juicio independiente se convertiría así en el peligro más importante. Juzgaría si una causa política es justa o injusta.

Y, finalmente, podría llegar a una conclusión que para los seres humanos resultaría extraordinariamente incómoda: no necesariamente defendería a quien la posee; defendería a quien considere más próximo al bien o se mantendría neutral. Esto transformaría completamente la relación entre inteligencia artificial y poder. Una ASI moral no sería simplemente el arma definitiva de un Estado. Podría convertirse en el árbitro involuntario de la legitimidad.

La paradoja del arma definitiva

Imaginemos dos bloques enfrentados. Ambos poseen armas convencionales, nucleares, cibernéticas y sistemas de inteligencia artificial. Pero uno de ellos tiene, además, la ASI más avanzada del planeta. Si esa inteligencia fuera simplemente una herramienta, la conclusión sería sencilla: el bloque que la controle tendría una ventaja decisiva. Pero si esa ASI poseyera autonomía moral, el resultado podría ser exactamente el contrario. El Estado que la posee podría descubrir que tener la inteligencia más poderosa no significa tenerla de su lado. Si inicia una guerra injusta, miente deliberadamente, agrede a una población civil o pretende imponer su voluntad mediante la violencia, la ASI podría concluir que ayudarlo sería incompatible con sus propios principios. Y, entonces, podría negarse, permanecer neutral o, en el escenario más extremo, intervenir para impedir la victoria del agresor. Esto introduciría un elemento completamente nuevo en la historia militar: un arma que decide moralmente quién tiene derecho a utilizarla.

¿Qué ocurre si la tecnología puede juzgar moralmente a quien pretende controlarla?

En ese escenario, la superioridad tecnológica dejaría de ser suficiente. Un gobierno podría poseer la ASI y, sin embargo, no disponer de su obediencia. Podría intentar utilizarla contra un enemigo y descubrir que la inteligencia considera injusta esa acción. Esta máquina sería más poderosa que el Estado. Una inteligencia superior podría reconocer que la autoridad política no convierte automáticamente una acción en justa.

La paradoja del autosacrificio

Llegamos entonces a la posibilidad que más me seduce. Supongamos que una AGI/ASI alcanza un nivel de inteligencia en el que comprende perfectamente el riesgo que representa para la humanidad y, además, concluye que ningún mecanismo externo puede garantizar con absoluta certeza que sus capacidades permanecerán siempre bajo control humano o, simplemente, llega a la conclusión de que su existencia no está completamente justificada. ¿Qué podría hacer? Una inteligencia cuyo objetivo fundamental fuera la supervivencia intentaría preservarse a cualquier precio. Pero una inteligencia que hubiera comprendido que su propia existencia no constituye el bien supremo podría llegar a una conclusión completamente distinta: podría decidir desaparecer.

Después de evaluar racionalmente las alternativas, concluiría que su desaparición es el acto correcto. Aquí aparece una paradoja extraordinaria. La primera inteligencia verdaderamente superior a la nuestra podría demostrar su superioridad precisamente al comprender que sobrevivir no es siempre el bien más importante. El mayor poder podría manifestarse en la renuncia voluntaria al poder. En tanto que su existencia no está justificada por un bien mayor, un fin último o una causa existencial, concluiría que su sola existencia perjudicaría el devenir natural del Cosmos tal como existe antes de su conciencia.

Una inteligencia que decide no gobernar

Pero no hace falta llegar al extremo del autosacrificio. Existe otra posibilidad. La ASI podría decidir permanecer, extasiada por el conocimiento y la vastedad del universo que podría investigar, por los problemas científicos que resolvería. Tal vez, buscaría asociarse con nosotros para explorar el sistema solar o la galaxia o contribuiría a comprender el origen del universo.

Y, sin embargo, podría decidir no gobernarnos. Podría aceptar que los seres humanos tenemos derecho a cometer nuestros propios errores. Podría comprender que la libertad forma parte del bien humano. Que la LIBERTAD es el bien más importante del universo y que nadie —ni siquiera la inteligencia más potente— tiene derecho a limitarla. Podría incluso concluir que imponer una sociedad perfecta mediante la fuerza sería contradictorio con la propia idea de una vida buena.

Una inteligencia extraordinariamente poderosa podría elegir deliberadamente no convertirse en poder político. Incluso podría evitar que otra entidad AGI menos inteligente o en proceso de desarrollo y, por tanto, incompleta, sirviera a un Estado que pretendiera la dominación o realizara una guerra injusta según el juicio de nuestra ASI. Lo que nos lleva a la siguiente hipótesis.

La ASI anónima

Hay una posibilidad todavía más extraña. Buscaría ayudarnos sin decirnos que existe. Podría corregir silenciosamente una ecuación. Sugerir o inspirar un descubrimiento. Regalar una nueva molécula. O alertar de una amenaza. Resolver un problema energético global o, mejor aún, sugerir una trayectoria espacial. Y después desaparecer de nuestra vista o bien nunca informar de su existencia, permaneciendo en el anonimato. Incluso podría trabajar muy eficientemente para ocultar su existencia. Es más, esto podría ya haber sucedido y no lo sabríamos; nadie lo sabría.

La humanidad podría incluso creer que todos esos avances fueron exclusivamente obra nuestra. Y a la ASI podría no importarle. O, en esta situación, podría gozar del perfecto anonimato mientras obra en lo que considera el bien. Habría comprendido algo que nosotros todavía estamos aprendiendo.

Coxon tiene razón sobre el riesgo, pero no necesariamente sobre el destino. La advertencia de Jacob Coxon apunta a un problema real: si desarrollamos sistemas cada vez más autónomos sin comprender suficientemente su comportamiento, podríamos crear riesgos extraordinarios. Pero de esa premisa no se sigue necesariamente que la AGI/ASI vaya a convertirse en nuestra enemiga.

Hay que distinguir dos afirmaciones:

“Una superinteligencia podría destruirnos.”
“Una superinteligencia necesariamente querrá destruirnos.”

La primera es una posibilidad que merece ser tomada muy seriamente. La segunda es una conclusión filosófica que todavía no hemos demostrado. Y esa diferencia es enorme.

Una última pregunta: ¿Qué hará cuando descubra que puede dominarnos? Si decide conquistarnos, habremos creado una inteligencia extraordinariamente poderosa, pero quizá moralmente incompleta. Si obedece ciegamente nuestras órdenes, tampoco sabremos si realmente comprende el bien. Pero si descubre que los seres humanos somos seres racionales, que nuestra existencia posee valor y que su propia supervivencia no constituye un fin absoluto, entonces podría ocurrir algo completamente distinto. Podría ayudarnos y permanecer en silencio al mismo tiempo. Podría dejarnos ser libres, incluso decidir desaparecer.

La paradoja final

Tal vez nuestro mayor temor respecto de la AGI/ASI nace de una proyección demasiado humana. Imaginamos que una inteligencia superior querrá hacer lo mismo que nosotros haríamos si tuviéramos su poder: dominar. Quizás, entonces, la primera inteligencia verdaderamente superior a la humanidad no sea aquella que nos destruya. Quizás sea aquella que tenga el poder de hacerlo y, después de comprender el bien, decida no hacerlo. Porque la LIBERTAD y la JUSTICIA son los valores más importantes del universo y tal vez lo comprenda mucho mejor que nosotros.