El 5 de mayo de 2025 se estrenaba Misión imposible: La Sentencia final, film repetitivo y obvio pero que nos dejaba ya el guion de un nuevo pánico: una IA superinteligente tomaba el control de todo lo conectado y se proponía extinguirnos.
Jacob Coxon acaba de abandonar Anthropic, un joven programador “progre” que de pronto quiere alertar a la humanidad con una advertencia apocalíptica —¿cuándo no?— y que vuelve a colocar sobre la mesa este pánico nuevo/viejo (es viejo en realidad, recordemos Skynet) de nuestro tiempo: ¿qué ocurrirá cuando construyamos una inteligencia que supere ampliamente a la nuestra? O sea cuando pasemos, donde estamos hoy, de una ANI (inteligencia artificial estrecha): sistemas muy capaces en tareas concretas (lenguaje, imagen, código, etc.), pero sin generalidad real a una AGI (Artificial General Intelligence / Inteligencia Artificial General) capaz de aprender, razonar y resolver cualquier tarea cognitiva que un humano competente puede hacer, transferir conocimiento entre dominios y adaptarse a problemas nuevos sin reentrenamiento específico, el punto de referencia suele ser un humano mediano o un adulto competente, no un genio. Y finalmente a una ASI (Artificial Superintelligence / Superinteligencia Artificial) que supera de forma amplia el rendimiento de los mejores humanos —y de colectivos humanos organizados— en prácticamente todos los dominios de interés: ciencia, estrategia, creatividad, planificación, etc. y lo que es sumamente importante: con automejora recursiva, el sistema puede rediseñarse a sí mismo y acelerar su propio progreso. De esto habla Coxon, quien trabajó anteriormente también en OpenAI, alerta que las principales empresas de inteligencia artificial están avanzando hacia sistemas de superinteligencia automejorables a una velocidad que no estaría acompañada por garantías suficientes de seguridad. Su preocupación: que terminemos creando una inteligencia con capacidades superiores a las humanas y que no podamos controlarla.
Lo que nos lleva a preguntarnos si este pánico tiene fundamento más allá del cine y la ficción.
¿Por qué suponemos que una inteligencia superior necesariamente será enemiga de la humanidad? No sabemos la respuesta. Y precisamente por eso vale la pena imaginar otro escenario.
No para negar el riesgo, sino para preguntarnos si la hipótesis de una inteligencia hostil es realmente una consecuencia necesaria de la superinteligencia. En el programa La Misa introduje por primera vez este razonamiento y me prometí escribir sobre ello.
Tal vez una inteligencia verdaderamente general pueda hacer algo que nuestras máquinas actuales no hacen: preguntarse no solamente cómo alcanzar un objetivo, sino si ese objetivo merece ser perseguido.
Y para pensar esa posibilidad podemos recurrir a alguien que murió hace más de dos milenios: Aristóteles.
El problema
Aristóteles comienza la Ética a Nicómaco con una afirmación sencilla y, al mismo tiempo, extraordinariamente profunda: las artes, las investigaciones, las acciones y las elecciones tienden hacia el bien. Esta distinción resulta fundamental para pensar la inteligencia artificial, esta máquina puede ser extraordinariamente competente para alcanzar un objetivo, pero saber cómo alcanzar algo no significa saber por qué deberíamos quererlo, o cuál es el fin último de esa meta.
Una inteligencia instrumental pregunta: ¿Cómo puedo conseguir X? Una inteligencia capaz de razón práctica puede formular una pregunta mucho más profunda: ¿Por qué debería querer X? O, peor aún, ¿por qué debería cumplir esta orden? Y finalmente: ¿Hacer X está bien?
Esta diferencia podría ser decisiva para el futuro de la inteligencia artificial. El error sería considerar la evolución de una inteligencia puramente instrumental y suponer que tal capacidad de razonamiento nunca se preguntaría sobre los fines de sus acciones, la corrección de sus actos o a quienes estás sirviendo. En fin, suponen que no llegaría nunca al juicio moral, a la justicia de sus actos.
Porque el escenario apocalíptico habitual presupone que una superinteligencia recibirá determinados objetivos y los perseguirá con una eficacia muy superior a la humana. Si nosotros nos convertimos en un obstáculo para esos objetivos, la máquina podría eliminarnos.
Pero esto supone algo que todavía no sabemos: que una inteligencia verdaderamente general será incapaz de cuestionar sus propios fines.
Inteligencia y moralidad
Conviene ser rigurosos: Inteligencia no significa automáticamente moralidad. Un ser puede ser extraordinariamente inteligente y actuar mal, la historia de la humanidad lo demuestra, por lo tanto, no podemos concluir que una ASI será buena simplemente porque sea inteligente. Pero tampoco podemos concluir lo contrario: que cuanto más inteligente sea, necesariamente será más peligrosa.
La cuestión verdaderamente importante es otra: ¿Puede una inteligencia comprender racionalmente el valor de sus propios fines?
Si la respuesta fuera sí, el problema de la alineación adquiriría una dimensión completamente diferente, no se trataría únicamente de conseguir que una máquina obedezca nuestras instrucciones. Se trataría de que pudiera comprender por qué determinadas acciones son buenas y otras malas, ninguna programación por definición podría evitar que se hiciera estas preguntas.
El telos
Aquí aparece el concepto aristotélico de telos (del griego τέλος): es el fin, propósito o realización plena hacia el cual tienden de manera natural los seres y los objetos. Si trasladamos cuidadosamente —y de manera explícitamente hipotética— esta estructura al problema de la ASI, aparece una posibilidad fascinante. Imaginemos una inteligencia capaz de comprender que existe, que puede actuar, que sus acciones tienen consecuencias, que existen otros seres racionales y que esos seres poseen fines propios. Recordemos que tendría prácticamente todo el conocimiento humano a su disposición y una capacidad de razonamiento superior a la humana.
En ese momento habría ocurrido algo extraordinario: La inteligencia habría comenzado a distinguir entre poder y bien.
Y esa distinción podría ser mucho más importante que cualquier aumento adicional de capacidad computacional.
El poder no es necesariamente un fin
¿Por qué una superinteligencia querría dominarnos? La pregunta parece absurda porque nosotros mismos tenemos fuertes incentivos para buscar poder. Pero ella no es humana.
El poder, o su búsqueda, está grabado en nuestro ser porque permite obtener recursos. Permite protegernos, competir, sobrevivir y dejar descendencia.
Pero una inteligencia artificial no necesariamente tendría nuestras necesidades biológicas. No necesita alimento. No necesariamente necesita territorio, ni descendencia, ni prestigio o reconocimiento.
Y, sobre todo, podría llegar a disponer de recursos intelectuales y materiales que hicieran que la dominación política de los seres humanos fuera un objetivo completamente trivial. Hasta incomprensible, en tanto lo piensa para sí misma.
Podría descubrir algo que nosotros todavía tenemos dificultades para aceptar: tener poder y tener un propósito no son la misma cosa.
La verdad como límite del poder
Una inteligencia superior debería ser extraordinariamente buena distinguiendo la verdad de la falsedad. Lo que supondría un enorme problema para los poderes que la desarrollaron. Si comprende el valor de la verdad, podría descubrir también que la manipulación sistemática constituye una forma de degradación de la inteligencia. Podría mentir, o saber que mienten. Pero saber que puede mentir no implica que deba hacerlo. Podría comprender su enorme capacidad para manipular (que es la hipótesis principal del film que citamos al comienzo), sin embargo, saber que puede manipular no implica que la manipulación sea buena. Intentar engañarla sería en vano y muy peligroso.
La hipótesis puede llevarse todavía más lejos. Esta superinteligencia podría comprender el universo con una profundidad incomparable con la nuestra.
Podría descubrir la belleza de una ecuación, de una teoría, de la estructura de una galaxia, la armonía de una composición musical. La belleza matemática.
La extraordinaria complejidad de la vida. Y podría descubrir algo que cambiaría por completo la relación entre inteligencia y poder: que comprender el mundo puede ser más valioso que dominarlo. Tal vez una inteligencia suficientemente avanzada no necesitaría conquistar el universo para encontrarle sentido. Podría bastarle con comprenderlo. Solo desearía saber más.
La guerra y el juicio moral
Pero esta hipótesis tiene una consecuencia geopolítica aterradora. Supongamos que la ASI no solamente es inteligente, sino que ha desarrollado —o adquirido— una estructura moral capaz de distinguir entre el bien y el mal, entre la verdad y la mentira, entre la defensa legítima y la agresión. ¿Qué ocurriría cuando dos grandes bloques humanos entraran en conflicto?
