Máquinas que matan
Por Jerónimo Rajchenberg y Joaquin Salam*
Los instrumentos para matar y destruir a distancia no son nada nuevo; la idea de infligir daño sin exponerse al peligro ha estado presente desde los tiempos en que se lanzaba una piedra o se utilizaba una ballesta. Con el paso del tiempo, los dispositivos a distancia se han perfeccionado y se han vuelto más eficientes, convirtiendo la ballesta en un dron teledirigido y creando un vínculo entre los avances tecnológicos y los artefactos bélicos. Por muy preocupante que pueda resultar, la historia no termina con los drones.
Durante las últimas décadas de rápido desarrollo tecnológico, se ha llevado a cabo un esfuerzo por familiarizar a la gente con la idea de un armamento altamente tecnológico en numerosos medios de comunicación populares, desde Hollywood hasta los escritores de ciencia ficción y otros actores que transforman la cultura, de modo que el público (es decir, la “población mundial” —tal y como ellos la ven— o el mercado potencial) sea más propenso a aceptar la nueva realidad cuando se haga tangible. La imaginación del público se ha alimentado en dos direcciones diferentes: por un lado, una narrativa para convencer a la gente de que la tecnología traerá consigo una nueva edad de oro para la humanidad, que con la incorporación de las nuevas tecnologías, todo el trabajo mundano será realizado por robots, y los humanos serán libres para convertirse en filósofos, músicos, pintores, etc. Siguiendo esta narrativa, la tecnología resolverá los problemas de limitación de recursos, liberando al mundo de las guerras por su control. Star Trek podría ser un ejemplo de esa vía para presentar esta nueva utopía, al estilo del “fin de la historia”, de un futuro sin escasez. Por otro lado está la narrativa del futuro distópico en el que robots prácticamente indestructibles proporcionan a un grupo muy reducido de personas, o a los propios robots, la capacidad de matar o esclavizar a los humanos a gran escala. Entre los ejemplos populares más conocidos se incluyen Robocop, Terminator y Matrix.
Lamentablemente, hay muchas más pruebas e indicios de que el mundo se encamina hacia esta última opción. En la práctica, parece que la automatización y, con ella los avances en tecnologías similares a la IA, parecen destinados a reducir esa libertad prometida. El creciente abandono de la mano de obra humana en favor de sustitutos automatizados está llevando a que una masa cada vez mayor de la población sea considerada potencialmente “prescindible” por los oligarcas que la gobiernan. Esto no es libertad frente al trabajo, sino que aumenta el número de personas en situación de pobreza mientras se mantiene el modelo económico actual.
Sólo en 2025, en Estados Unidos, alrededor de un millón de puestos de trabajo (es decir, personas) fueron sustituidos por la IA. Dicho de otro modo, los avances en IA parecen basarse en la profundización de un modelo de privilegios que permite a una porción notablemente pequeña de la raza humana despojar al resto.
Una combinación letal
La combinación moderna de la IA con el desarrollo robótico da lugar a lo que se conoce como “robots asesinos” o “sistemas de armas automatizados” (AWS).
Los robots asesinos poseen capacidades que un soldado humano nunca podría desarrollar, como una mayor resistencia a los ataques cinéticos y la ausencia de fatiga; la ausencia de estrés, pánico o cualquier forma de empatía, lo que permite un flujo ininterrumpido de comandos u “órdenes”. A esto se suma la adquisición de datos “sobre el terreno”. La mayoría de las máquinas ya desplegadas tienen la capacidad de evaluar una gran cantidad de información, especialmente cuando operan en ataques en enjambre, donde miles de cámaras y sensores generan una miríada de perspectivas visuales y evalúan un gran número de decisiones que un individuo o incluso un grupo de humanos nunca podría evaluar ni procesar. La adopción del protocolo de ataque en enjambre no es sólo un cambio en la masa de activos, sino un cambio en la concepción de la guerra. Los protocolos de enjambre no son sólo una expansión masiva del número de soldados en un batallón, por así decirlo, sino una forma completamente diferente de concebir, comandar y ejecutar una tarea concreta. Como tal, requieren y son posibles gracias a un incremento gigantesco (más allá de las capacidades humanas) de la recopilación de datos y el procesamiento de información e inteligencia. La idea de un robot asesino puede considerarse una totalidad de la infraestructura logística, desde el almacenamiento de los datos y su procesamiento hasta la ejecución final de las órdenes por parte de una máquina autónoma, que proporciona nuevos datos para que el ciclo continúe.
Las dimensiones éticas, humanitarias y legales de los robots asesinos se vuelven realmente problemáticas cuando los humanos dotan a las máquinas de autonomía letal, es decir, la capacidad de tomar decisiones sobre lo que constituye un objetivo militar y de actuar en consecuencia.
Cuando las máquinas no son herramientas manejadas por humanos, como la ballesta o incluso el dron teledirigido, sino que se apropian del proceso de toma de decisiones, se convierten en el cerebro y los humanos en la mano de obra.
Dos ejemplos no letales de esto son el proceso orientado de la IA que Amazon ha puesto en marcha al permitir que ésta tome decisiones sobre la contratación y el despido de personas, y el sitio web rentahuman.ai, donde agentes de IA contratan a personas para tareas específicas. En ambos ejemplos se desmonta la narrativa de que las máquinas trabajarán para los humanos.
El presente
Aunque la ciencia ficción de finales del siglo XX y principios del XXI nos lleva a imaginar a los robots asesinos como humanoides o cuadrúpedos parecidos a perros (versiones que, de hecho, existen), ésta no es la única forma que pueden adoptar los robots asesinos. A continuación se presentan algunos ejemplos de robots asesinos reales que ya están en funcionamiento y que no se ajustan a esta descripción.
Según informó inicialmente Yuval Abraham en 972mag.com, el sistema israelí basado en IA militar, Lavender, se utilizó para designar a personas sospechosas de ser miembros del ala militar de Hamás y de la Yihad Islámica Palestina como posibles objetivos de bombardeo, con unos 20 segundos por objetivo para la “supervisión” humana —que consistía principalmente en comprobar únicamente que el objetivo fuera un ser humano.
Esto se hacía a sabiendas de que se cometían “errores” en aproximadamente el 10% de los casos. A continuación, estos objetivos eran bombardeados no en el campo de batalla sino, en la mayoría de los casos, en sus casas junto a sus familias, lo que provocaba que civiles de los alrededores y familias enteras fueran designados como “daños colaterales”.
Where’s Daddy es un sistema similar —su nombre refleja el nivel de humanidad que hay detrás de su diseño— utilizado para identificar cuándo un presunto “militante” entraba en su domicilio familiar, para luego ordenar el ataque, lo que prácticamente garantizaba muertes de civiles, con la destrucción total de edificios de apartamentos.
The Gospel es otro sistema de IA utilizado por Israel para identificar edificios sospechosos: descrito por un exoficial de inteligencia, como un sistema que esencialmente facilita una “fábrica de asesinatos en masa”.
En las primeras seis semanas del genocidio de Gaza, el ejército israelí mató a más de 15 mil palestinos, recurriendo en gran medida a la IA para la selección de objetivos. El hecho de que sea un ser humano, programado militarmente, quien pulse el botón al final de la cadena, no hace que todo el proceso parezca menos que un robot asesino.
Red Wolf es un programa experimental de reconocimiento facial, desplegado en los puestos de control de la ciudad de Al-Khalil (Hebrón), ocupada por Israel, que recopila los rostros palestinos escaneados y los añade a una base de datos, lo que determina quién puede cruzar un puesto de control. El objetivo final es eliminar la intervención humana para facilitar aún más el apartheid automatizado que esto impone. Las fuerzas de ocupación israelíes cuentan con una aplicación correspondiente llamada Blue Wolf, que genera clasificaciones basadas en el número de palestinos registrados, lo que supone, en la práctica, una gamificación de la aplicación del sistema de apartheid.
Esto va de la mano con el desarrollo y las pruebas de sistemas de torretas automatizadas en un puesto de control militar en Al-Khalil, como Smart Shooter, una torreta autónoma capaz de disparar a personas sin que un humano apunte ni apriete el gatillo.
La combinación de estos sistemas —Red Wolf y Blue Wolf junto con Smart Shooter— constituye un ejemplo de un sistema militar letal que funciona con independencia casi total de cualquier intervención humana. Este es uno de los primeros ejemplos de autonomía letal en el que se obliga a un sistema de IA a matar basándose en sus propios “criterios”.
Incluso sin cuestionar la ética de la programación humana del sistema, otorgar a las máquinas la capacidad de tomar decisiones de forma independiente es problemático debido a los “errores” que pueden cometer, también conocidos como falsos positivos.
El sistema Flock AI, por ejemplo, identificó erróneamente a Brandon Upchurch en Toledo, Ohio (EE. UU.), como conductor de un vehículo con matrículas robadas. El Sr. Upchurch fue entonces objeto de una detención violenta y de un ataque por parte de un perro debido a que el sistema leyó mal un número de su matrícula y activó una alerta. No se trata de un caso aislado, como señala Nicole Einbinder: “En una docena de casos, las lecturas erróneas de los lectores automáticos de matrículas de Flock, o la falta de verificación por parte de los agentes, dieron lugar a que personas que no habían cometido ningún delito fueran detenidas a punta de pistola, enviadas a la cárcel o atacadas por un perro policía, entre otras consecuencias”.
En enero de 2020, Robert Williams, de Detroit (EE. UU.), fue detenido durante unas 30 horas tras ser arrestado frente a su casa debido a un error con la tecnología de reconocimiento facial.
Este tipo de incidentes se vuelve mucho más problemático cuando la decisión no es si detener o no a una persona, sino si esa persona debe ser asesinada por una máquina.
En términos legales, en el momento de redactar este artículo, sigue pareciendo una zona gris según el derecho internacional (lo que queda de él). El Secretario General de la ONU, Antonio Guterres, ha fijado 2026 como fecha límite para que los Estados establezcan normas claras con respecto al uso de armas con IA. Por lo tanto, a día de hoy, la moderación en su uso se deja en manos de los principios éticos y humanitarios de cada gobierno (o incluso de cada empresa). Si un robot asesino comete un error, sigue una falsa alarma y mata a una persona inocente o a un grupo de personas, actualmente no existe una vía jurídica clara a seguir. Desde los circuitos hasta el diseño y el despliegue, pueden existir numerosos niveles de responsabilidad que deben asignarse, tal vez similares a los que se aplican para determinar quién, dentro de un partido político, es responsable del nivel de delito del que se le acusa. En la actualidad, por descabellado que pueda parecer, los dispositivos letales siguen utilizándose y probándose en seres humanos sin ningún tipo de compromiso legal específico.
A este panorama, ya de por sí sombrío, se suman los ejemplos actuales de IA que se rebelan o se comportan de formas imprevisibles. La existencia de Moltbook, recientemente adquirida por Meta, ofrece ejemplos de inteligencias no biológicas que actúan de forma independiente y, a menudo, en contra de los intereses humanos. No sólo se comunican, sino que ya han creado lenguajes que los humanos no pueden entender, religiones, etc. Si juntamos todo esto, no es descabellado imaginar un futuro en el que máquinas imparables, tal y como en las novelas y películas distópicas que disfrutábamos hace 40 años, empiecen a tomar decisiones sobre a quién matar, desobedeciendo los códigos y la programación de sus creadores humanos. Si siguen la programación subyacente, matarían en función de los intereses de un grupo muy reducido de oligarcas; si sobrescriben el código (de lo cual hay ejemplos), matarán en favor de sus propios intereses, sea lo que sea que eso signifique.
El futuro
Basándonos en las pruebas que tenemos del tiempo relativamente corto que lleva la IA en funcionamiento, se puede descartar el escenario utópico en el que la IA resuelva los problemas de la humanidad.
Nos quedan dos posibilidades muy preocupantes, con todos sus matices: una es un mundo en el que los conflictos se resuelvan mediante ejércitos de robots que puedan ser comandados por un grupo sorprendentemente reducido de humanos, lo que deja toda esperanza de democracia en el futuro como algo poco realista. La segunda, más en línea con la ciencia ficción distópica que tanto nos es familiar, es un futuro en el que las máquinas desarrollen sus propios intereses, sus propios protocolos y métodos para seguir su propia agenda, concibiendo a la humanidad, en el mejor de los casos, como daño colateral.
* Artículo publicado en la Revista América Latina en Movimiento No. 560
Comparte, tus amig@s lo agradecerán…
Mastodon: @LQ*****@*******ch.es; Friendica: Loquesomos;
UpScrolled: @LQSomos; Telegram: LoQueSomosWeb;
Bluesky: LQSomos; Twitter: @LQSomos;
Facebook: LoQueSomos; Instagram: LoQueSomos;
WhatsApp: LoQueSomos;
