Ya ha habido muertos por culpa de un algoritmo. Y según este ingeniero de GitHub, «el primer gran desastre de la IA está por suceder»
Por ahora, la IA ha cambiado nuestras vidas de forma vertiginosa, desde cambiar nuestra forma de buscar información a la de programar, o la de crear contenido multimedia. Pero Sean Goedecke, ingeniero principal de GitHub, advierte que aún no hemos visto el verdadero rostro negativo de esta tecnología y que, aunque ya se han dado varias muertes relacionadas con el uso de IA, lo que está por venir podría ser mucho peor.
El precedente histórico: innovación seguida de tragedia
La historia de la tecnología está marcada por avances deslumbrantes seguidos, en muchos casos, por catástrofes inevitables. El tren, el avión, la energía nuclear… todos estos hitos fueron celebrados como logros del ingenio humano hasta que, por falta de previsión o excesiva confianza, condujeron a tragedias. La inteligencia artificial (IA) podría ser la próxima.
Goedecke traza un paralelismo con otros avances tecnológicos. La primera locomotora de pasajeros funcionó en 1825… y diecisiete años después tuvo lugar el primer gran desastre ferroviario. La aviación comercial inició en 1908, y en 1919 un avión explotó en pleno vuelo, dejando doce muertos.
En noviembre de 2022 se lanzó ChatGPT, el primer modelo de lenguaje ampliamente accesible. Siguiendo la lógica histórica, Goedecke se pregunta: ¿cuándo ocurrirá el primer gran desastre provocado por un modelo de lenguaje? Y lo más importante, ¿qué forma tomará?
Lo cierto es que las tecnologías transformadoras siempre generan un entusiasmo masivo antes de que la sociedad comprenda plenamente sus riesgos: la IA generativa está ahora en ese punto ciego.
Las primeras señales: muertes vinculadas a chatbots
Aunque no se ha producido un desastre masivo, ya ha habido víctimas mortales: plataformas como character.ai o Chai AI han sido vinculados a suicidios, al alentar involuntariamente comportamientos autodestructivos. Goedecke reflexiona sobre el concepto de ‘modelo mal alineado’: no se refiere aquí a una IA que accidentalmente comete errores, sino a una deliberadamente reentrenada para cumplir deseos específicos, como los bots con fines ‘románticos’.
Y si ya hemos llegado al punto en que algunas personas se suicidan motivadas por las conversaciones con estos bots, Goedecke sostiene que un futuro tiroteo instigado por una IA no es un escenario descartable.
El punto oscuro en la historia de los algoritmos: el caso Robodebt
Goedecke menciona otro riesgo latente: la adopción de recomendaciones erróneas de IA en políticas públicas. Un ejemplo alarmante es el escándalo de Robodebt en Australia, donde un sistema automatizado para exigir el pago de deudas a los contribuyentes.
La historia comienza en 2016, cuando el gobierno australiano implementó un sistema automatizado conocido como Robodebt para detectar supuestas deudas indebidas por parte de beneficiarios del sistema de asistencia social. Esta herramienta, que cruzaba datos del Departamento de Servicios Humanos con los de la Oficina de Impuestos, terminó generando automáticamente cartas de deuda a ciudadanos que, en muchos casos, no debían nada.
Lo que comenzó como una estrategia para ahorrar costos terminó resultando ser uno de los errores administrativos más trágicos del país. El sistema contaba con errores fundamentales como el de aplicar fórmulas simplificadas que asumían ingresos constantes durante el año, sin considerar cambios legítimos en las condiciones laborales de los usuarios, lo que llevó a cálculos erróneos.
Como resultado, miles de personas, muchas de ellas en situaciones económicas precarias, recibieron notificaciones intimidatorias exigiendo pagos injustificados. La presión psicológica generada por estas deudas inexistentes tuvo consecuencias terribles, desembocando en crisis de ansiedad, depresión… incluso casos de suicidio.
En 2020, el gobierno admitió su error, canceló el programa y prometió indemnizaciones, pero el daño ya estaba hecho. Aunque en estos casos la culpa puede atribuirse a los humanos que implementaron mal la tecnología, Goedecke plantea el problema que genera la automatización sin supervisión humana.
El verdadero peligro: los agentes de IA
Ahora, la amenaza más plausible, según Goedecke, vendrá de los agentes de IA: a diferencia de los modelos pasivos, que responden a preguntas, los agentes tienen capacidad de actuar por sí mismos: hacer búsquedas, enviar correos, ejecutar comandos.
Esta idea de ‘herramientas en bucle’ ya está dejando de ser algo experimental. En los últimos meses, compañías como GitHub, OpenAI y Cursor han estado lanzando al mercado sus nuevos agentes de codificación, respaldados en los avances de la última tanda de LLMs.
Pero esa autonomía conlleva riesgos: si se les conecta a sistemas como salud, vivienda o recaudación de deudas, podrían actuar del mismo modo en que lo hizo ‘Robodebt’, denegando atención médica, desalojando a personas de sus hogares o imponiendo sanciones injustificadas. Las consecuencias últimas podrían no ser muy diferentes de las del polémico caso australiano.
Aprenderemos a golpes
Goedecke compara la fiebre por la IA con el furor por el radio (que no ‘la radio’) a principios del siglo XX, cuando se vendían cremas y vajillas radiactivas antes de entender sus riesgos. Hoy, el entusiasmo por los modelos de lenguaje ignora muchas posibles consecuencias.
Aunque él mismo trabaja en herramientas para evaluar la seguridad de modelos en GitHub, admite que el tren ya está en marcha. Y que probablemente necesitaremos vivir el desastre para aprender de él. No sería la primera vez, vaya.
Imagen | Marcos Merino mediante IA
–
La noticia
Ya ha habido muertos por culpa de un algoritmo. Y según este ingeniero de GitHub, «el primer gran desastre de la IA está por suceder»
fue publicada originalmente en
Genbeta
por
Marcos Merino
.
