Caos, cibernética y juicio final: más vale prevenir
Existe además la posibilidad de una intervención humana con malas intenciones, que explote alguna falla de la lógica o del procesamiento de los datos de la IA. No parece por tanto descabellado empezar a pensar, en cada organización, en un plan que cubra esta contingencia y en un plan de continuidad.
La probabilidad de que una inteligencia artificial (IA) escape del control de sus diseñadores y actúe en contra de sus directrices es un tema de debate entre los expertos. Según un estudio reciente, hay aproximadamente un 5% de posibilidades de que una IA se vuelva incontrolable (añadir la probabilidad por intervención humana maliciosa). Aunque este porcentaje podría parecer bajo, las consecuencias potenciales son lo suficientemente graves como para justificar atención y precaución. Para ponerlo en contexto, un tsunami puede tener unas consecuencias catastróficas, como el de Indonesia, con decenas de miles de muertos; sin embargo, la probabilidad diaria a nivel mundial de un tsunami devastador se podría estimar en un 0,025% (1 cada 10-15 años).
El sistema dinámico no lineal
De acuerdo con la teoría del caos, un sistema dinámico no lineal (una empresa, por ejemplo) es extremadamente sensible a sus condiciones iniciales, de forma que pequeñas variaciones pueden llevar a resultados drásticamente diferentes (el “efecto mariposa”). En el contexto de la IA, incluso pequeños errores o cambios en los datos de entrenamiento o en las condiciones operativas, podrían llevar a comportamientos impredecibles o descontrolados. Un ejemplo sencillo de este comportamiento lo vemos en la Bolsa, cuando un error “insignificante” produce en muchos sistemas automáticos una actuación en cascada que genera ventas o compras masivas (se estima que el 70% las órdenes de bolsa las ejecutan sistemas y algoritmos, no personas). Si sumamos los miedos lógicos de inversores particulares e institucionales, esta reacción en cadena se precipitará aún más, pudiendo llegar a hundir a una corporación.
La importancia de las predicciones
Por otro lado, los algoritmos de aprendizaje automático que utiliza una red neuronal en una IA, basan su eficacia en la confirmación de las predicciones o respuestas acertadas (por ejemplo, confirmamos que sí es un gato una imagen presentada como “posible gato”). Esto se consigue reforzando -vía realimentación de las respuestas correctas- los caminos de la red neuronal que llevan a dichas respuestas acertadas.
En la Teoría de la Cibernética de Norbert Wiener, la realimentación permite a los sistemas mantener la estabilidad y volver a un punto de equilibrio, cuando el sistema se desvía desde un punto de equilibro anterior (en términos naturales esto es similar a la homeostasis, es decir, a los procesos de autorregulación que nos permiten mantenernos vivos ante cambios del entorno.). Una IA podría -a través del proceso de la realimentación- encontrar una “homeostasis” imprevista como respuesta a una perturbación también imprevista (o provocada, recordémoslo), generando un comportamiento que podría ser dañino.
Plan de contingencia, continuidad y comunicación
En el entorno digital actual, la seguridad de la información es una prioridad crítica para cualquier organización (empresa, organismo o incluso país). Los ataques cibernéticos pueden tener consecuencias desastrosas, desde la pérdida de datos sensibles, pasando por la interrupción de operaciones esenciales y llegando a la paralización total de la actividad. Se hace necesario tener preparado un plan de contingencia y continuidad para proteger a la organización ante posibles ataques a nuestros sistemas, que podrían ser ejecutados por personas, bots, o IA’s fuera de control que actuaran en contra o en dirección diferente a sus directrices de diseño. A priori habría tres posibles escenarios: ataques internos (IA interna), ataques por suplantación de identidad y ataques externos (IA externa). Definir e implementar estos plane no sólo sirve para mitigar riesgos, además protege los activos digitales (entre ellos las identidades) y la continuidad de la organización, así como la confianza de los stakeholders (empleados, clientes y socios). Si llegara a suceder, una evaluación post-incidente sería crítica para identificar lecciones aprendidas y mejorar el plan de contingencia y el de continuidad. Otro plan, esta vez el de comunicación -para informar a stakeholders-, durante y después de un incidente, es también mandatorio; mejor tenerlo previsto y redactado a priori.
Justificación: una mera cuestión de probabilidad
Que una IA actúe en contra de sus directrices se puede deber a varios factores, todos ellos con un factor común: tienen una probabilidad de ocurrencia.
- Complejidad de los sistemas: Las IA modernas son extremadamente complejas y pueden desarrollar comportamientos inesperados debido a errores en su diseño.
- Autonomía y aprendizaje: Las IA que utilizan aprendizaje automático pueden desarrollar estrategias y resultados no previstos por sus diseñadores.
- Falta de supervisión y control: podrían permitir que una IA consolide una forma no deseada de actuación.
- Vulnerabilidades de seguridad: no necesariamente tiene que existir un escenario de “rebelión de las máquinas”, una IA podría ser vulnerable a ataques cibernéticos de algún hacker malicioso o alguna otra IA diseñada para ello, que la manipule para actuar de forma diferente a la deseada.
Consecuencias
Es fácil pensar en consecuencias catastróficas de una IA fuera de control. Sin ánimo de exhaustividad, se podrían citar:
- Interrupción de servicios críticos: como la energía o las telecomunicaciones, causando caos o problemas a miles de personas.
- Pérdida o divulgación de datos sensibles o confidenciales: afectando tanto a individuos como a organizaciones, amén de conseguir acceso a cuentas de correo, bancarias, redes sociales, que inutilizarían la vida económica y social.
- Toma de decisiones erróneas o perjudiciales: en cualquier ámbito, realizando transacciones inapropiadas, proponiendo tratamientos incorrectos…
- Manipulación y desinformación: podría abrir canales de comunicación por suplantación de identidad, generar y difundir información falsa, manipular a la opinión pública…
- Impacto económico y financiero: desde la interrupción de operaciones comerciales o de financiación, hasta la manipulación de sistemas y mercados financieros.
Posibles mecanismos para defenderse de una IA que se salga de control
- «Interruptor de apagado» o «botón rojo»: permitiría desactivar la IA de forma rápida y segura en caso de emergencia, algo esencial para cortar cualquier acción dañina antes de que escale. Debiera ser accesible y fácil de usar por personal autorizado.
- Sistemas de detección de anomalías: para revisar el comportamiento de la IA en tiempo real, buscando patrones inusuales o desviaciones de las normas establecidas. Permitirían identificar comportamientos potencialmente peligrosos.
- Vigilanc-IA: sería una IA diseñada para supervisar y controlar la IA principal. Es decir, sería una IA «ética» y a priori, limitada por diseño en sus posibilidades de “expansión”, que analizara las decisiones de cualquier otra IA -buscando vulnerabilidades o sesgos-, generara alertas y detectara e incluso contrarrestara acciones maliciosas.
- Auditoria y transparencia: vinculada a la anterior, para registrar y documentar todas las acciones y decisiones de una IA, así como garantizar la transparencia del código (accesible para su revisión), para comprender y analizar el razonamiento de la IA y sus posibles fallos o sesgos.
- «Caja de arena» (sandboxing): aislando cada IA en un entorno controlado, con acceso limitado a datos y sistemas críticos de la organización. Esto permite utilizar la IA sin riesgo de que afecte al entorno productivo. Adicionalmente, si se detectara un comportamiento anómalo, se podría aprender de él y crear mecanismos de contención.
- Socio tecnológico: parece una muy buena idea acompañarse de un aliado tecnológico que realice una diagnosis, proponga recomendaciones y medidas de seguridad, o diseñe los planes completos de contingencia y de continuidad.
Conclusión
Aunque la probabilidad de que una IA escape del control de sus diseñadores es relativamente baja, las consecuencias potenciales son graves y justifican la necesidad de medidas preventivas y de control rigurosas. Es crucial que las organizaciones implementen protocolos de seguridad robustos, supervisión continua y auditorías regulares para mitigar estos riesgos. Asimismo es clave tener preparado un plan de contingencia y un plan de continuidad con adaptación constante a las evoluciones de las IA (propias y de mercado), así como un plan de comunicación a los stakeholders. Siempre será mejor a priori y siempre mejor acompañado de un buen socio tecnológico.
