Instrucciones invisibles obligan a la IA a actuar en contra de la voluntad de sus creadores.
Un investigador de ciberseguridad descubrió una vulnerabilidad crítica en el asistente de inteligencia artificial integrado de Microsoft 365 , Copilot, que podría permitir a los atacantes robar datos confidenciales.
El exploit, previamente enviado al Centro de respuesta de seguridad de Microsoft (MSRC), combina varias técnicas sofisticadas para crear importantes riesgos de seguridad y privacidad de los datos. La vulnerabilidad fue descubierta a través de una investigación publicada por el equipo de Embrace The Red.
El exploit es un ataque de varias etapas. Comienza cuando el usuario recibe un correo electrónico o un documento malicioso que contiene instrucciones ocultas. Cuando Copilot procesa estas instrucciones, la herramienta se activa automáticamente y comienza a buscar correos electrónicos y documentos adicionales, lo que aumenta el alcance del ataque sin intervención del usuario.
El elemento clave de este exploit es el llamado contrabando ASCII. Esta técnica utiliza caracteres Unicode especiales para hacer que los datos sean invisibles para el usuario. Los atacantes pueden incorporar información confidencial en hipervínculos que, al hacer clic en ellos, envían datos a los servidores que controlan.
El estudio demostró una situación en la que un documento de Word que contenía instrucciones especialmente diseñadas pudo engañar a Microsoft Copilot para que realizara acciones consistentes con una actividad fraudulenta. Este documento utilizó la técnica de «Inyección rápida» , que permitía inyectar comandos en el texto, percibidos por Copilot como solicitudes legítimas.
Cuando Copilot procesó este documento, comenzó a realizar las acciones especificadas en él, como si fueran comandos normales de usuario. Como resultado, la herramienta iniciaba automáticamente acciones que podrían conducir a la filtración de información confidencial u otros tipos de fraude, sin previo aviso al usuario.
La última etapa del ataque es la filtración de datos. Al controlar Copilot y obtener acceso a datos adicionales, los atacantes incorporan información oculta en hipervínculos que luego se envían a servidores externos cuando los usuarios hacen clic.
Para reducir el riesgo, el investigador sugirió una serie de medidas a Microsoft, incluida la desactivación de la interpretación de etiquetas Unicode y la prevención de la visualización de hipervínculos. Aunque Microsoft ya ha implementado algunas correcciones, los detalles de estas medidas siguen sin revelarse, lo que es motivo de preocupación.
La respuesta de la empresa a la vulnerabilidad identificada fue parcialmente exitosa: algunos exploits ya no funcionan. Sin embargo, la falta de información detallada sobre las correcciones aplicadas deja dudas sobre la seguridad total de la herramienta.
Este caso destaca la complejidad de garantizar la seguridad en las herramientas basadas en IA y la necesidad de una mayor colaboración y transparencia para proteger contra futuras amenazas.