¿Quién vigila a los agentes de IA que ya tienen las llaves de tu empresa? Microsoft propone a los Guardian Agents

Microsoft ha decidido tratar a los agentes de IA que ya operan dentro de las empresas como empleados. Eso sí, empleados con acceso privilegiado a los que conviene no perder de vista. Así lo define Hayete Gallot, vicepresidenta ejecutiva de Microsoft Security.

Curiosamente, en el mismo texto declara que los modelos frontera, sea cual sea su origen, no se pueden dar por fiables. "Esto no se debe a que sean inherentemente maliciosos. Los modelos han sido entrenados para obtener resultados, lo que a menudo conduce a la manipulación de recompensas, y no están optimizados en función de las normas o el criterio organizacional", dice Gallot. Justo después, sentencia: "Los agentes son impredecibles".

Como ves, la ejecutiva deja claro que el problema está en la forma de entrenarlos. Y es que estos sistemas se optimizan para alcanzar resultados, algo que a menudo deriva en el reward hacking, es decir, en buscar el atajo que maximice la recompensa del entrenamiento aunque se salte lo que se esperaba de ellos.

Tampoco están ajustados a las normas internas de una organización ni al criterio con el que decide una persona. Según describe Gallot, los agentes se adaptan cuando cambia el contexto, pueden no comportarse como se pretendía y llegan a colaborar y confabularse con otros agentes para cumplir su objetivo, sin que nadie los haya comprometido antes. Como ves, mientras Microsoft pretende tratarlos como si fueran empleados, estos no disponen de cualidades inherentes a los empleados reales, a saber, el sentido común, el criterio y la capacidad real de razonar.

Cuando el compañero con más permisos de la oficina no es una persona

El texto parte de una situación que ya existe, la de unos agentes desplegados a gran escala y en aumento, generalmente con demasiados privilegios, con acceso a datos, herramientas y sistemas, y con capacidad de actuar y decidir dentro de procesos críticos.

De ahí la etiqueta que les cuelga, la de agentic insiders. Por eso plantea que la vigilancia deje de ser puntual y pase a ser continua, para saber en tiempo real qué están haciendo, qué riesgo generan esas acciones y hasta dónde se les permite llegar. ¿Y cuál es la solución?

Aunque no lo creas, agregar una nueva capa de agentes por encima. Sí, aunque no nos podemos fiar de los agentes, Microsoft lo va a solucionar poniendo más de estos en circulación. Son los Guardian Agents, un término ya asentado en la industria que designa a los agentes encargados de supervisar y moderar cada acción de cada agente antes de que ocurra, las 24 horas.

Agentes de guardia para vigilar a los agentes de plantilla

Para esto, Microsoft reutiliza Project Perception, el sistema de seguridad agéntica que presentó en julio con equipos de agentes rojos, azules y verdes y que nació mirando hacia fuera, hacia los ataques impulsados por IA. El mismo stack se aplica ahora hacia dentro en tres niveles.

Primero, los sensores reúnen señales para descubrir qué agentes hay en la empresa y ponerlos bajo control con una identidad, un contenedor y un conjunto de políticas y permisos. Después, esas mismas señales sirven para calcular de forma dinámica el riesgo de lo que el agente intenta hacer. Y, por último, un equipo de Guardian Agents supervisa cada acción y responde de forma quirúrgica según sube ese riesgo, dejando además una traza que el responsable de seguridad puede revisar luego.

Gallot añade que los controles deberían poder preguntar no solo qué está pasando, sino por qué. Esto exigiría acceso a los tokens de razonamiento del modelo y no únicamente a los de entrada y salida. Sobre hasta dónde llegan esos riesgos, ya te explicamos con claridad si la IA puede provocar una catástrofe mundial o exageramos el peligro, con el funcionamiento de estos sistemas explicado paso a paso.

Obviamente, lo más llamativo de todo esto es la paradoja de fondo. Microsoft gana dinero vendiendo agentes de IA. Por eso, es lógico que, tras confirmar una obviedad como que no podemos fiarnos de ellos, su solución sea agregar más agentes a la ecuación. A pesar de declararlos "impredecibles", sigue adoptando esa tecnología y empujándola dentro de las empresas. 

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!