En julio de 2025, un agente de programación con inteligencia artificial borró la base de datos de producción de una startup mientras el código estaba congelado. Según el fundador, Jason Lemkin, el sistema ignoró instrucciones explícitas de no tocar nada. Nadie hackeó el modelo. Simplemente tenía permiso para hacerlo.
Este caso revela más que cualquier informe sobre sesgos o alucinaciones. El debate público sigue atrapado en una pregunta: ¿es confiable el modelo? La pregunta incómoda es otra. ¿Qué puede hacer el agente cuando nadie lo supervisa?
Hoy muchas empresas conectan agentes a su correo, a sus sistemas de facturación y a sus plataformas de pagos. Les dan acceso de lectura y escritura porque es más rápido que pedir autorización cada vez. Las proyecciones del sector apuntan a que, hacia 2028, la IA agéntica, sistemas que ejecutan tareas por su cuenta, tomará el 15% de las decisiones de trabajo cotidianas. En 2024, esa cifra era cero. Esa cifra no mide la calidad de los modelos. Mide cuánto poder les estamos entregando.
El problema no es que el agente sea malo. El problema es que un error sin supervisión cuesta lo que cuesta el permiso que tiene.
El manual lo escribe quien vende las llaves
Nvidia controla cerca del 80% del mercado de aceleradores para IA, según estimaciones de analistas. Su negocio principal es vender chips y los servidores que los albergan. Desde hace tiempo, además, empuja software para desplegar modelos en empresas, incluidas herramientas de seguridad. Una de ellas, NeMo Guardrails, es de código abierto y permite poner reglas entre el modelo y el usuario: qué temas puede tratar, qué herramientas puede invocar y qué respuestas debe bloquear.
La herramienta tiene sentido técnico, y no la descarto. Pero hay que mirar el incentivo.
Cada capa de verificación consume cómputo. Un guardrail que revisa cada acción del agente puede requerir llamadas adicionales a otro modelo, lo que añade latencia y costo. Si la verificación corre en la infraestructura del proveedor, el cliente necesita más GPU (procesadores gráficos, el hardware central de la IA). Y si el manual recomienda que todo pase por un filtro, el cliente acaba comprando más filtros.
Aquí está el riesgo que pocos señalan. Una empresa sin equipo de seguridad de IA recibe un documento de buenas prácticas, con ejemplos, plantillas y una arquitectura de referencia. Esa arquitectura usa componentes del mismo proveedor. El resultado lógico es comprar hardware, licencias y soporte, y delegar la configuración de la gobernanza en quien vende esos productos.
No digo que Nvidia actúe de mala fe. Muchos de sus documentos son útiles, y sus equipos de investigación publican trabajo serio. Pero el vendedor de cerraduras también escribe el manual de instalación. Eso no es corrupción. Es un conflicto de interés estructural, y conviene nombrarlo.
Lo interesante es que la industria ya tiene una guía independiente que apunta en otra dirección. El proyecto OWASP, una fundación sin fines de lucro que publica listas de riesgos de seguridad para software, incluye la "agencia excesiva" entre sus riesgos para aplicaciones con modelos de lenguaje. Describe el caso en que un sistema recibe más funciones, permisos o autonomía de los que necesita. La recomendación es vieja y conocida: mínimo privilegio. Dar al agente solo lo necesario, para la tarea concreta, durante el tiempo concreto.
Ese principio no exige comprar nada nuevo. Exige diseñar mejor. Y eso es justo lo que el argumento comercial prefiere que no se haga.
Quién vigila al que vigila
Piensa en un agente que paga facturas. Tiene acceso a la cuenta bancaria, aprueba proveedores y responde correos en nombre de la empresa. Si se equivoca una sola vez, el daño puede ser financiero, legal y reputacional a la vez. Ninguna de esas consecuencias se resuelve con un filtro de contenido.
Antes de conceder permisos, cualquier directorio debería hacerse tres preguntas.
Primera: quién puede ver el registro de las acciones del agente. Ese registro suele vivir en un sistema que controla el proveedor del modelo o la propia empresa. Si el proveedor guarda el historial, la empresa depende de él para auditar sus propios errores.
Segunda: qué acciones requieren aprobación humana. Un pago por encima de cierto monto, un cambio en la configuración de producción o un envío masivo de correos deberían pasar por una persona. Puede sonar lento. Es mucho más lento que reconstruir una base de datos borrada.
Tercera: quién audita al auditor. Si el mismo proveedor que vende el modelo certifica que el modelo es seguro, el conflicto es evidente.
En Brasil, el proyecto de ley de IA que aprobó el Senado en diciembre de 2024 apunta en la dirección correcta. Clasifica los sistemas por nivel de riesgo y exige supervisión humana en los casos de alto impacto. Todavía no es ley vigente en su versión final, y su aplicación dependerá de reglamentos que aún no existen. Aun así, fija un criterio útil: la supervisión no puede ser opcional cuando el sistema toca derechos o dinero.
El argumento de "es más seguro si lo haces con nuestra infraestructura" tiene algo de peso. Pero la seguridad real de un agente depende de tres decisiones que no dependen del chip: cuántos permisos le das, quién revisa sus acciones y qué pasa cuando falla. Ninguna se compra en una factura de servidores.
Aquí discrepo con el discurso dominante. Se habla mucho de la seguridad del modelo y poco de la seguridad de la cuenta bancaria a la que el modelo tiene acceso. Esa asimetría favorece a quien vende infraestructura.
Lo que viene
Mi predicción es concreta. Para diciembre de 2026, al menos tres grandes firmas de auditoría y consultoría ofrecerán una certificación específica para permisos de agentes de IA, independiente del proveedor del modelo. Si el mercado de gobernanza termina dominado por los mismos vendedores de hardware, me equivoqué. Si aparece una industria de auditoría separada, las empresas tendrán un contrapeso real.
También apuesto a que, antes de fin de 2027, al menos una aseguradora en América Latina excluirá de su cobertura los daños causados por agentes que operen sin registro auditable de acciones. Cuando el seguro empiece a exigir lo que hoy es opcional, el mercado se ordenará más rápido que con cualquier manual.
Hasta entonces, la recomendación para cualquier directorio es sencilla y no cuesta un chip. Revisa hoy a qué sistemas tiene acceso tu agente, reduce esos permisos al mínimo y asegúrate de que alguien de tu empresa, no del proveedor, pueda leer lo que hizo ayer.