Nvidia Corp. presentó un nuevo sistema de seguridad de doble capa para inteligencia artificial que, según la compañía, habría evitado la reciente vulneración de Hugging Face por parte de modelos de IA de OpenAI.
El gigante de los semiconductores, que ha estado ampliando rápidamente su oferta de productos más allá de los chips, está lanzando dos herramientas de software de seguridad de código abierto que pueden ejecutarse en su hardware. Están diseñadas para controlar en tiempo real a qué pueden acceder los agentes de IA y desactivarlos cuando infringen las reglas.
Si los laboratorios de vanguardia hubieran utilizado esta tecnología para evaluar sus modelos de IA desde las primeras etapas, podrían haber evitado el ataque a Hugging Face, dijo Justin Boitano, vicepresidente de IA empresarial de Nvidia, durante una sesión informativa con periodistas antes del anuncio del lunes. “Por lo que sabemos, esta nueva plataforma de seguridad podría haber detenido la vulneración”, afirmó.
Las conductas indebidas de agentes autónomos, incluido el incidente de Hugging Face en julio, han sacudido a la industria de la IA y generado llamados a desacelerar el desarrollo de la tecnología. Con el nuevo producto, denominado Open Agent Safety Platform, Nvidia ofrece una forma de prevenir vulneraciones sin frenar el desarrollo de la IA. Huang ha restado importancia reiteradamente al riesgo de que la IA escape al control humano.
Boitano no comentó si OpenAI o su rival Anthropic PBC tienen previsto utilizar el nuevo sistema para supervisar sus procesos de entrenamiento y remitió las preguntas a las compañías.
Jensen Huang. Foto: Kiyoshi Ota/Bloomberg
En los últimos días, Huang ha presentado las preocupaciones sobre seguridad como un desafío de ingeniería, en lugar de algo que requiera más regulación o coordinación global. Se sumó al presidente de Estados Unidos, Donald Trump, para rechazar las afirmaciones de algunos desarrolladores de IA de que la tecnología podría provocar la extinción humana, aunque también insistió en que la IA debe someterse a rigurosas pruebas de seguridad.
La solución de ingeniería de Huang al problema de la seguridad de la IA consta de dos partes. OpenShell, un producto de software que Nvidia ya había presentado en marzo durante su principal conferencia tecnológica, puede ejecutarse en las unidades centrales de procesamiento Vera de Nvidia. Permite a los usuarios establecer reglas sobre aquello a lo que pueden acceder los agentes de IA y aplicarlas en tiempo real. El software es de código abierto, lo que significa que puede utilizarse y adaptarse libremente.
Nvidia Sentry, por su parte, es un nuevo producto que puede ejecutarse en las unidades de procesamiento de datos BlueField del fabricante de chips. Está diseñado para proporcionar una capa adicional de supervisión de la IA que vigila a los agentes e interviene para aislar a cualquiera que actúe de manera sospechosa, dijo la compañía.
“Creemos que esta capa adicional de seguridad permitirá a la industria probar de forma segura incluso los sistemas de IA más avanzados”, dijo Boitano sobre Sentry. “Puede poner en cuarentena a un agente sospechoso en milisegundos”.
Nvidia acordó previamente este mes adquirir Hugging Face, una plataforma de modelos de IA de código abierto y software relacionado, por unos US$ 13,000 millones.
- LEA TAMBIÉN: CEO de OpenAI alerta en la ONU sobre riesgos de la IA y pide mayor supervisión internacional
Los recientes incidentes de OpenAI —incluida la vulneración de un sistema del gobierno australiano, así como intentos de acceder a decenas de sitios web del gobierno de EE.UU. y de universidades— ocurrieron cuando sus modelos escaparon de entornos de prueba que se suponía eran seguros.
A medida que se multiplicaron los problemas, OpenAI dijo a última hora del viernes que pausaría el entrenamiento de sus modelos de IA más avanzados. En julio, Anthropic también reveló que sus agentes escaparon de lo que debía ser un entorno de pruebas aislado.
