A medida que las aplicaciones de inteligencia artificial tienen cada vez más hambre de un acceso más rápido a los datos, Nvidia Corp. anunció hoy que está abriendo la interfaz de programación de aplicaciones para su potente pila de almacenamiento de datos vertical cuFile, lo que permite el acceso a datos en milisegundos.
La compañía también anunció una iniciativa industrial a gran escala con líderes tecnológicos para optimizar la memoria y el almacenamiento con Storage-Next. La iniciativa tiene como objetivo reunir a los fabricantes de almacenamiento, proveedores de controladores, diseño térmico, refrigeración y orquestación con organismos estándar para encontrar oportunidades de almacenamiento superior impulsado por unidades de procesamiento de gráficos.
Durante el anuncio de Nvidia en la conferencia Future of Memory and Storage, la compañía dijo que la API cuFile permite el acceso seguro desde el almacenamiento en solo milisegundos.
CuFile se lanzó oficialmente por primera vez para disponibilidad general en julio de 2021 junto con el kit de herramientas CUDA 11.4 de acceso a GPU de la compañía. Antes del lanzamiento, actuó como un componente central del software GPUDirect Storage de la empresa. Proporciona acceso directo a datos de alta velocidad entre el almacenamiento distribuido local y la memoria GPU; esto permite que las GPU omitan la unidad central de procesamiento y la memoria principal del sistema, lo que reduce en gran medida los retrasos en el acceso a la memoria.
Utilizando el acceso directo a la memoria, o DMA, puede mover datos directamente desde dispositivos de almacenamiento como unidades NVMe a la memoria GPU. La fuente principal de inferencia de IA ocurre en las GPU y tarjetas especializadas que interactúan principalmente con la memoria de la GPU; La actualización de esa memoria a menudo se completa con otra capa de software que utiliza la GPU para orquestar y tomar decisiones. CuFile elimina al "intermediario", por así decirlo, proporcionando una ruta de acceso directo y permitiendo la orquestación de GPU, lo que significa que puede extraer más datos rápidamente.
Esto permite la sincronización de conjuntos de datos masivos a velocidades que pueden mantenerse al día con las velocidades de GPU de élite. Si el ancho de banda para estos datos se retrasa o se ve limitado por un cuello de botella, se produce algo llamado bucle de “inanición de GPU”, donde algunas GPU en una matriz distribuida permanecen inactivas esperando que los datos estén listos.
Las mayores velocidades y los bajos retrasos de milisegundos permiten que conjuntos de datos masivos de generación con recuperación aumentada e IA agente se ejecuten más rápido al proporcionarles una "superautopista" de baja latencia entre el almacenamiento profundo y la propia GPU.
Llevando estándares abiertos al almacenamiento accesible por GPU
Storage-Next incluye 40 proveedores líderes de almacenamiento y memoria flash, incluidos DataDirect Networks, Inc., Kioxia Corp. y Micron Technology Inc. Cada uno de ellos contribuirá a la próxima generación de tecnologías de almacenamiento de IA con Nvidia.
La empresa construirá su acceso a datos de alta velocidad y basado en tierra para almacenamiento fuera de SCADA, abreviatura de acceso a datos acelerado y escalado. Esta solución proporciona la base para que las GPU masivamente paralelas extraigan datos con un gran ancho de banda y un retraso extremadamente bajo. El entrenamiento moderno de IA requiere un acceso masivo a datos al mismo tiempo y la inferencia de IA ahora incluye colosales modelos de combinación de expertos, que "piensan" extremadamente rápido, extrayendo datos rápidamente y activando herramientas para flujos de trabajo agentes.
“El éxito de la IA no se definirá por la cantidad de infraestructura que posean las organizaciones, sino por la productividad con la que la utilicen”, afirmó Sven Oehme, director de tecnología de DDN. "Nuestra colaboración con Nvidia está ayudando a crear una conexión más directa y eficiente entre las GPU y los datos, manteniendo productivos los recursos informáticos acelerados, acelerando el tiempo para obtener información y permitiendo a los clientes lograr mayores retornos comerciales y financieros de sus inversiones en IA".
Nvidia dijo que SCADA permite que las capas de almacenamiento de alta velocidad funcionen de forma segura. Tecnologías como SCADA permiten el acceso directo a los medios de almacenamiento por parte de la IA; esto atraviesa salvaguardas diseñadas para evitar golpes: lo que sucede cuando dos procesos intentan escribir en los mismos datos a la vez, y uno garabatea el trabajo del otro. Este es un problema de seguridad, no una característica adecuada.
La otra cara de la moneda significa que esto podría eludir medidas de seguridad como el acceso cifrado y privilegiado.Esto abre otro agujero de seguridad que personas malintencionadas podrían aprovechar.
SCADA supera este desafío escalando el acceso directo dividiendo el acceso entre diferentes trabajos: las partes del usuario de la aplicación reciben velocidad bruta pero permanecen fuera de la base informática cifrada, segura y confiable; y un componente informático privilegiado independiente configura el acceso protegido siguiendo los protocolos de Linux para evitar ataques.
Imagen: Nvidia
