El auge de las neonubes (proveedores de nube que dan prioridad a la IA) está transformando la infraestructura empresarial.
Los requisitos únicos de los modelos y agentes de IA han allanado el camino para nuevas colaboraciones entre empresas de hardware, plataformas de datos y neonubes. A medida que la industria pasa de la capacitación a la inferencia, estos socios se esfuerzan por satisfacer las demandas de potencia y rendimiento informático.
"La IA agente está entrando en producción y la inferencia se está convirtiendo en la carga de trabajo dominante", dijo Junxia Zhou (en la foto, fila inferior, izquierda), gerente senior de productos de Super Micro Computer Inc. "La inferencia es muy sensible a la latencia, por lo que los proveedores de neocloud implementan la IA más cerca de los usuarios finales. Si está implementando la infraestructura a esa escala... necesita usarla un diseño probado o una configuración de infraestructura que se puede replicar en múltiples ubicaciones”.
Zhou, junto a Phil Manez (fila superior, izquierda), vicepresidente de iniciativas estratégicas de Vast Data Inc.; Anders Graham (fila superior, derecha), director senior de marketing y desarrollo comercial de SSD en Kioxia Holdings Corp.; y Omar Lari (fila inferior, derecha), director senior de productos e infraestructura como servicio, en Crusoe Inc., habló con Rob Strechay de Research, para la entrevista Supermicro Open Storage Summit serie, durante una transmisión exclusiva en el estudio de transmisión en vivo de Media. Hablaron sobre su colaboración, las limitaciones de la infraestructura empresarial actual y cómo la IA agente está remodelando la industria. (* Divulgación a continuación.)
Las neonubes se acercan sigilosamente a los hiperescaladores
Supermicro trabaja con Crusoe, una neonube que adopta un enfoque de "primero la energía" para sus servicios. La empresa recurre a fuentes de energía únicas, incluidas la eólica y el gas natural, para sus centros de datos y añade servicios de infraestructura de inteligencia artificial, todo en nombre de la eficiencia.
“Nuestro objetivo principal es mantener esto lo más simple y directo posible”, dijo Lari. "No queremos tener mucha sobrecarga y tener 10 servicios diferentes que hagan todas las mismas cosas. Queremos que los clientes puedan ejecutar sus trabajos de capacitación, convertirlos rápidamente de proyectos de investigación en proyectos de inferencia que generen ingresos, y poder salir al mercado y repetir ese ciclo una y otra vez".
Las neonubes tienen una ventaja sobre los hiperescaladores porque tienen un diseño que prioriza la IA sin el bagaje de las arquitecturas heredadas. Crusoe se asocia con Vast para aprovechar su arquitectura desagregada de todo compartido (DASE) para proporcionar una plataforma de almacenamiento de alto rendimiento y baja latencia con más flexibilidad que las nubes tradicionales.
“El auge de las neonubes es una validación realmente sólida de que no se puede ejecutar IA en arquitecturas heredadas”, dijo Manez. "Los hiperescaladores tienen una gran deuda técnica. Es muy difícil revertir eso. Y el camino hacia el éxito, si quieres avanzar agresivamente hacia la IA, es acudir a alguien que sepa cómo construir este tipo de infraestructura. Tiene que estar diseñada específicamente para la IA o nunca podrá escalar".
Crusoe también utiliza la memoria flash y las unidades de estado sólido de Kioxia para aumentar la eficiencia energética. La demanda combinada de producción flash y SSD empresariales supera la demanda de aplicaciones móviles y de cliente por primera vez, años antes de lo esperado, señaló Graham.
“Las neonubes como Crusoe están impulsando una demanda sin precedentes”, dijo. "Realmente están construyendo esta infraestructura diseñada específicamente para la IA. Estos grandes modelos de lenguaje son los principales impulsores de la demanda... y mucho de esto va a parar a las neonubes, ya que han sido más eficientes en la construcción de esta infraestructura".
La infraestructura de IA lucha contra los cuellos de botella
Dos de las mayores limitaciones de la tendencia de la IA agente son la memoria y el almacenamiento. Según el panel, los clientes deben ser estratégicos sobre cómo implementan su hardware.Hla tecnología de celdas de cuatro niveles de alta capacidad aliviará esos cuellos de botella, según Graham, mientras que Zhou ve un cambio hacia la refrigeración líquida en los centros de datos de IA.
“La disponibilidad de energía es un tema muy desafiante para nosotros”, dijo Zhou. "La capacidad de energía es siempre la primera consideración cuando un cliente construye su infraestructura de datos. A medida que el consumo de energía de la GPU moderna continúa aumentando, la refrigeración por aire por sí sola se está volviendo difícil y costosa a escala. Los clientes están adoptando tecnología de refrigeración líquida porque mejorará la eficiencia energética y permitirá una mayor densidad de rack y permitirá a los operadores reducir el costo operativo".
Las líneas entre computación, almacenamiento e infraestructura han comenzado a desdibujarse, según Lari. Los colaboradores tendrán que seguir reevaluando qué combinación de esos elementos hace que los clientes obtengan el mayor rendimiento por su inversión.
“Estamos constantemente jugando a este juego de póquer de altas apuestas y asegurándonos de realizar las apuestas en los lugares correctos”, dijo. “Asegurarnos de queestamos trabajando con nuestros proveedores, con Supermicro, Vast y Kioxia, para asegurarnos de que tengamos almacenamiento cuando lo necesitemos en el momento perfecto porque la otra cosa que no queremos hacer es tener recursos inactivos ahí, sin generar ingresos”.
Estén atentos para ver la entrevista en video completa, parte de la cobertura de y de la serie de entrevistas de Supermicro Open Storage Summit.
(* Divulgación: es un socio de medios pago para la serie de entrevistas de Supermicro Open Storage Summit. Ni Supermicro, el patrocinador de la cobertura del evento, ni otros patrocinadores tienen control editorial sobre el contenido de o.)
