El mercado de infraestructura de IA está atrapado en una burbuja de 150 mil millones de dólares anuales, donde la mayoría de las inversiones están destinadas a convertirse en chatarra tecnológica antes de amortizarse. La obsesión actual con el modelo centralizado —donde cada consulta debe viajar a un clúster de H100s en una región remota de AWS o Azure— no es solo un modelo de costos insostenible. Es un error arquitectónico de proporciones épicas. Estamos financiando la deuda técnica del mañana bajo la fachada de la innovación.
Lo que pocos están viendo es que el valor real de la inferencia no reside en la potencia bruta de un centro de datos a mil kilómetros de distancia, sino en la proximidad absoluta con el dato. Mientras los hiperescaladores nos venden la ilusión de que la inteligencia solo ocurre en sus silos, el hardware empresarial existente —servidores con CPUs de alta densidad, FPGAs infrautilizadas y NPUs latentes en el borde— permanece ocioso. Estamos pagando una prima innecesaria por mover terabytes de información que deberían procesarse in situ. La latencia, tanto física como financiera, es el verdadero impuesto a la modernidad.
El mito de la escala como trampa contable
La narrativa dominante dicta que, sin acceso a una infraestructura de clase mundial para ejecutar modelos de 70B de parámetros, la empresa es irrelevante. Es falso. La mayoría de los casos de uso industriales, como la detección de fraude transaccional en la banca chilena o el mantenimiento predictivo en la infraestructura logística mexicana, no necesitan un modelo generalista mastodóntico. Necesitan modelos destilados y cuantizados, optimizados para su realidad operativa. La inferencia local no es una alternativa de segunda clase; es la única que garantiza soberanía operativa y financiera.
Los números no mienten. Al migrar de la nube pública a la ejecución sobre hardware ya instalado, los costos operativos caen drásticamente. En implementaciones reales, el costo por cada 1,000 transacciones puede reducirse hasta en un 90% simplemente eliminando las tarifas de egreso y los sobrecostos por cómputo bajo demanda. Honestamente, el argumento de las "economías de escala" es una falacia diseñada para quien vende el cómputo, no para quien lo consume. La nube es eficiente para ellos, pero rara vez para el CFO que debe justificar un gasto recurrente que no escala con el valor del negocio.
Aquí discrepo abiertamente con la estrategia de los hiperescaladores: están intentando encapsular el mundo en entornos cerrados para evitar la commoditización del silicio. Pero el software ya encontró la salida. Con nuevas librerías de cuantización, hoy es posible correr modelos de alta complejidad en hardware con menos de 16GB de VRAM, e incluso en CPUs optimizadas. La barrera técnica para la autonomía se ha desplomado.
La descentralización como el filtro de rentabilidad
Estamos frente a una inminente contracción de márgenes para los proveedores de nube. Si una organización logra que el 60% de su carga de trabajo de inferencia se ejecute en sus propios racks, la demanda por instancias de GPU en la nube caerá en picada. Esto no es una suposición; es un imperativo financiero. Ningún director de finanzas racional mantendrá presupuestos crecientes para inferencia en la nube cuando la tecnología permite resultados equivalentes en el hardware que ya tienen pagado en sus propios centros de datos.
La verdadera revolución de los próximos 24 meses no vendrá de otro modelo de lenguaje que supere al GPT-4, sino de los compiladores que logren extraer rendimiento de CPUs y hardware de hace tres años. La infraestructura física actual es más que suficiente; lo que falta es la voluntad de abandonar el paradigma del "alquiler de silicio". Mi lectura es distinta: estamos ante el inicio de una guerra de desgaste donde el ganador no será quien tenga la GPU más potente, sino quien tenga el compilador más eficiente para ejecutar localmente.
El detalle que importa es que la soberanía tecnológica no se gana construyendo más granjas de servidores, sino recuperando el control de la ejecución. Las empresas que logren descentralizar su inferencia hoy obtendrán una ventaja de costos que sus competidores, anclados al arbitraje de precios de la nube, no podrán replicar. Para finales de 2026, una parte sustancial del gasto en inferencia pública migrará por fuerza de gravedad hacia arquitecturas locales. Los proveedores que sigan intentando vender solo cómputo, sin ofrecer orquestación local, verán cómo sus márgenes operativos se evaporan a medida que el mercado deje de pagar por sus excesos eléctricos.
