Increíble Nuevo Supercomputador: El NVIDIA DGX Spark

Estimated reading time: 8 minutes

Key Takeaways

• El NVIDIA DGX Spark es un supercomputador ultra compacto con rendimiento de centro de datos en el escritorio.
• Software y Ecosistema del DGX Spark ofrece una experiencia de AI completa, con soporte para los marcos de desarrollo más populares.
• Capacidades Únicas del NVIDIA DGX Spark incluyen memoria unificada y flexibilidad de agrupamiento para modelos distribuidos.
• Limitaciones: A pesar de su potencia, el ancho de banda de memoria puede limitar tareas de inferencia pesadas.
• Resumen de Casos de Uso: El DGX Spark es ideal para prototipado, ajuste fino y despliegue de modelos de AI locales.

Bienvenido a la revolución de la inteligencia artificial! Esta semana llega con asombrosas noticias en el mundo tecnológico: El NVIDIA DGX Spark. Este recién lanzado supercomputador ultra compacto de AI, está diseñado para entregar un rendimiento de clase de centro de datos directo en tu escritorio, apuntando especialmente a desarrolladores, investigadores y empresas en búsqueda de potentes cálculos locales de AI sin necesidad de una nube ni infraestructura de servidor a gran escala.

Aspectos Técnicos Destacados:

• En su núcleo, el NVIDIA DGX Spark cuenta con el superchip NVIDIA GB10 Grace Blackwell. Este superchip integra un CPU Arm de 20 núcleos (10 Cortex-X925 de alto rendimiento + 10 Cortex-A725 eficientes) con una GPU Blackwell de próxima generación, conectados a través del NVLink-C2C para un acceso unificado y coherente a la memoria.
• Presenta 128 GB de memoria de sistema unificada LPDDR5x, lo que permite que tanto la CPU como la GPU accedan al mismo pool de memoria. Esta característica es esencial para correr modelos grandes de AI sin la sobrecarga de copiar datos entre la RAM y el VRAM de la GPU.
• En cuanto a su rendimiento, la DGX Spark ofrece hasta 1 petaFLOP (PFLOP) de rendimiento tensorial de AI en FP4 disperso. Esto permite la inferencia local en modelos de hasta 200 mil millones de parámetros, o hasta 405 mil millones en un clúster doble Spark, con capacidades de ajuste fino para modelos de hasta 70 mil millones de parámetros localmente.
• Por otro lado, se puede optar por una SSD NVMe M.2 de 1 TB o de 4 TB con auto-encriptación para una manipulación segura de datos. Adicionalmente, cuenta con una high-speed 200 Gb/s ConnectX-7 NIC, Wi-Fi 7, Ethernet 10 GbE, y Bluetooth 5.4. Dos unidades DGX Spark se pueden vincular para la ejecución del modelo distribuido a través de un RDMA de baja latencia.
• Además, es extremadamente compacta, con un tamaño de 150 mm x 150 mm x 50.5 mm, aproximadamente del tamaño de un router pequeño. Utiliza un adaptador de energía externo de 240W, aproximando un consumo de 170W bajo carga, y es activamente refrigerada con una moderada salida de ruido (~35 dB).