Ram para GPU y aceleradores de IA
1. GDDR (Graphics DDR) #
- Variante de la DDR optimizada para tarjetas gráficas.
- Se centra en ancho de banda muy alto, sacrificando algo de latencia.
- Cada generación aumenta la tasa de transferencia por pin:
| Generación | Velocidad típica | Ancho de banda por chip | Uso habitual |
|---|---|---|---|
| GDDR5 | 7–8 Gbps | ~28–32 GB/s | GPUs 2010s (GTX 10xx) |
| GDDR6 | 14–20 Gbps | ~56–80 GB/s | GPUs modernas (RTX 30, RX 6000) |
| GDDR6X | 19–24 Gbps | ~76–96 GB/s | NVIDIA RTX 3080/3090/40xx |
👉 Una GPU de gama alta puede usar 12–24 chips en paralelo, logrando anchos de banda totales de 600 GB/s a 1 TB/s.
2. HBM (High Bandwidth Memory) #
- Tecnología más avanzada que GDDR.
- Memoria apilada en 3D mediante TSV (Through-Silicon Vias).
- Conectada al procesador mediante un interposer de silicio.
Características:
- Mucho mayor ancho de banda que GDDR, con menor consumo por bit.
- Bus extremadamente ancho (hasta 4096 bits por pila).
- Cada pila de HBM puede ofrecer cientos de GB/s.
Evolución:
- HBM1: hasta 128 GB/s por pila.
- HBM2: hasta 256 GB/s por pila.
- HBM2e: hasta 460 GB/s por pila.
- HBM3 / HBM3e: superan 1 TB/s por pila, usadas en aceleradores de IA y supercomputación.
3. RAM en aceleradores de IA #
La inteligencia artificial (IA), especialmente el deep learning, requiere mover matrices gigantes de datos.
-
GPUs (NVIDIA, AMD): usan GDDR6/GDDR6X y HBM según la gama.
-
Aceleradores dedicados (Google TPU, Habana Gaudi, Cerebras, etc.):
- Usan HBM2e/HBM3 para alimentar a miles de núcleos.
- Algunos incorporan memoria SRAM on-chip para reducir latencia.
👉 Ejemplo:
- NVIDIA H100 (Hopper): 80 GB de HBM3, ancho de banda de 3 TB/s.
- AMD MI300X: 192 GB de HBM3, más de 5 TB/s.
4. Comparación rápida DDR - GDDR - HBM #
| Tipo | Latencia | Ancho de banda | Consumo | Uso principal |
|---|---|---|---|---|
| DDR | Baja | Moderado | Bajo | PCs, servidores |
| GDDR | Media | Alto | Medio | GPUs gaming/profesional |
| HBM | Baja | Muy alto | Bajo/medio | HPC, IA, supercomputación |
Resumen del tema
Conceptos clave #
- VRAM GDDR6 / GDDR6X: memorias con señal PAM4 y transferencias de hasta 24 Gbps por pin alcanzando anchos de banda de 1 TB/s en GPUs gaming y estaciones gráficas.
- HBM3 / HBM3e (High Bandwidth Memory): diseño 3D apilado con vías TSV y buses de 1024/4096 bits que superan los 3-5 TB/s de ancho de banda.
- Cuello de Botella en Modelos de IA (Memory-Bound): el entrenamiento e inferencia de LLMs y redes profundas requiere alimentar millones de parámetros por segundo mediante arrays masivos de HBM.
Qué debes recordar #
GDDR maximiza la velocidad de reloj para tarjetas gráficas de consumo, mientras que HBM apila silicio en 3D para lograr anchos de banda masivos requeridos por la Inteligencia Artificial.