Estaciones de trabajo para IA
Estaciones de trabajo de alto rendimiento para entrenamiento e inferencia de IA.
| Foto | Producto | Precio | Capacidad |
|---|
Entender la capacidad del modelo
La capacidad del modelo se refiere al número de parámetros que contiene un modelo de IA (por ejemplo, 70B = 70 mil millones de parámetros). Los modelos más grandes generalmente requieren más memoria y potencia de cálculo, pero pueden ofrecer un mejor razonamiento y calidad de salida.
Precisión (FP16 / FP8 / FP4) afecta a la cantidad de memoria que requiere una capacidad de modelo determinada: los formatos de menor precisión aproximadamente reducen a la mitad los requisitos de memoria por cada paso hacia abajo (FP16 → FP8 → FP4), con cierto coste en la precisión de salida.
| Tamaño del modelo | Memoria típica (FP16) | Memoria típica (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |