Despliegue de Modelos LLM Locales con Ollama en Servidores GPU: Arquitectura y Rendimiento

La soberanía de los datos y el control estricto sobre la propiedad intelectual han impulsado a las corporaciones a transicionar hacia arquitecturas de inteligencia artificial on-premise. Desplegar modelos de lenguaje grandes (LLMs) localmente mitiga los riesgos de cumplimiento normativo (GDPR, HIPAA) inherentes al uso de APIs de terceros. En este contexto, Ollama se ha consolidado como el estándar de facto para la orquestación y servido de LLMs cuantizados, ofreciendo una capa de abstracción eficiente sobre los tensores y la gestión de memoria.

En este artículo, desglosaremos la arquitectura necesaria para un despliegue en producción de Ollama sobre servidores acelerados por GPU, optimizando el rendimiento de inferencia y garantizando alta disponibilidad.

Arquitectura de Inferencia Acelerada#

Para entornos de producción, el backend de ejecución de Ollama se basa en llama.cpp, aprovechando CUDA para la aceleración en hardware NVIDIA. La clave del rendimiento radica en maximizar el ancho de banda de memoria (VRAM) y optimizar el tamaño del batch durante la inferencia.

Requisitos de Hardware y Cuantización

La elección de la GPU dictará la capacidad de procesamiento de tokens por segundo (t/s) y el tamaño del modelo que podemos alojar. Utilizando esquemas de cuantización como GGUF (k-quants), podemos reducir drásticamente los requisitos de memoria sin una degradación significativa de la perplejidad del modelo.

• Llama 3 (8B) Q4_K_M: Requiere ~6GB de VRAM. (Ideal para GPUs NVIDIA RTX 4090 / A5000).
• Mixtral 8x7B (MoE) Q4_K_M: Requiere ~28GB de VRAM. (Adecuado para NVIDIA A6000 o clústeres con múltiples GPUs).

Nota Importante: Para implementaciones multi-GPU, asegúrese de que el puente NVLink (si está disponible) esté correctamente configurado. Ollama distribuirá automáticamente las capas del tensor (tensor parallelism) entre las GPUs disponibles para modelos que excedan la capacidad de una sola tarjeta.

Despliegue con Docker y NVIDIA Container Toolkit#

La contenedorización asegura la reproducibilidad y simplifica el escalado. El primer paso crítico es habilitar la pasarela de la GPU hacia los contenedores mediante el NVIDIA Container Toolkit.

1. Configuración del Daemon de Docker

Configure Docker para que el runtime de NVIDIA sea el predeterminado:

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

2. Implementación mediante Docker Compose

Utilizaremos docker-compose para orquestar el servicio, asegurando la persistencia de los modelos y la correcta asignación de recursos. A continuación, el archivo docker-compose.yml recomendado para producción:

version: '3.8'

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama_gpu
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all # O especificar el ID de la GPU: ['0', '1']
              capabilities: [gpu, compute, utility]
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=24h # Mantiene el modelo cargado en VRAM
      - OLLAMA_MAX_VRAM=24576 # Límite de VRAM en MB

volumes:
  ollama_data:

Para iniciar el clúster:

docker-compose up -d

Gestión de Modelos y Ajuste de Contexto#

Una vez que el servidor está operativo, la carga de modelos se realiza mediante la API REST o la CLI del contenedor.

Creación de un Modelfile Personalizado

Para adaptar el comportamiento del LLM a los requerimientos del negocio, es fundamental usar un Modelfile. Esto permite preconfigurar el system prompt y los parámetros de inferencia (temperatura, ventana de contexto).

FROM llama3:instruct

# Ampliar la ventana de contexto a 8192 tokens
PARAMETER num_ctx 8192
# Reducir la temperatura para respuestas más analíticas
PARAMETER temperature 0.2

SYSTEM """
Eres un ingeniero de sistemas L3 de ForgeNEX. 
Proporciona respuestas técnicas, precisas y sin redundancias. 
Tus análisis deben basarse en arquitecturas cloud-native y principios SRE.
"""

Construya e implemente el modelo personalizado:

docker exec -it ollama_gpu ollama create forgenex-llama3 -f /root/.ollama/Modelfile

Monitorización y Troubleshooting#

El cuello de botella más común en la inferencia LLM es el Memory Bandwidth. Monitorizar el uso de VRAM y el estado de los Tensor Cores es vital.

Nota Importante: Utilice el comando watch -n 1 nvidia-smi durante las primeras fases de pruebas de carga para asegurar que no se produzcan Out-Of-Memory (OOM) kills y que el uso de la VRAM sea estable.

Para arquitecturas corporativas escalables, considere desplegar un balanceador de carga (como HAProxy o Nginx) delante de múltiples instancias de Ollama, ruteando las peticiones de inferencia hacia el nodo con menor utilización de GPU, garantizando así una latencia mínima y un throughput constante.