Como instalar una IA gratuita en tu Homelab con Ollama y Proxmox

El GPU passthrough en Proxmox requiere que tu CPU soporte IOMMU (Intel VT-d o AMD-Vi) y que este habilitado en la BIOS. Consulta la documentacion oficial de Proxmox sobre PCI Passthrough para verificar la compatibilidad antes de empezar.

Preparar el entorno en Proxmox

Vamos a crear un container LXC privilegiado con acceso a la GPU. Preferimos LXC sobre una VM completa porque el overhead es minimo y el rendimiento de GPU es practicamente nativo.

1. Crear el container LXC

Desde la interfaz web de Proxmox:

1. Click en Create CT.
2. Elige una template de Ubuntu 22.04 o 24.04 LTS.
3. Asigna al menos 4 cores y 8 GB de RAM (16 GB si no tienes GPU).
4. En Root Disk, asigna al menos 50 GB.
5. En Network, configura DHCP normal.
6. No marques Unprivileged container — necesitamos privilegios para el GPU passthrough.
7. Finaliza la creacion sin iniciar el container.

2. Configurar GPU passthrough en el LXC

Antes de iniciar el container, edita su archivo de configuracion en /etc/pve/lxc/<ID>.conf y anade estas lineas:

lxc.cgroup2.devices.allow: c 195:* rwm
lxc.cgroup2.devices.allow: c 509:* rwm
lxc.mount.entry: /dev/nvidia0 dev/nvidia0 none bind,optional,create=file
lxc.mount.entry: /dev/nvidiactl dev/nvidiactl none bind,optional,create=file
lxc.mount.entry: /dev/nvidia-modeset dev/nvidia-modeset none bind,optional,create=file
lxc.mount.entry: /dev/nvidia-uvm dev/nvidia-uvm none bind,optional,create=file
lxc.mount.entry: /dev/nvidia-uvm-tools dev/nvidia-uvm-tools none bind,optional,create=file

Si tienes una GPU AMD, las entradas seran diferentes. Para AMD necesitaras:

lxc.cgroup2.devices.allow: c 226:* rwm
lxc.mount.entry: /dev/dri dev/dri none bind,optional,create=dir

Instalar Ollama paso a paso

Con el container preparado y la GPU pasada correctamente, instalar Ollama es trivial.

1. Accede al container

pct enter <ID-del-container>

2. Instala los drivers NVIDIA dentro del LXC

apt update && apt install -y nvidia-driver-545 nvidia-utils-545
apt install -y nvidia-cuda-toolkit

Para GPUs AMD, instala los drivers ROCm desde la documentacion oficial de AMD ROCm.

3. Instala Ollama

Ollama ofrece un script de instalacion que detecta automaticamente tu GPU y configura todo. Puedes consultar la documentacion oficial en GitHub para mas detalles:

curl -fsSL https://ollama.com/install.sh | sh

Si prefieres instalarlo manualmente o en un entorno offline, puedes descargar el binario directamente desde su pagina oficial.

4. Verifica que Ollama funciona

Inicia el servicio y prueba con un modelo pequeno:

systemctl start ollama
ollama run llama3.2:1b

Si ves respuestas en la terminal, la instalacion ha sido exitosa. Escribe /bye para salir.

5. Abre el puerto de red (opcional)

Ollama expone una API REST en el puerto 11434. Si quieres acceder desde otros dispositivos de tu red:

# En el archivo /etc/systemd/system/ollama.service
# Anade o modifica:
Environment="OLLAMA_HOST=0.0.0.0"

Modelos recomendados segun tu hardware

No todos los modelos funcionan igual en todas las configuraciones. Aqui tienes una guia rapida para elegir:

Hardware	Modelo recomendado	Tamano (Q4)	Uso ideal
8 GB VRAM	Llama 3.2 3B o Qwen 2.5 7B (Q4)	2-4 GB	Chat, code, preguntas simples
12 GB VRAM	Mistral 7B o Llama 3.1 8B (Q4_K_M)	5-6 GB	Razonamiento, codigo, analisis
16-24 GB VRAM	DeepSeek Coder V2 o Qwen 2.5 32B (Q4)	10-18 GB	Codigo avanzado, analisis datos
32 GB VRAM+	Llama 3.1 70B (Q4) o DeepSeek V3	20-40 GB	Razonamiento profundo
Solo CPU (16 GB RAM)	Llama 3.2 1B o Phi-3 Mini	1-2 GB	Chat simple, clasificacion

Puedes descargar cualquier modelo con un solo comando:

ollama pull llama3.1:8b
ollama pull mistral
ollama pull deepseek-coder-v2

Interfaz grafica con Open WebUI

Ollama viene con CLI, pero para un uso comodo necesitas una interfaz grafica. Open WebUI (antes Ollama WebUI) es la opcion mas popular. Es un contenedor Docker que se conecta a tu servidor Ollama y ofrece una experiencia similar a ChatGPT.

Instalar Open WebUI con Docker

Si tienes Docker instalado en el mismo LXC o en otro container:

docker run -d   --name open-webui   -p 3000:8080   -v open-webui-data:/app/backend/data   --network host   --restart unless-stopped   ghcr.io/open-webui/open-webui:main

Accede desde tu navegador en http://<IP-del-container>:3000. Veras una interfaz limpia donde puedes seleccionar modelos, ajustar parametros como temperatura y top-p, y mantener historial de conversaciones.

Automatizacion con n8n

Una vez tienes Ollama funcionando, el siguiente nivel es integrarlo con tus automatizaciones. n8n es una herramienta de automatizacion open source que puede conectarse directamente con Ollama via su API REST.

Algunos flujos utiles que puedes construir:

• Resumidor de correos: Cuando llegue un email largo, pasalo por Ollama para obtener un resumen y guardalo en tu gestor de tareas.
• Clasificador de documentos: Al subir un PDF a una carpeta, n8n lo extrae y pide a Ollama que lo clasifique por categoria.
• Chatbot interno: Conecta un bot de Telegram o Slack a Ollama via n8n para tener un asistente IA para tu equipo.
• Moderacion de contenido: Analiza comentarios o mensajes automaticamente antes de publicarlos.

Para conectar n8n con Ollama, usa el nodo HTTP Request apuntando a:

POST http://<IP-OLLAMA>:11434/api/chat
{
  "model": "llama3.1:8b",
  "messages": [
    {"role": "system", "content": "Eres un asistente util."},
    {"role": "user", "content": "{{ $json.input }}"}
  ],
  "stream": false
}

Conclusion y proximos pasos

Has conseguido montar un servidor de IA completamente funcional en tu homelab. Al ejecutarlo sobre Proxmox, tu asistente IA está disponible 24/7 para que tu Mini PC y cualquier otro dispositivo de tu red puedan comunicarse con él en cualquier momento, sin interrupción y sin depender de servicios externos.

Gratuito, privado y bajo tu control. Desde aqui, las posibilidades se multiplican:

• Prueba mas modelos: La biblioteca de Ollama tiene cientos de modelos. Experimenta con Mistral para chat, DeepSeek para codigo o Qwen para tareas en espanol.
• Monta un RAG: Combina Ollama con una base de datos vectorial como Qdrant o Chroma para crear un sistema de preguntas y respuestas sobre tus propios documentos.
• Exponlo con seguridad: Si quieres acceder desde fuera de tu red, usa un reverse proxy con autenticacion (Authelia, Authentik) y nunca expongas Ollama directamente a internet.
• Monitoriza: Instala Prometheus + Grafana para ver el uso de GPU, latencia de respuestas y modelos mas usados.
• Comparte: Si has creado algo interesante, la comunidad de Virexo AI quiere verlo. Escribenos o comparte tu setup en redes.

La IA local no es el futuro, es el presente. Y ahora tienes las herramientas para aprovecharla al maximo.