IA locale en 2026 : Ollama, vLLM, Docker Model Runner et quand les utiliser

Faire tourner des modèles sur son propre matériel a cessé d’être une curiosité de passionné aux alentours de 2024 pour devenir un choix d’ingénierie courant. Les contraintes de confidentialité, le coût par token, la latence et les exigences de fonctionnement hors ligne poussent les équipes vers l’inférence locale. Mais l’« IA locale » recouvre trois outils très différents: Ollama, vLLM et Docker Model Runner: et se tromper de solution fait perdre des semaines. Ce guide les compare sans détour : à quoi chacun sert, où chacun pèche, et une grille de décision applicable dès lundi.

Les trois outils en un coup d’œil

Ce ne sont pas vraiment des concurrents, mais plutôt des outils pour des tâches différentes. Les confondre est à l’origine de la plupart des mauvaises décisions en IA locale.

Ollama              ▸ Single-machine, dev-friendly, "brew install and go"
                      Best for: laptops, prototypes, single-user tools

vLLM                ▸ GPU inference server built for throughput & concurrency
                      Best for: production serving, many concurrent users

Docker Model Runner ▸ Run models as OCI artifacts in your container workflow
                      Best for: teams standardised on Docker/Kubernetes

Ollama : le choix par défaut pour le poste développeur

Ollama est la rampe d’accès la plus simple vers les modèles locaux. Une installation, une commande, et vous disposez d’un modèle capable de dialoguer et d’un point de terminaison compatible OpenAI sur localhost. Il gère pour vous le téléchargement des modèles, les formats de quantification et la mémoire, et tourne sans problème sur la mémoire unifiée d’un MacBook ou un GPU modeste.

# Install, pull a model, and chat — three lines.
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.3
ollama run llama3.3

# It also serves an OpenAI-compatible API on localhost:11434
curl http://localhost:11434/v1/chat/completions \
  -d '{"model":"llama3.3","messages":[{"role":"user","content":"hi"}]}'

vLLM : le débit de production

vLLM est un moteur de serving conçu pour une seule chose : tirer le maximum de tokens par seconde de vos GPU tout en gérant de nombreuses requêtes simultanées. Ses techniques phares: le batching continu et l’attention paginée (PagedAttention): lui permettent de regrouper bien plus de requêtes simultanées sur un GPU qu’un serving naïf, ce qui est exactement ce dont vous avez besoin derrière une véritable API.

pip install vllm

# Serve a model with an OpenAI-compatible endpoint, tuned for throughput.
vllm serve meta-llama/Llama-3.3-70B-Instruct \
  --tensor-parallel-size 2 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.90

Docker Model Runner : des modèles natifs conteneurs

Docker Model Runner traite les modèles comme des artefacts OCI de première classe: vous tirez et exécutez un modèle un peu comme une image de conteneur, et il s’intègre avec l’outillage Docker et les workflows Compose que votre équipe utilise déjà. Pour les organisations standardisées sur les conteneurs, cela signifie que les modèles vivent dans le même registre, le même versionnement et le même pipeline de déploiement que tout le reste, ce qui représente un vrai gain opérationnel.

# Models as OCI artifacts, managed through the Docker workflow.
docker model pull ai/llama3.3
docker model run ai/llama3.3 "Explain paged attention in one sentence."

# Wire it into Compose alongside your app services.
docker model list

La grille de décision

Résumez à la question à laquelle chaque outil répond le mieux :

Dimensionner le matériel sans prise de tête

L’erreur la plus fréquente en IA locale est de sous-estimer la VRAM. En gros, un modèle a besoin d’environ son nombre de paramètres en octets multiplié par la précision, plus une marge pour le cache KV qui augmente avec la longueur du contexte et la concurrence. Un modèle quantifié (4 bits) est bien plus indulgent que la pleine précision, ce qui explique pourquoi la quantification est la norme pour le service local.

En résumé

L’IA locale en 2026 est un problème résolu à toutes les échelles : il suffit d’adapter l’outil à la tâche. Utilisez Ollama pour explorer et prototyper, vLLM pour servir à grande échelle, et Docker Model Runner pour garder les modèles dans votre flux de travail conteneurisé. Décidez honnêtement si vous avez vraiment besoin d’inférence locale, dimensionnez votre VRAM pour une charge réelle et évaluez avec votre propre trafic. Ainsi, vous obtiendrez la confidentialité, la maîtrise des coûts et la latence qui vous ont poussé vers le local au départ.