llama.cpp
Moteur C/C++ de référence pour les modèles GGUF ; llama-server fournit une API compatible OpenAI et une interface web sur CPU, CUDA, Metal, Vulkan et ROCm.
- Licence
- MIT
- Plateformes
- Windows, macOS, Linux, Docker, CLI
- Vos propres clés API
- Oui
- Vérifié
- 2026-09-24
llama.cpp fonctionne avec les API compatibles OpenAI. Récupérez une clé gratuite et un modèle dans le catalogue : pour le code · pour les agents · fournisseurs et base URL
Alternatives à llama.cpp
Runtime populaire pour télécharger et exécuter des LLM ouverts en local via CLI, application desktop et API REST compatible OpenAI.
Application desktop pour découvrir, télécharger et exécuter des LLM locaux (llama.cpp, MLX), avec une interface de chat et un serveur local compatible OpenAI.
Alternative hors ligne à ChatGPT : exécute des LLM locaux, se connecte aux API cloud, prend en charge MCP et expose une API compatible OpenAI sur localhost.
Moteur d'inférence et de service de LLM à haut débit, avec un serveur compatible OpenAI pour NVIDIA, AMD, Intel, TPU et CPU.
Remplacement auto-hébergé et transparent des API OpenAI/Anthropic pour LLM, images, audio, vidéo et embeddings sur CPU ou GPU.
Exécuteur en un seul fichier basé sur llama.cpp, avec l'interface KoboldAI Lite ; API compatibles OpenAI/Ollama, génération d'images, Whisper et TTS.
FAQ
llama.cpp est-il gratuit ?
Entièrement gratuit et open source, sans compte, clé API ni limite d'utilisation.
llama.cpp fonctionne-t-il avec des modèles gratuits ?
Oui. Il prend en charge vos propres clés et les API compatibles OpenAI : vous pouvez donc brancher des modèles gratuits d'OpenRouter, Groq, NVIDIA Build ou un Ollama local.
Quelle est la licence de llama.cpp ?
MIT. Le code source est ouvert.