llama

llama.cpp est un des outils les plus pour déployer et utiliser pour faire de l’inférence LLM / MLLM avec des configurations limitées et d’optimiser les performances sur l’ensemble des configurations. Grâce à la quantification, à des backends optimisés et à une implémentation C/C++ portable, llama.cpp permet de l'inférence IA accessible à tous les niveaux de la pile logicielle.

Après plus de 3 ans de développement et d’itération, llama.cpp est disponible en version 1.0.0. En même temps, ggml arrive aussi en version 1.0.0