Accueil / Réalisations / Choisir le modèle qui justifie son coût

Choisir le modèle qui justifie son coût

Comparer des LLM open-weight sur données réelles, et pas seulement sur données de test.

Modèles comparés
Quatre LLM open-weight, de 24 à 397 milliards de paramètres
Résultat
16,5 fois plus petit et 91 % moins cher que le premier choix
Hébergement
En France

Le piège

Le modèle qui obtient le meilleur score sur un jeu de test n’est pas toujours celui à mettre en production. Les données de test sont plus propres que les données réelles, et un modèle plus gros multiplie les coûts d’hébergement.

Ce que j’ai fait

Mêmes règles et mêmes prompts pour chaque modèle, entrées simulées et réelles comparées, et un jeu de test fixe. La capacité GPU a été dimensionnée par simulations de charge.

Résultat

Le modèle mis en production est 16,5 fois plus petit et 91 % moins cher que celui qui avait le meilleur score initial, et il est hébergé en France.

Un problème similaire ? Écrivez-moi.