Accueil / Réalisations / Choisir le modèle qui justifie son coût
Choisir le modèle qui justifie son coût
Comparer des LLM open-weight sur données réelles, et pas seulement sur données de test.
- Modèles comparés
- Quatre LLM open-weight, de 24 à 397 milliards de paramètres
- Résultat
- 16,5 fois plus petit et 91 % moins cher que le premier choix
- Hébergement
- En France
Le piège
Le modèle qui obtient le meilleur score sur un jeu de test n’est pas toujours celui à mettre en production. Les données de test sont plus propres que les données réelles, et un modèle plus gros multiplie les coûts d’hébergement.
Ce que j’ai fait
Mêmes règles et mêmes prompts pour chaque modèle, entrées simulées et réelles comparées, et un jeu de test fixe. La capacité GPU a été dimensionnée par simulations de charge.
Résultat
Le modèle mis en production est 16,5 fois plus petit et 91 % moins cher que celui qui avait le meilleur score initial, et il est hébergé en France.
Un problème similaire ? Écrivez-moi.