Outil
AI Energy Score Leaderboard
Édité par :
Hugging Face & Salesforce
Résumé
Le AI Energy Score Leaderboard est un projet développé par Hugging Face et Salesforce. Il a pour objectif de mettre en évidence et de comparer l’efficacité énergétique des différents modèles d’IA génératives existants.
Ce projet, publié en février 2025 dans le cadre de l’AI Action Summit permet de visualiser dans un tableau accessible en ligne la consommation énergétique en Wattheure.
Le projet inclut autant les modèles ouverts que les modèles propriétaires, et permet de comparer l’efficience des modèles entre eux. L’outil s’avère complet puisqu’il s’intéresse non seulement aux moteurs de génération de textes, que de génération d’images et de vidéos. Un benchmark complet donc.
La description du projet explique par ailleurs : « Ces résultats sont disponibles dans un tableau de classement public qui permet de suivre les progrès réalisés au fil du temps. En outre, nous formulons des recommandations concrètes à l'intention des développeurs d'IA, des décideurs politiques et des autres parties prenantes sur la manière d'intégrer le score énergétique de l'IA dans leurs processus de prise de décision, en veillant à ce que l'efficacité énergétique devienne un élément clé lors du développement, du déploiement et de la sélection des modèles d'IA. »
Le AI Energy Score se veut être une première étape vers la création d'un cadre normalisé pour l'évaluation de l'efficacité énergétique des modèles d'IA.
Le regard de la rédaction
Le projet s’impose comme un outil particulièrement pertinent pour évaluer la consommation énergétique de l’IA générative. Avec une méthodologie détaillée et exposée publiquement, le AI Energy Score démontre sa pertinence scientifique.
La description du projet met également en évidence les points d’améliorations et les challenges à venir pour devenir un outil de référence.
Ils fournissent également les outils pour évaluer un modèle de langage propriétaire. Cela permet d’aligner les process d’évaluation et permet aux équipes de développement de comparer de manière fiable les outils qu’ils utilisent ou développent aux autres déjà évaluer par le AI Energy Score. Une bonne manière de sensibiliser les équipes à l’impact de leurs langages avec facilité et cohérence.
En bref, le regard de la rédaction
Les plus
- Méthodologie très détaillée
- Consortium d’acteurs particulièrement pertinents et experts du sujet
- Perspectives d’évolution pertinentes
- Utilité avérée pour le grand public comme pour les équipes projet au sein des entreprises
Les moins
- Dans le tableau, le nom affiché pour les modèles manque de clarté car ce n’est pas le nom public mais un identifiant
- Les filtres pourraient être plus avancés (modèles propriétaires vs. open-source, par provenance géographiques, par taux d’utilisation, etc.).
- On pourrait imaginer pouvoir isoler les 4/5 langages les plus connus pour mieux alerter le grand public
Date de publication
Février 2025
Disponible en
- Anglais
Licence
Open source