logo Frugale

Outil

AI Energy Score Leaderboard

Édité par :
Hugging Face & Salesforce

Résumé

Le AI Energy Score Leaderboard est un projet développé par Hugging Face et Salesforce. Il a pour objectif de mettre en évidence et de comparer l’efficacité énergétique des différents modèles d’IA génératives existants.

Ce projet, publié en février 2025 dans le cadre de l’AI Action Summit permet de visualiser dans un tableau accessible en ligne la consommation énergétique en Wattheure.

Le projet inclut autant les modèles ouverts que les modèles propriétaires, et permet de comparer l’efficience des modèles entre eux. L’outil s’avère complet puisqu’il s’intéresse non seulement aux moteurs de génération de textes, que de génération d’images et de vidéos. Un benchmark complet donc.

La description du projet explique par ailleurs : « Ces résultats sont disponibles dans un tableau de classement public qui permet de suivre les progrès réalisés au fil du temps. En outre, nous formulons des recommandations concrètes à l'intention des développeurs d'IA, des décideurs politiques et des autres parties prenantes sur la manière d'intégrer le score énergétique de l'IA dans leurs processus de prise de décision, en veillant à ce que l'efficacité énergétique devienne un élément clé lors du développement, du déploiement et de la sélection des modèles d'IA. »

Le AI Energy Score se veut être une première étape vers la création d'un cadre normalisé pour l'évaluation de l'efficacité énergétique des modèles d'IA.

Le regard de la rédaction

Le projet s’impose comme un outil particulièrement pertinent pour évaluer la consommation énergétique de l’IA générative. Avec une méthodologie détaillée et exposée publiquement, le AI Energy Score démontre sa pertinence scientifique.

La description du projet met également en évidence les points d’améliorations et les challenges à venir pour devenir un outil de référence.

Ils fournissent également les outils pour évaluer un modèle de langage propriétaire. Cela permet d’aligner les process d’évaluation et permet aux équipes de développement de comparer de manière fiable les outils qu’ils utilisent ou développent aux autres déjà évaluer par le AI Energy Score. Une bonne manière de sensibiliser les équipes à l’impact de leurs langages avec facilité et cohérence.

En bref, le regard de la rédaction

Les plus

  • Méthodologie très détaillée
  • Consortium d’acteurs particulièrement pertinents et experts du sujet
  • Perspectives d’évolution pertinentes
  • Utilité avérée pour le grand public comme pour les équipes projet au sein des entreprises

Les moins

  • Dans le tableau, le nom affiché pour les modèles manque de clarté car ce n’est pas le nom public mais un identifiant
  • Les filtres pourraient être plus avancés (modèles propriétaires vs. open-source, par provenance géographiques, par taux d’utilisation, etc.).
  • On pourrait imaginer pouvoir isoler les 4/5 langages les plus connus pour mieux alerter le grand public

Date de publication

Février 2025

Disponible en

  • Anglais

Licence

Open source