Sorti en décembre 2022, ChatGPT, a stupéfié le monde entier. Au point d’être déjà largement adopté par des millions d’utilisateurs pour une utilisation professionnelle ou privée. En effet, ce robot conversationnel permet de rechercher des informations comme un moteur de recherche à réponse unique, traduire des contenus, de générer du texte telles qu’une poésie, le résumé d’un article et même du code informatique.
Toutefois, il est essentiel de se demander quelles sont les répercussions environnementales qui découlent de l’utilisation de ces nouveaux outils.
La révolution numérique qu’incarne ChatGPT est-elle vraiment sans crainte pour l’environnement ? Quel est le coût environnemental de cette innovation ?
Estimation du coût énergétique
OpenAI n’a pas communiqué sur le coût énergétique nécessaire pour faire fonctionner leur IA. Mais, d’après une étude de l’université de Californie, l’entraînement seul du modèle GPT-3 qui compte 175 millions de paramètres. Or, plus le nombre de paramètres est grand, plus il requiert de données, et plus il est complexe et coûteux à faire converger. L’entrainement du modèle de langage sur lequel ChatGPT est basé, aurait duré 15 jours et coûté 1287 MWh et environ 550 tonnes d’équivalent CO², soit 6 vols New-York / San Francisco en avion (calcul réalisé selon la quantité indiquée par Google Flights), ou 2 536 765 Km en voiture. Il faut multiplier cette quantité par le nombre de tentatives qui ont permises d’aboutir De plus, il est important de préciser que les données utilisées pour entraîner le modèle sont antérieures à 2021, ce qui signifie que pour actualiser “les connaissances du modèle” il faudrait l’entraîner de nouveau en modifiant son architecture, ce qui signifie reproduire une opération encore plus énergivore. Sous cet angle, utiliser ChatGPT comme moteur de recherche n’est pas une bonne idée.
Finalement, le coût énergétique d’utilisation pour répondre à nos requêtes n’est pas encore estimé. Mais, vu la vitesse d’accroissement de son nombre d’utilisateurs, ChatGPT est un gouffre énergétique.
Thématiques de recherche pour la sobriété
Heureusement, des thématiques de recherche en IA sont axées sur la frugalité, c’est-à-dire faire aussi bien avec moins de paramètres à entraîner, moins de données et moins de ressources de calcul. Nous pouvons citer, le “few-shot learning”, le “one-shot learning”, ou même le “zero-shot learning” pour l’entraînement de modèles avec une quantité de données très restreinte. D’autres vont s’intéresser à l’élaboration de réseaux légers dédiés à des tâches précises, plus simples à faire converger et moins coûteux en données et en énergie.
Pour conclure, la meilleure énergie est celle que l’on ne consomme pas.
Et c’est dans cette optique que nos travaux de recherche sont basés chez Koena.
- Texte : François Ledoyen
- Date de publication : 20 avril 2023
