Los órdenes de magnitud.

Es incuestionable que el modelo de consumo energético y de explotación de recursos que tenemos en la mayor parte del planeta es insostenible. La Inteligencia Artificial, al menos a corto plazo, no ha venido a ayudar en este tema.
Hemos leído por activa y por pasiva que el consumo de electricidad y agua de los data centers es una barbaridad y no se justifica con los resultados de esta tecnología.

A mí me ha parecido siempre un análisis un poco a la ligera; ¿hablamos del entrenamiento o de la inferencia? ¿Estamos teniendo en cuenta la evolución en eficiencia del hardware y los algoritmos? y, sobre todo ¿cuánto es ese consumo comparado con otros a los que no cuestionamos?

Un paper publicado recientemente con análisis detallados (enlace en comentarios) nos da alguna aproximación interesante.

Primero, los análisis que hemos leído, sobre todo en prensa generalista, están hechos sobre el consumo estimado de GPT3 en 2020. Si bien es cierto que hay modelos, como O1 o, cuando nos dejen acceder, O3, son muy intensivos en cómputo, los equivalentes a GPT4 son mucho más eficientes. Este estudio usa Llama de 65 billions, un cacharro considerable en cuanto a capacidades.

Aunque habla de consumo en Julios por cada token, nos da un equivalente en “campos de fútbol” que nos ayuda a poner ese gasto en perspectiva. En inferencia, cuando preguntamos al modelo, entre 70 y 90.000 palabras (tokens, pero para hacernos una idea) consumen el equivalente a una hora de visionado de Netflix.

El entrenamiento es mucho más costoso, el equivalente a 18h de vuelo de un Boeing 737.

Por supuesto, el consumo energético de las tecnologías que usamos es algo a tener muy en cuenta, no podemos obviarlo con la que se nos viene encima, pero demonizar la IA sin datos objetivos y culpabilizar a esta tecnología de todos los males del planeta tampoco parece justo. Máxime cuando estamos viendo que se está trabajando (por el interés económico de las empresas, no soy tan ingenuo) en la reducción de los gastos asociados.

He descubierto el paper siguiendo a Ethan Mollick . Si os interesan estos temas, ya tardáis.