Alors que l’année 2024 touche à sa fin, le capital-risqueur Rob Toews de Radical Ventures partage ses prévisions pourl’IAen 2025 :
01. Meta va commencer à facturer les modèles Llama
Meta est la référence mondiale en matièred’IAouverte. Dans une étude de cas convaincante en matière de stratégie commerciale, Meta a choisi de rendre son modèle de pointe Llama disponible gratuitement, tandis que des concurrents comme OpenAI et Google ont fermé le code source de leurs modèles de pointe et ont facturé leur utilisation.
La nouvelle selon laquelle Meta va commencer à facturer les entreprises pour l’utilisation de Llama l’année prochaine sera donc une surprise pour beaucoup.
Soyons clairs : nous ne voulons pas que Meta ferme complètement le code source de Llama, et quiconque utilise le modèle Llama n’aura pas à payer pour cela.
Au lieu de cela, nous nous attendons à ce que Meta rende les termes de la licence open source de Llama plus stricts afin que les entreprises au-dessus d’une certaine taille qui utilisent Llama dans un contexte commercial doivent commencer à payer pour utiliser le modèle.
Techniquement, Meta le fait déjà dans une certaine mesure aujourd’hui. L’entreprise ne permet pas aux grandes entreprises (supercalculateurs cloud et autres entreprises comptant plus de 700 millions d’utilisateurs actifs par mois) d’utiliser gratuitement son modèle Llama.
En 2023, le PDG de Meta, Mark Zuckerberg, a déclaré : « Si vous êtes une entreprise comme Microsoft, Amazon ou Google et que vous revendez essentiellement Llama, alors nous devrions en tirer de l’argent. Je ne pense pas que cela va être beaucoup revenus. « Il y aura des revenus à court terme, mais je veux des revenus à long terme. »
L’année prochaine, Meta élargira considérablement la gamme d’entreprises payantes utilisant Llama pour inclure davantage de grandes et moyennes entreprises. Rester à la pointe de la technologie des grands modèles linguistiques (LLM) coûte très cher. Meta doit investir des milliards de dollars chaque année pour maintenir Llama au même niveau que les derniers modèles de pointe d’entreprises commeOpenAI,Anthropic et d’autres.
Meta est l’une des entreprises les plus grandes et les mieux financées au monde. Mais c’est aussi une société publique et elle est en fin de compte responsable devant ses actionnaires.
Alors que le coût de création de modèles de pointe continue de grimper en flèche, il devient de plus en plus insoutenable pour Meta d’investir autant d’argent dans la formation de la prochaine génération de modèles Llama sans attentes de revenus.
Au cours de l’année prochaine, le modèle Llama continuera d’être disponible gratuitement pour les amateurs, les universitaires, les développeurs individuels et les startups. Mais 2025 sera l’année où Meta commencera à prendre la rentabilité de Llama au sérieux.
02. Problèmes liés à la « loi d’échelle »
Ces dernières semaines, le sujet le plus discuté dans le domaine de l’intelligence artificielle a été les lois d’échelle et leur éventuelle fin.
La loi d’échelle a été proposée pour la première fois dans un article d’OpenAI de 2020. Le concept de base est simple : lors de l’entraînement d’un modèled’IA,à mesure que le nombre de paramètres du modèle augmente, que la quantité de données d’entraînement et de calcul augmente, les performances du modèle s’amélioreront de manière fiable et prévisible (techniquement, sa perte de test diminuera).
De GPT-2 à GPT-3 en passant par GPT-4, les améliorations étonnantes des performances sont toutes dues à l’extension.
Comme la loi de Moore, la loi d’échelle n’est pas réellement une véritable loi mais simplement une observation empirique.
Une série de rapports publiés au cours du mois dernier suggèrent qu’à mesure que les laboratoires d’IA continuent de créer de grands modèles linguistiques, leurs rendements diminuent. Cela explique en partie pourquoi la sortie de GPT-5 d’OpenAIa été retardée à plusieurs reprises.
La réfutation la plus courante à la stagnation de la loi d’évolutivité est que l’avènement du calcul au moment des tests a ouvert une toute nouvelle dimension dans la quête de l’évolutivité.
En d’autres termes, les nouveaux modèles d’inférence comme o3 d’OpenAI peuvent considérablement faire évoluer le calcul pendant l’inférence, plutôt que de le faire pendant l’entraînement, débloquant ainsi de nouvelles capacités d’IA en permettant aux modèles de « réfléchir plus longtemps ».
C’est très important. Le calcul au moment des tests représente une nouvelle voie passionnante pour parvenir à une mise à l’échelle del’IAet à des améliorations des performances.
Mais il y a un autre point concernant les lois d’échelle qui est encore plus important et qui est grandement sous-estimé dans la discussion d’aujourd’hui. Presque toutes les discussions sur les lois d’échelle, à commencer par l’article original