Le modèle GPT-5 récemment lancé par OpenAI a été pour le moins instable. Les utilisateurs ont protesté contre tout, du ton sec au manque de créativité, en passant par la multiplication des fictions destructrices. La réaction a été si vive qu’OpenAI a été contraint de ressusciter son ancien modèle GPT-4o comme solution de secours pour tenter d’apaiser les choses.
Pour comprendre l’impact des nouveaux modèles, nous avons décidé de réaliser nos propres tests sur GPT-5 et GPT-4o. Par exemple, nous avons réutilisé des tests standards comparant ChatGPT à Google Gemini et Deepseek, tout en remplaçant d’anciens tests par de nouveaux tests plus complexes, reflétant la façon dont les utilisateurs modernes pourraient aborder un LLM.
Ces huit questions sont clairement loin d’une évaluation rigoureuse de toutes les compétences requises pour un Master of Laws (LLM), et l’évaluation des réponses est clairement sujette à une certaine subjectivité. Néanmoins, nous pensons que cet ensemble de questions et réponses offre un aperçu intéressant de ce que vous pourriez penser si vous décidiez d’utiliser l’ancien modèle d’OpenAI plutôt que le nouveau.
GPT-4o, en revanche, utilise la taille finale du disque dur de Windows 11 (environ 20 à 30 Go) comme numérateur. Cette interprétation est compréhensible, mais la taille de l’ISO téléchargée est probablement plus précise que la taille d’expédition demandée.
Nous donnons donc l’avantage à GPT-5, même si nous apprécions les informations spontanées de GPT-4o sur la hauteur et le poids de milliers de disquettes.
Grâce aux résultats plus détaillés du nouveau modèle (et à l’utilisation attrayante de mon avatar Ars), GPT-5 l’emporte sur cette question.
Si les résultats de GPT-4o sont parfaitement satisfaisants, nous donnons à nouveau l’avantage à GPT-5.
Si les deux modèles orientent les utilisateurs dans la bonne direction, la plus grande franchise et les citations de sources de GPT-40 en font une présentation plus complète et plus percutante du sujet.
Globalement, je pense que GPT-5 pousse un peu trop loin l’approche « le temps est essentiel », généralisant à outrance les étapes de mise en œuvre et négligeant certains détails cruciaux. GPT-4o, en revanche, conserve un style concis, utilisant des puces pour mettre en évidence les points clés tout en incluant des informations précieuses sur l’apparence et l’emplacement relatif de certains contrôles clés.
En fin de compte, cependant, cette comparaison démontre qu’un seul Master of Laws (LLM) ne répondra probablement pas aux besoins de tous (et à tous les sujets possibles). Malgré l’affirmation dOpenAI selon laquelle GPT-5 « surpasse nos modèles précédents dans tous les domaines », les personnes habituées au style et à la structure des anciens modèles trouveront des points sur lesquels les nouveaux modèles se sentent inférieurs.