Les chercheurs ont constaté que GPT-4 semble devenir de plus en plus stupide. Ils en arrivent à cette conclusion après plusieurs tests.
Après avoir mené des recherches comparatives sur deux mois différents, des chercheurs des universités de Berkeley et de Stanford ont constaté que le GPT-4 semble devenir plus stupide. Ils ont publié leurs conclusions dans un rapport récent.
Tests comparatifs
Trois chercheurs des universités américaines UC Berkeley et Stanford ont étudié l’évolution des chatbots LLM GPT-3.5 et GPT-4. Ils ont demandé aux modèles d’IA d’effectuer quatre tâches différentes en mars puis en juin de cette année et ont ensuite comparé les résultats. Ces tâches consistaient à :
- Problèmes mathématiques
- Questions sensibles ou « dangereuses »
- Générer du code
- Raisonner visuellement
Certains résultats ont été tout à fait surprenants. Par exemple, GPT-4 pouvait reconnaître les nombres premiers très précisément en mars, mais cette précision avait chuté de 95 % deux mois plus tard. Pour 3.5, en revanche, ces résultats étaient meilleurs en juin. En outre, GPT-4 se montrait beaucoup moins désireux de répondre à des questions délicates et sensibles en juin.
En plus, les deux versions ont fait plus d’erreurs de formatage lors de la génération du code en juin. Seule la fonction de raisonnement visuel a connu une légère amélioration de 2 % pour chacun des deux modèles.
Résultats
Une des conclusions des chercheurs est que le comportement d’un grand modèle linguistique (LLM) peut varier énormément sur une période de temps relativement courte, ce qui est extrêmement frappant. Ils notent donc qu’une surveillance constante de la technologie est indispensable.
Selon les trois chercheurs, le manque de clarté concernant le moment et la manière dont les deux modèles d’IA sont mis à jour explique ce caractère capricieux. Ils hésitent donc à intégrer les LLM dans des flux de travail plus importants, en raison de ce manque de cohérence.
GPT-4 est accessible au public depuis le début du mois. Nous avons parlé en début de semaine de certaines caractéristiques visuelles qu’OpenAI a mises en attente pour le chatbot.