L’intelligence artificielle (IA) est largement reconnue pour sa capacité à analyser et synthétiser des informations provenant d’une multitude de supports tant littéraires que visuels. Bien que son potentiel de création soit vaste, le contenu généré par l’IA a provoqué de la frustration chez les humains car il contient souvent des bizarreries et des inexactitudes (qui dans certains cas relèvent de la comédie). Qui n’a pas ri devant une image avec trop de mains ou un visage vaguement humain mais troublant et faux ?
Il semble désormais que les capacités prédictives de l’IA augmentent et dépassent peut-être l’intuition humaine, du moins pour prédire les résultats de la recherche en neurosciences. C’est la conclusion d’une étude publiée la semaine dernière dans Comportement humain dans lequel Ken Luo, PhD, et son équipe de l’University College London (UCL), ont étudié les capacités prédictives des grands modèles linguistiques (LLM). Leur rapport s’intitule : «Les grands modèles de langage surpassent les experts humains pour prédire les résultats des neurosciences.»
L’équipe de l’UCL a développé un outil appelé BrainBench pour évaluer la capacité des LLM à prédire les résultats en neurosciences. Les auteurs ont présenté à BrainBench des paires de résumés de neurosciences comprenant le contexte, les méthodes et les résultats. Dans chaque paire, un résumé était réel, tandis que l’autre avait des données plausibles.–mais finalement faux–résultats. BrainBench a évalué 15 LLM et 171 neuroscientifiques humains chargés d’identifier le bon résumé dans chaque paire.
« Depuis l’avènement de l’IA générative comme ChatGPT, de nombreuses recherches se sont concentrées sur les capacités de réponse aux questions des LLM, mettant en valeur leur remarquable capacité à résumer les connaissances à partir de données de formation approfondies. Cependant, plutôt que de mettre l’accent sur leur capacité rétrospective à récupérer des informations passées, nous avons exploré si les LLM pouvaient synthétiser les connaissances pour prédire les résultats futurs », a déclaré Luo.
« Notre travail vise à déterminer si les LLM peuvent identifier des modèles dans de vastes textes scientifiques et prévoir les résultats des expériences », a expliqué Luo. « Le progrès scientifique repose souvent sur des essais et des erreurs, mais chaque expérience méticuleuse demande du temps et des ressources. Même les chercheurs les plus compétents peuvent négliger les enseignements essentiels de la littérature. »
Dans la compétition entre l’IA et les humains, l’IA était le gagnant. Les LLM avaient une précision moyenne de 81 %, contre 63 % pour les experts humains. Lorsque le groupe humain était limité au plus haut degré d’expertise autodéclarée par domaine, la précision augmentait à seulement 66 %. Les LLM ont rapporté plus de confiance dans leurs décisions, qui étaient plus susceptibles d’être correctes que les participants humains à l’étude.
« Ce qui est remarquable, c’est la capacité des LLM à prédire la littérature en neurosciences. Ce succès suggère qu’une grande partie de la science n’est pas véritablement nouvelle mais se conforme aux modèles de résultats existants dans la littérature. Nous nous demandons si les scientifiques sont suffisamment innovants et exploratoires », a commenté l’auteur principal de l’étude, Bradley Love, PhD, professeur à l’UCL.
Les chercheurs ont adapté et formé une version d’un LLM open source, Mistral, sur la littérature en neurosciences, nommé BrainGPT. Lorsqu’il a été soumis aux mêmes tests que BrainBench, BrainGPT a prédit des résultats abstraits corrects avec une précision de 86 %, contre une précision de 83 % dans la version non entraînée de Mistral.
L’avenir de la recherche et, en fait, de la vie quotidienne de l’humanité semble impliquer une intégration de l’IA. Cette étude montre l’utilité de l’IA pour prédire les résultats des études, mais elle n’est pas infaillible et devrait être utilisée comme un outil pour aider les chercheurs, et non comme un substitut aux chercheurs humains.
« Nous envisageons un avenir dans lequel les chercheurs pourront saisir leurs projets d’expériences proposés et leurs résultats anticipés, avec l’IA offrant des prédictions sur la probabilité de divers résultats », a déclaré Luo. « Cela permettrait une itération plus rapide et une prise de décision plus éclairée dans la conception des expériences. »