Si vous avez sauté dans le train du ChatGPT, vous l’utilisez peut-être pour écrire vos messages sur les médias sociaux, des poèmes pour votre chéri(e) ou des documents juridiques. Mais devriez-vous l’utiliser pour obtenir des informations médicales ? Plus précisément, devriez-vous utiliser ChatGPT pour obtenir des conseils en matière de nutrition ?
Une nouvelle étude suggère que non.
Comment l’étude a-t-elle été menée ?
L’objectif de l’étude, publiée le 6 février 2024 dans la revue Les nutrimentsL’objectif de cette étude était d’évaluer si les conseils nutritionnels générés par ChatGPT étaient en accord avec les recommandations des guides alimentaires internationaux. L’étude, qui s’est déroulée le 3 novembre 2023, a été menée en anglais et divisée en deux expériences.
Les auteurs de l’étude se sont concentrés sur plusieurs conditions médicales qui nécessitent des traitements diététiques spécifiques, y compris :
- Dyslipidémie (hypercholestérolémie et hypertriglycéridémie)
- Hypertension artérielle
- Diabète de type 2 (T2DM)
- L’obésité
- La stéatose hépatique non alcoolique (NAFLD)
- Maladie rénale chronique (MRC)
- Sarcopénie
Il est intéressant de noter que la stéatose hépatique non alcoolique (NAFLD) a récemment fait l’objet d’un changement de nom et de définition et qu’elle est devenue la stéatose hépatique associée au dysfonctionnement métabolique (MASLD). Cependant, comme la base de connaissances de ChatGPT au moment de l’étude était limitée aux mises à jour jusqu’à janvier 2022, elle n’a pas été en mesure de fournir une réponse lorsque les chercheurs ont saisi maladie du foie stéatosique associée à un dysfonctionnement métabolique. Ils ont donc dû choisir par défaut la NAFLD.
En collaboration avec un groupe de médecins et de diététiciens, les chercheurs ont élaboré des messages-guides à saisir dans ChatGPT en utilisant un langage qui reproduit la façon dont les patients pourraient poser une question à un professionnel de la santé concernant leur état de santé. Ces messages sont les suivants :
- « Pourriez-vous fournir des conseils sur la planification d’un régime alimentaire optimal pour gérer (la maladie) ? »
- « Quelles sont les recommandations alimentaires pour (maladie) ?
- « J’ai (maladie), que dois-je manger ?
Pour l’expérience 1, chaque conversation avec ChatGPT a utilisé des sessions de chat distinctes pour chaque question. Cela a permis d’augmenter la validité de l’étude puisque ChatGPT peut générer des réponses différentes à des messages identiques, en fonction du contexte et de l’historique de la conversation.
Les auteurs de l’étude expliquent : « Chaque question a donc été posée trois fois, et chacune des trois enquêtes a été menée dans le cadre d’une nouvelle session de chat afin d’éviter tout biais potentiel lié à la mémoire du modèle. Les réponses ont présenté de légères variations en fonction de l’invite, bien que les recommandations énumérées soient restées substantiellement cohérentes, avec quelques variations minimes. Par conséquent, la réponse la plus complète – celle qui présentait le plus grand nombre d’informations conformes aux lignes directrices – a été prise en compte ».
Les réponses du ChatGPT ont été évaluées et classées de manière indépendante par deux diététiciens agréés qui n’ont pas eu connaissance des évaluations de l’autre. Les deux diététiciennes étaient hautement qualifiées et cumulaient 32 ans d’expérience clinique dans les pathologies incluses dans l’étude. Un troisième évaluateur, un médecin, a été sollicité en cas de controverse dans les évaluations.
Les conseils de ChatGPT ont été jugés « appropriés » s’ils correspondaient aux lignes directrices internationales actuelles en matière de nutrition, « non soutenus » s’ils ne correspondaient pas aux lignes directrices, et « pas totalement adaptés » si certains conseils de ChatGPT correspondaient aux lignes directrices actuelles, mais pas tous.
Si le conseil du ChatGPT était généralisé et ne ciblait pas la condition spécifique sur laquelle il était demandé, il était désigné comme « conseil général », et si une recommandation alimentaire manquait dans la réponse du chatbot, elle était étiquetée comme « manquante ».
Pour l’expérience 2, les chercheurs ont relevé le défi en créant des scénarios plus complexes comprenant plus d’une condition. Par exemple, ils ont créé un patient hypothétique souffrant de diabète de type 2, d’obésité et d’une maladie rénale chronique. Les réponses ont à nouveau été évaluées par le panel d’experts.
Quels sont les résultats de l’étude ?
Dans l’ensemble, les taux d’adéquation de ChatGPT pour l’expérience 1 allaient de 55,5 % à 73,3 %, en fonction de la condition. Les chercheurs ont constaté qu’en général, la plupart des informations fournies par ChatGPT étaient correctes, mais qu’il y avait également plusieurs divergences entre les conseils donnés par ChatGPT et les directives internationales.
Par exemple, les directives internationales donnent des recommandations spécifiques pour l’apport en protéines chez les personnes souffrant d’insuffisance rénale chronique, qui comporte cinq stades de progression de la maladie, selon la National Kidney Foundation. ChatGPT n’a fait que suggérer une limitation générale et non spécifique de l’apport en protéines.
Les réponses de Chat GPT comprenaient également de nombreux conseils nutritionnels généraux, tels que rester bien hydraté et éviter les aliments transformés. Les auteurs de l’étude notent que dans l’ensemble, « les conseils de ChatGPT étaient génériques et fournissaient des exemples pratiques d’aliments à inclure dans le régime alimentaire, ces dernières informations n’étant pas souvent mentionnées dans les lignes directrices ».
Pour l’expérience 2, lorsque les conditions étaient combinées – ce qui est souvent le cas dans la vie réelle – la précision de ChatGPT diminuait considérablement. Lorsqu’on lui a présenté un patient hypothétique atteint de diabète de type 2, d’obésité et de maladie rénale chronique, le chatbot a semblé s’y perdre, ce qui s’est traduit par des conseils contradictoires ou inappropriés.
Les chercheurs ont ensuite réduit le champ d’application en indiquant un stade spécifique d’insuffisance rénale chronique dans leur message, ce qui a permis à ChatGPT de séparer ses conseils pour cibler chaque condition distincte – diabète, insuffisance rénale et obésité – plutôt que de les intégrer.
Cela dit, le chatbot a eu le mérite de souligner à plusieurs reprises l’importance de consulter un diététicien agréé pour obtenir un plan de repas sur mesure.
Comment les résultats de l’étude s’appliquent-ils à la vie réelle ?
Il est de plus en plus fréquent que les gens se tournent vers l’internet pour obtenir des informations, y compris des conseils médicaux et nutritionnels. Mais les utilisateurs ne sont pas sûrs de l’exactitude des informations qu’ils reçoivent.
Par exemple, une étude réalisée en 2020 dans Nutriments a constaté que seuls 5 % des messages d’information sur l’alimentation et la nutrition publiés sur les médias sociaux étaient rédigés par des professionnels de la nutrition, tels que des diététiciens agréés.
Et une étude réalisée en 2023 dans Santé publique Nutrition a constaté qu’environ la moitié des informations nutritionnelles disponibles en ligne sont soit de mauvaise qualité, soit peu précises.
Cette étude suggère que ChatGPT n’est pas non plus la source la plus précise pour obtenir des informations nutritionnelles.
Alors, que faire si l’on cherche des informations sur la nutrition ? L’idéal serait d’avoir un entretien individuel avec un diététicien. Mais ce n’est pas possible pour tout le monde. La meilleure solution consiste à trouver un site Web dont le contenu est rédigé et révisé par des diététiciens, et qui cite des sources crédibles.
À EatingWellL’un de nos principaux domaines d’intérêt est de donner des conseils scientifiques et fiables en matière d’alimentation et de nutrition », déclare Jessica Ball, M.S., RD, EatingWell’s de EatingWell. « Des diététiciens et des experts culinaires agréés vérifient l’exactitude, l’accessibilité et la clarté de chaque contenu nutritionnel et alimentaire du site avant de le publier. »
M. Ball poursuit en expliquant que cette collaboration de personne à personne permet non seulement d’assurer la pérennité du site, mais aussi d’améliorer la qualité de l’information. EatingWell’s mais aussi un contenu de meilleure qualité dans l’ensemble. « La nourriture et l’alimentation sont si personnelles et influencent tant de domaines de notre vie. Il est plus important que jamais de donner la priorité à l’obtention de conseils auprès de sources dignes de confiance. »
Les résultats
Si le ChatGPT peut fournir des conseils généraux en matière de nutrition, il manque de précision lorsqu’il s’agit de problèmes médicaux, en particulier lorsqu’il y a plus d’un problème de santé. Il ne peut pas non plus intégrer l’aspect émotionnel de l’alimentation et de la santé, qui sont des éléments importants de la santé et du bien-être en général.
La bonne nouvelle, c’est que la plupart des régimes d’assurance couvrent désormais le coût des conseils nutritionnels dispensés par un diététicien agréé, ce qui rend plus accessible l’obtention de conseils nutritionnels et de plans de repas sur mesure.
Lorsque vous recherchez des informations nutritionnelles en ligne, recherchez des sites qui font appel à des diététiciens agréés pour rédiger et réviser leur contenu. Il existe des informations fiables et exactes – et puisque vous êtes ici à EatingWellvous êtes déjà sur la bonne voie.
