El informe de salud de RFK Jr. muestra cómo la IA introduce estudios falsos en la investigación

Los autores del informe Make America Healthy Again, publicado por el Secretario de Salud y Servicios Humanos, Robert F. Kennedy Jr., lo promocionaron como una evaluación histórica que proporciona una base científica común para dar forma a las políticas de salud.

Pero esa base científica parecía tener errores generados por un probable culpable: la inteligencia artificial generativa.

Al menos siete de las citas del informe eran problemáticas según NOTUS  reportado por primera vez . Cuatro contenían títulos de artículos que no existen y tres caracterizaban erróneamente los hallazgos de los artículos.

mario andres moreno biografia

Cuando se le preguntó sobre el informe, la Secretaria de Prensa de la Casa Blanca, Karoline Leavitt  atribuyó los errores  a cuestiones de formato que no anulen el contenido del informe. Cuando se le preguntó si se utilizó IA en la producción del informe, Leavitt lo remitió al Departamento de Salud y Servicios Humanos.

Desde entonces, el informe MAHA se ha actualizado en línea. (Aquí está el  versión archivada .) PolitiFact se comunicó con el Departamento de Salud y Servicios Humanos pero no recibió respuesta.

Los modelos de IA están entrenados para imitar el lenguaje que usan los humanos al predecir una palabra tras otra en una secuencia. Aunque los chatbots de IA como ChatGPT a menudo logran producir texto que se lee como si hubiera sido escrito por un humano, a menudo no logran garantizar que lo que dicen sea real.

Las citas falsas tenían el formato correcto y enumeraban revistas acreditadas e incluían identificadores de objetos digitales o DOI que parecían realistas.

Pero el hecho de que no existieran múltiples artículos citados es un sello distintivo de las citas generadas por IA que a menudo replican la estructura de referencias académicas sin vincularse a fuentes reales, dijo Oren Etzioni, profesor emérito de la Universidad de Washington e investigador de IA.

PolitiFact habló con investigadores en inteligencia artificial y neurociencia sobre las señales de alerta relacionadas con la IA del informe.

Los errores muestran características de las alucinaciones de la IA

Los investigadores dijeron que la presencia de artículos inventados probablemente sea el resultado de alucinaciones de IA o resultados que pueden parecer plausibles pero no son reales.

La IA está avanzando rápidamente pero todavía es propensa a sufrir alucinaciones. Cuando se les pide que generen referencias académicas, los modelos generativos de IA a menudo inventan algo si no encuentran coincidencias exactas, especialmente si se les pide que respalden un punto específico, dijo Etzioni.

Steven Piantadosi, profesor de psicología y neurociencia de la Universidad de California Berkeley, que dirige su laboratorio de computación y lenguaje, dijo que los modelos de IA no tienen ninguna forma de saber qué es verdad o qué cuenta como evidencia.

Todo lo que hacen es coincidir con el patrón estadístico en el texto, dijo. Es interesante e importante que puedan hacer esto muy bien, pero las dependencias estadísticas entre personajes no son algo en torno a lo que se deba construir una política pública.

erdenetuya seagal kunzang seagal

El Correo de Washington  reportado  que algunas citas incluían oaicite en sus URL, lo que  Usuarios de ChatGPT  han informado como texto que aparece en su salida. (OpenAI es propietario de ChatGPT).

Hallazgos sobre el uso de drogas para la salud mental de los adolescentes y otros relacionados con citaciones falsas

Incluso en las citas legítimas del informe, algunos hallazgos fueron tergiversados ​​o exagerados, otro error común en las herramientas de inteligencia artificial generativa que pueden producir con seguridad resúmenes incorrectos de las investigaciones, dijo Etzioni.

La versión actualizada del informe MAHA reemplazó las citas falsas con fuentes que respaldaron sus hallazgos y en algunos lugares revisó la forma en que presentaba los hallazgos previamente vinculados a las citas falsas. (Vea nuestro  hoja de cálculo .)

Uno de los artículos falsos señalados por NOTUS se titulaba Cambios en la salud mental y el uso de sustancias entre los adolescentes estadounidenses durante la pandemia de COVID-19. La línea que lo citaba decía: Aproximadamente entre el 20% y el 25% de los adolescentes informaron síntomas de ansiedad y entre el 15% y el 20% informaron síntomas depresivos, y las niñas mostraron tasas significativamente más altas.

Un examen más detenido de la cita muestra por qué no es auténtica: al buscar el título no se obtiene un artículo real al hacer clic en  DOS enlaces  en la cita conduce a una página de error que dice DOI no encontrado y mirar el volumen de JAMA Pediatrics y el número de edición al que se hace referencia conduce a un  artículo  con diferente título y distintos autores.

El informe MAHA actualizado reemplazó la cita con una  informe 2024  de KFF que dijo que en 2021 y 2022 el 21% de los adolescentes reportaron síntomas de ansiedad y el 17% reportaron síntomas de depresión.

El informe original citaba dos artículos inexistentes en una sección sobre publicidad directa al consumidor sobre el uso de medicamentos para el TDAH en niños y el uso de antidepresivos en adolescentes. El informe dijo que la publicidad de antidepresivos en adolescentes mostraba listas vagas de síntomas que se superponían con comportamientos típicos de los adolescentes y estaba relacionada con solicitudes inapropiadas de antidepresivos por parte de los padres.

La nueva versión del informe ahora dice que se cree que la publicidad DTC fomenta un mayor uso de medicamentos psicotrópicos en adolescentes, incluidas clases de ansiolíticos, antipsicóticos y antidepresivos, y ahora cita una  estudio de 2006  que utilizó datos de 1994 a 2001. Los autores creían que la publicidad directa al consumidor desempeñaba un papel en el fomento de un mayor uso de psicotrópicos.

Otro hallazgo en el informe de MAHA sobre las prescripciones de medicamentos para el asma dijo que se estima que entre el 25% y el 40% de los casos leves se recetan en exceso, citando un artículo inexistente. El neumólogo pediátrico Dr. Harold J. Farber, quien figuraba como el supuesto primer autor del artículo, le dijo a NOTUS que se trataba de una generalización excesiva de su investigación.

El informe actualizado eliminó esas cifras. Ahora dice: Hay evidencia de prescripción excesiva de corticosteroides orales para casos leves de asma.

El incidente del informe MAHA destaca los riesgos de incluir contenido generado por IA en informes oficiales del gobierno sin revisión humana.

jay weiss

Si se utilizaran herramientas de inteligencia artificial para generar citaciones para un informe federal que plantea serias dudas sobre la rendición de cuentas. Sin procesos claros de divulgación o verificación, no hay forma de que los lectores sepan si la información se basa en evidencia real, dijo Etzioni. En cuestiones de salud pública, especialmente en lo que respecta a los niños y la salud mental, estos fallos son particularmente preocupantes.

Esta verificación de hechos fue originalmente publicado por PolitiFact que es parte del Instituto Poynter. Vea las fuentes para esta verificación de hechos. aquí .