Los investigadores utilizaron un conjunto de datos disponible públicamente de fotos clínicas de casos oftálmicos de OCTCases, una plataforma de educación médica con sede en el Departamento de Oftalmología y Ciencias de la Visión de la Universidad de Toronto, junto con imágenes clínicas multimodales y preguntas de opción múltiple. De los 137 casos, 136 tenían preguntas de opción múltiple.
Junto a los 136 casos se incluyeron en el análisis un total de 429 preguntas de opción múltiple y 448 imágenes. Las preguntas fueron respondidas con una precisión del 70 por ciento en general (n = 299). El rendimiento del chatbot fue el mejor en las preguntas de retina (77 por ciento de aciertos) y el peor en las preguntas de neurooftalmología (58 por ciento de aciertos). Se observó un rendimiento intermedio en las categorías de oncología ocular (72 por ciento correcto), oftalmología pediátrica (68 por ciento correcto), uveítis (67 por ciento correcto) y glaucoma (61 por ciento correcto). Además, ChatGPT fue significativamente mejor para responder preguntas que no estaban basadas en imágenes (82 por ciento) frente a las basadas en imágenes (65 por ciento).
Ampliando este último punto, los investigadores, escribiendo en JAMA Ophthalmology,1 quería probar esta destreza en el campo oftalmológico. Para ello, transmiten que las capacidades de procesamiento de imágenes son, en este momento, menos robustas en subespecialidades de nicho. A pesar de esta deficiencia, los resultados aquí respaldan el potencial de ChatGPT para interpretar relativamente los hallazgos de muchas modalidades de imágenes oftálmicas, dicen los investigadores.
De manera similar al análisis deficiente de imágenes de oftalmología pediátrica, ChatGPT tuvo el peor desempeño en la subespecialidad de neurooftalmología. Los autores explican que esto puede deberse a las modalidades de imagen generalmente utilizadas para la neurooftiz frente a la retina, que fue la categoría con mejor rendimiento. Como la categoría de retina consistía en gran medida en imágenes de OCT macular y fondo de ojo, “es plausible que la versión actual del chatbot pueda estar mejor equipada para interpretar las modalidades de imágenes oftálmicas más utilizadas” en comparación con la mayor proporción de imágenes de OCT RNFL y GCC de neurooftalmología, escribieron.
Este puede ser el primer estudio que utiliza ChatGPT para interpretar imágenes oftálmicas, pero el chatbot ya se ha utilizado en el campo oftálmico para otros fines. En un estudio anterior, que lo comparó con 125 preguntas de opción múltiple basadas en texto utilizadas por los aprendices para prepararse para la certificación de la junta de oftalmología, la versión anterior de ChatGPT respondió correctamente el 46 por ciento de estas preguntas. Dos meses después, esta medida alcanzó una precisión del 84 por ciento. Como reflejo de esta mejora, los autores plantean: “Dado que se trata de una nueva adición a la plataforma del chatbot, anticipamos que su rendimiento en preguntas basadas en imágenes puede aumentar considerablemente con el tiempo, como se observó anteriormente en nuestros análisis de preguntas basadas en texto”.
Si bien el rendimiento de ChatGPT en esta investigación logró una precisión moderada, el gran modelo de aprendizaje sigue siendo inferior a los sistemas de IA publicados anteriormente diseñados para detectar o diagnosticar patologías de la retina a partir de imágenes oftálmicas, como escaneos OCT e imágenes de fondo de ojo. Sin embargo, la incorporación de algoritmos de IA más robustos en el chatbot puede mejorar aún más sus capacidades multimodales.
Los autores advierten que con esta gran tecnología cada vez más extendida, “es imperativo enfatizar su adecuada integración dentro de los contextos médicos”. Sin embargo, miran hacia un futuro en el que “a medida que la precisión del chatbot aumenta con el tiempo, puede desarrollar el potencial de informar la toma de decisiones clínicas en (entornos de atención oftalmológica) a través del análisis en tiempo real de los casos oftalmológicos”.
- Mihalache A, Huang RS, Popovic MM, et al. Precisión de la interpretación de imágenes oftálmicas clínicas por parte de un chatbot de inteligencia artificial. JAMA Ophthalmol. 29 de febrero de 2024. [Epub antes de imprimir].
