¿Qué tan bien puede entender un chatbot lo que lee? Para averiguarlo, un equipo del Washington Post puso a prueba a cinco de los principales bots de IA del mercado.
Analizaron desde novelas y papers científicos hasta discursos políticos y contratos legales. El resultado dejó sorpresas entre los asistentes virtuales más usados del mundo.
¿Puede una IA realmente entender lo que lee?
Los bots de IA prometen ser superpoderes de lectura: resumen contratos, libros o investigaciones con solo subir un archivo. Pero, ¿realmente entienden lo que están leyendo o solo imitan comprensión?
Para responder esa pregunta, el Washington Post organizó un test con los cinco chatbots más populares: ChatGPT, Claude, Copilot, Meta AI y Gemini.
- Se usaron cuatro tipos de texto: literatura, ciencia médica, contratos legales y discursos políticos.
- Los textos fueron evaluados por expertos en cada campo.
- Se formularon 115 preguntas para analizar comprensión, análisis crítico y precisión.
Literatura: muchos fallaron al leer una novela histórica
En el área literaria, los bots tuvieron un rendimiento pobre. Solo Claude acertó todos los datos clave del libro, mientras que ChatGPT hizo el mejor resumen general, aunque omitió personajes y temas como la esclavitud.
