Expertos indagan en las limitaciones de ChatGPT y su conocimiento sobre el español
La interpretación de ChatGPT sobre las palabras en español no siempre es correcta.
Hace aproximadamente un año, ChatGPT irrumpió en el mercado, transformando el paisaje de la inteligencia artificial al proporcionar una herramienta sumamente poderosa al alcance de todos.
Poniendo a prueba a ChatGPT
Esta inteligencia artificial generativa tiene el potencial de disminuir significativamente el tiempo dedicado a diversas tareas laborales, aunque también se ha planteado la posibilidad de que pueda redundar en la eliminación de numerosos empleos.
En el último desarrollo, la Universidad Politécnica de Madrid, en colaboración con investigadores de otras prestigiosas instituciones académicas, ha llevado a cabo una investigación exhaustiva para evaluar el rendimiento del software desarrollado por OpenAI.
Este estudio busca profundizar en la comprensión y la aplicabilidad de la tecnología, explorando sus límites y posibilidades en diversos contextos.
Limitaciones por el idioma de entrenamiento
Han comenzado su investigación desde la premisa de que “poseemos un conocimiento sumamente limitado sobre estas herramientas“. Esto implica reconocer nuestra falta de comprensión en aspectos tan fundamentales como la capacidad de ChatGPT para identificar palabras en idiomas como el español.
Es importante destacar que esta herramienta, entrenada con vastos conjuntos de datos provenientes de internet y millones de repositorios públicos, incluyendo código de GitHub, según la información disponible al público, podría tener un profundo conocimiento del idioma inglés. Sin embargo, se advierte que presenta limitaciones significativas en cuanto al español.
ChatWords, evaluando a ChatGPT
Investigadores de la Universidad Politécnica de Madrid (UPM), en colaboración con colegas de la Universidad Carlos III de Madrid (UC3M) y la Universidad de Valladolid (UVa), emprendieron la tarea de explorar el dominio que ChatGPT posee sobre el idioma español.
Para llevar a cabo esta investigación, dieron origen a una nueva aplicación denominada ChatWords. Su propósito fundamental consistía en evaluar el conocimiento léxico que ostenta el afamado software de OpenAI en relación con diversos idiomas. En este contexto, sometieron a prueba más de 90,000 palabras recogidas del diccionario de la Real Academia Española (RAE).
Javier Conde, profesor asistente en la Escuela Técnica Superior de Ingenieros de Telecomunicación (ETSIT) de la UPM, señala que al analizar los significados proporcionados por ChatGPT para las palabras, se observa un porcentaje significativo en el cual la interpretación sugerida es incorrecta. Esto sugiere que “tal vez ChatGPT no sea tan perspicaz como sugiere su apariencia actual”.
Esta conclusión emerge como una de las principales, si bien es necesario destacar que, según estudios, el hablante promedio de español reconoce un promedio de 30,000 palabras.
Comprendiendo el léxico de las IA´s
Pedro Reviriego, profesor titular en la ETSIT, expresa su inquietud al respecto, considerando que es “altamente probable que nos encontremos en un escenario en el cual el contenido recién generado exhiba un número cada vez menor de palabras distintas“. Esto subraya la necesidad de “asegurar la diversidad léxica en el texto creado por la inteligencia artificial”.
La aplicación ChatWords, de código abierto, tiene como objetivo actual utilizarla para evaluar otros idiomas y profundizar en la comprensión del conocimiento léxico de las herramientas de inteligencia artificial.
De acuerdo con el informe oficial, este trabajo forma parte del proyecto “Redes del Futuro para Centros de Procesados de Datos y Operadores”, financiado por la Agencia Estatal de Investigación, y cuenta con el respaldo de OpenAI, el laboratorio estadounidense responsable de ChatGPT.
