ChatGPT responde preguntas de programación incorrectamente 52% del tiempo: estudio

Para empeorar las cosas, los programadores del estudio a menudo pasaban por alto la información errónea.

Gizmodo

Los chatbots de inteligencia artificial como ChatGPT de OpenAI se están vendiendo como herramientas revolucionarias que pueden ayudar a los trabajadores a ser más eficientes en sus trabajos, tal vez reemplazando a aquellos personas completamente en el futuro. Pero una sorprendente nuevo estudio ha descubierto que ChatGPT responde preguntas de programación informática incorrectamente el 52% de las veces.

La investigación de la Universidad Purdue, vista por primera vez por un medio de noticias Futurismo, fue presentado a principios de este mes en el Conferencia sobre interacción computadora-humana en Hawai y observó 517 preguntas de programación en Stack Overflow que luego fueron enviadas a ChatGPT.

“Nuestro análisis muestra que el 52 % de las respuestas de ChatGPT contienen información incorrecta y el 77 % son detalladas”, explicó el nuevo estudio. Los participantes del estudio de usuarios todavía prefieren las respuestas de ChatGPT el 35% del tiempo debido a su amplitud y estilo de lenguaje bien articulado”.

Es preocupante que los programadores del estudio no siempre detectaran los errores producidos por el chatbot de IA.

“Sin embargo, también pasaron por alto la desinformación en las respuestas de ChatGPT el 39% de las veces”, según el estudio. “Esto implica la necesidad contrarrestar la desinformación en las respuestas de ChatGPT a preguntas de programación y crear conciencia sobre los riesgos asociados con respuestas aparentemente correctas».

Obviamente, este es sólo un estudio, que está disponible para leer en línea, pero señala cuestiones con las que cualquiera que haya estado utilizando estas herramientas puede identificarse. Las grandes empresas tecnológicas están invirtiendo miles de millones de dólares en IA ahora mismo, en un esfuerzo por ofrecer los chatbots más confiables. Meta, Microsoft y Google están todos en una carrera por dominar un espacio emergente que tiene el potencial de remodelar radicalmente nuestra relación con Internet. Pero hay una serie de obstáculos en el camino camino.

El principal de esos problemas es que la IA frecuentemente no es confiable, especialmente si un usuario determinado hace una pregunta verdaderamente única. La nueva IA de Google La búsqueda es constantemente arrojando basura que a menudo se extrae de fuentes no confiables . De hecho, ha habido varias veces esta semana cuando Google Search ha presentado artículos satíricos de The cebolla como información confiable.

Por su parte, Google se defiende insistiendo en que las respuestas incorrectas son anomalías.

“Los ejemplos que hemos visto son generalmente consultas muy poco comunes y no son representativos de las experiencias de la mayoría de las personas”, dijo un portavoz de Google. Gizmodo por correo electrónico a principios de esta semana. “La gran mayoría de AI Overviews proporciona información de alta calidad, con enlaces para profundizar en la web».

Pero esa defensa, que las “consultas poco comunes” muestran respuestas incorrectas, es francamente ridícula. ¿Se supone que los usuarios solo deben preguntar a estos chatbots las más ¿Preguntas mundanas? ¿Cómo es eso aceptable, cuando la promesa es que se supone que estas herramientas serán revolucionarias?