Dada la diversidad lingüística de la India, las empresas de contenido digital ya enfrentan el desafío de intentar mostrar y traducir el contenido con precisión. Google enfrenta un problema similar con las visiones generales de inteligencia artificial que se implementaron recientemente en el país.
La empresa introdujo en el país la compatibilidad con hindi para las vistas de inteligencia artificial a principios de agosto. Los usuarios de la India también pueden cambiar entre hindi e inglés sin salir de la página de búsqueda, pero la función es decepcionantemente inconsistente.
Un ejemplo sencillo fue un resultado que elegimos del blog de Google. El GIF mostraba una respuesta para “Cheeni ki jagah chai mai kya daal sakte hai?”, que se traduce como “¿Qué es un sustituto del azúcar en el té?”. Durante la prueba, cambiamos el orden de las palabras a “Chai mai cheeni ke jagah kya daal sakte hai?” y Google simplemente no mostró una respuesta.
Otro problema que detectamos fue traducir las palabras en inglés literalmente. Cuando preguntamos en hindi sobre “¿Qué tipo de comida podemos comer durante el verano?”, una de las respuestas fue “Chiknai wali cheezien”, que se traduce como “Cosas pegajosas”, y eso es confuso. Cuando cambié al inglés, Google me mostró “Oily” como una opción, que es algo muy diferente de “sticky” cuando se trata de comida. De cualquier manera, es una sugerencia un tanto extraña.
En otro caso, cuando preguntamos sobre la propiedad de YouTube, las descripciones generales de AI decían “Hasta el 16 de febrero de 2023, Neal Mohan fue el director ejecutivo de Google” en hindi, lo cual es incorrecto. El texto en inglés tenía la versión correcta que decía “A partir del 16 de febrero de 2023, Neal Mohan es el director ejecutivo de Google”.
También hay problemas cualitativos. Cuando preguntamos “¿Cuándo es Diwali este año?”, en lugar de obtener una respuesta sencilla, recibimos un párrafo sobre el Diwali del año pasado, luego un carrusel de enlaces y entonces La respuesta real que estábamos buscando.
Cuando preguntamos varias veces si se pueden comer alimentos con especias tanto en hindi como en inglés, obtuvimos respuestas inconsistentes a través de la descripción general de IA.
Sin embargo, hay resultados más preocupantes relacionados con otros temas como la menstruación y el embarazo. En una de nuestras preguntas sobre cuándo se debe pensar en tener hijos después del matrimonio, el primer párrafo de la respuesta general decía que las parejas deberían esperar al menos dos años, en un hindi confuso.
También se menciona que si alguien se casa alrededor de los 25 años, tiene “tres años”, sin especificar por cuánto tiempo. Este párrafo aparentemente fue extraído de un artículo de presentación de diapositivas en hindi en un sitio de noticias indio, que había escrito la información basándose en varias opiniones en Quora y otros blogs.
Cuando preguntamos qué alimentos comer cuando alguien está menstruando, algunas de las respuestas sugirieron “beber leche con muchas cosas” y limón para los cambios de humor.
La descripción general de la IA de Google también carece de contexto. Cuando preguntamos sobre los lugares para comer en Delhi, sugirió que Bangla Sahib Gurudwara, un lugar de culto para los sijs, está abierto las 24 horas y se puede conseguir té y bocadillos indios como samosa y kachori. Sin embargo, esto no menciona algo importante que sí menciona el artículo original: que se pueden conseguir estos artículos. afuera El Gurudwara, una palabra clave que la herramienta de inteligencia artificial no detectó al resumir. Los bocadillos no están en el lugar de culto.
Algunos de los resultados de preguntas similares en inglés son mucho mejores que los de las que se obtienen en hindi. Esto podría deberse en parte a que hay más y mejores fuentes disponibles en ese idioma. Pero algunos de los problemas que destacamos se debieron a errores de los sistemas de Google, como resúmenes fuera de contexto y traducciones inexactas. Google ha trabajado en los problemas de búsqueda y de idioma en la India, y se espera que haya ofrecido un mejor resultado en su primer intento.
Google le dijo a TechCrunch que sus resúmenes de inteligencia artificial solo aparecen para consultas en las que tiene una alta confianza en la calidad del resultado, y dijo que la función está “arraigada en nuestros sistemas de calidad de búsqueda principales” y “solo mostrará información respaldada por los principales resultados web”.
“Nuestras pruebas muestran que la tasa de precisión de AI Overviews está a la par con otras funciones como Featured Snippets. Cuando surgen problemas, pueden deberse a que nuestros sistemas malinterpretan el contenido web o reflejan imprecisiones en la web, y usamos estos ejemplos para mejorar, como lo hacemos con todas las funciones de búsqueda”, dijo un portavoz de Google a TechCrunch.
Google puede culpar a la calidad de las fuentes que cita, pero es el algoritmo de Google el que decidió que la pregunta y las fuentes merecen ser resumidas por la IA. No todos los usuarios consultarán el material de los sitios de origen y simplemente señalarán a Google por mostrar respuestas inexactas o incomprensibles.
Las descripciones generales de la IA han sido un esfuerzo decepcionante para Google. A principios de este año, la empresa recibió muchas críticas por sacar a la luz respuestas de Reddit que decían Un usuario puede agregar pegamento a la pizza.. Las vistas generales de IA le dijeron a otro usuario que comiera “Una pequeña piedra por día”, una respuesta que fue obtenida de La cebollaMuchos de los ejemplos que probamos en hindi simplemente no proporcionaban información correcta sobre el tema.
La India tiene más de 830 millones de usuarios de Internety una buena parte de ellos utilizan Google para realizar búsquedas. Si la empresa quiere que más personas utilicen la función de visión general de IA en los idiomas locales, tendrá que mejorar su desempeño en términos de precisión del lenguaje y del contenido.