El contenido falso generado con IA es peor para los electores del Sur Global

Recientemente, el expresidente Donald Trump publicó una serie de fotos que parecían mostrar a fans de la estrella del pop Taylor Swift apoyando su candidatura a la presidencia de Estados Unidos. Las imágenes parecían generadas por IA, y WIRED pudo confirmar que probablemente lo eran, pasándolas por la herramienta de detección de la organización sin fines de lucro True Media para confirmar que mostraban «pruebas sustanciales de manipulación.»

Las cosas no siempre son tan fáciles

El uso de IA generativa, incluso con fines políticos, se ha vuelto cada vez más común, y WIRED ha estado siguiendo su uso en elecciones de todo el mundo. Pero en gran parte del planeta, fuera de EE UU y en partes de Europa, detectar contenidos generados por IA es difícil debido a los sesgos en el entrenamiento de los sistemas, lo que deja a periodistas e investigadores con pocos recursos para hacer frente a la avalancha de desinformación que se dirige hacia ellos.

La detección de medios generados o manipulados mediante IA sigue siendo un campo floreciente, una respuesta a la repentina explosión de empresas de IA generativa. Hay muchas más herramientas y tecnologías fácilmente accesibles que permiten crear medios sintéticos que las que están disponibles para detectarlos», aclara Sabhanaz Rashid Diya, fundador del Tech Global Institute, un grupo de reflexión centrado en la política tecnológica en el Sur Global.

Según Sam Gregory, director de programas de la organización sin fines de lucro Witness, que ayuda a las personas a utilizar la tecnología en favor de los derechos humanos, la mayoría de las herramientas que existen actualmente en el mercado pueden ofrecer un índice de confianza de entre el 85 y el 90% a la hora de determinar si algo se ha hecho con IA. Pero cuando se trata de contenidos procedentes de lugares como Bangladesh o Senegal, donde los sujetos no son blancos o no hablan inglés, ese nivel de confianza cae en picada. «A medida que se desarrollaron las herramientas, se les dio prioridad para mercados concretos», afirma Gregory. En los datos usados para entrenar los modelos, «se priorizó el idioma inglés (con acento estadounidense) o los rostros predominantes en el mundo occidental».

Esto significa que los modelos de IA se entrenaron sobre todo con datos de y para los mercados occidentales, y por tanto no pueden reconocer realmente nada que se salga de esos parámetros. En algunos casos, esto se debe a que las empresas entrenaban los modelos utilizando los datos más fácilmente disponibles en internet, donde el inglés es, con diferencia, el idioma dominante: «La mayoría de nuestros datos [de África] están en papel», asegura Richard Ngamita, fundador de Thraets, una organización de tecnología cívica sin fines de lucro centrada en las amenazas digitales en África y otras partes del Sur Global. Esto significa que, a menos que esos datos se digitalicen, los modelos de IA no pueden entrenarse con ellos.

¿No hay tantos datos?

Sin las enormes cantidades de datos necesarias para entrenar los modelos de IA lo suficientemente bien como para detectar con precisión el contenido generado o manipulado por la IA, los modelos a menudo arrojarán falsos positivos, marcando el contenido real como generado por la IA, o falsos negativos, identificando el contenido generado por la IA como real. «Si utilizas cualquiera de las herramientas disponibles para detectar texto generado por IA, tienden a detectar el inglés escrito por hablantes no nativos y asumen que lo escrito por hablantes no nativos es realmente IA», explica Diya, «hay muchos falsos positivos porque no se han entrenado con determinados datos».

Pero no se trata solamente de que los modelos no puedan reconocer acentos, idiomas, sintaxis o rostros menos comunes en los países occidentales. «Muchas de las herramientas iniciales de detección de deepfakes se entrenaron con medios de alta calidad», señala Gregory. Pero en gran parte del mundo, incluida África, dominan el mercado las marcas chinas de teléfonos inteligentes baratos que ofrecen prestaciones reducidas. Las fotos y los videos que pueden producir estos teléfonos son de mucha menor calidad, lo que confunde aún más a los modelos de detección, de acuerdo con Ngamita.

Gregory sostiene que algunos modelos son tan sensibles que incluso el ruido de fondo en un fragmento de audio, o la compresión de un video para las redes sociales, pueden dar lugar a un falso positivo o negativo: «Pero esas son exactamente las circunstancias que uno se encuentra en el mundo real, la detección brusca», destaca. Las herramientas gratuitas y de acceso público a las que probablemente tengan acceso la mayoría de los periodistas, verificadores de hechos y miembros de la sociedad civil son también «las que son extremadamente imprecisas, en términos de tratar tanto la desigualdad de quién está representado en los datos de entrenamiento como los desafíos de tratar con este material de baja calidad».

La IA generativa no es la única forma de crear contenidos manipulados

Los llamados cheapfakes, o contenidos manipulados añadiendo etiquetas engañosas o simplemente ralentizando o editando audio y video, también son muy comunes en el Sur Global, pero pueden ser erróneamente marcados como manipulados por IA por modelos defectuosos o investigadores sin formación.

A Diya le preocupa que los grupos que usan herramientas con más probabilidades de marcar contenidos de fuera de EE UU y Europa como generados por IA puedan tener graves repercusiones a nivel político, animando a los legisladores a tomar medidas enérgicas contra problemas imaginarios: «Existe un enorme riesgo en términos de inflar ese tipo de cifras», refiere. Y desarrollar nuevas herramientas no es cuestión de apretar un botón.