El porno deepfake es un problema tan grave en Corea del Sur que su presidente ha decidido "erradicarlo"

Corea del Sur es el país más atacado por la pornografía deepfake. El 53% de las personas que aparecen en este tipo de contenido son actrices y cantantes coreanas, según un informe de 2023 de Security Hero. El problema ahora es que además de porno, el deepfake es usado para delitos sexuales llegando a tal punto que en Corea del Sur se ha convertido en un problema de estado.

La escala ascendente de deepfakes sexuales en Corea del Sur

El Centro de Defensa de las Víctimas de Abuso Sexual en Internet afirmó que hubo al menos 2.000 víctimas de delitos de deepfake en Corea del Sur en los últimos seis años, aunque es probable que la cifra real sea mucho mayor. Además, en más de dos tercios de los delitos sexuales digitales procesados ​​en los últimos tres años los autores son adolescentes, así que ya hay activistas que piden que se declare la "emergencia nacional".

A principios de este mes, una investigación policial encontró un chat grupal de Telegram con 1.200 miembros donde los usuarios compartían no solo deepfakes, también información personal como direcciones e identificaciones de estudiantes según el Wall Street Journal. La página que enumera las escuelas y universidades afectadas por las redes deepfake consiguió tres millones de visitas desde el martes y subiendo.

No es un problema solo de Corea, sino del mundo

Si hacemos una pequeña búsqueda en Google encontraremos que en España también ha habido casos de porno hecho con IA como este en el que cinco menores fueron investigados por modificar fotos con IA y difundir falsos desnudos de 17 mujeres, 13 de ellas menores. O este otro caso en Barcelona o este en Mallorca. Todos con menores implicados y todos con contenido sexual.

En el caso de Corea no es la primera vez que esto ocurre. Ya en 2019 se destapó el escándalo “N Room'' en el que se chantajeaba a mujeres coreanas para que proporcionaran vídeos de actos sexuales que luego se vendían en Telegram. Según las estadísticas policiales que aporta la BBC, el número de delitos sexuales por deepfake en Corea del Sur ha pasado de 160 en 2021, cuando comenzó la recopilación de datos, a 297 en los siete primeros meses de 2024.

Telegram y los delitos sexuales con deepfake

Para entender lo que está pasando tenemos que hablar de que en Corea del Sur, Telegram ganó popularidad después de dos oleadas de las llamadas "migraciones de Telegram" en 2014 y 2016 por motivos políticos y según un análisis realizado por el periódico Hankyoreh. Comenzó durante el gobierno de Park Geun-hye, después de que se quejara en una reunión del Gabinete en septiembre de 2014 de que "la difamación de la presidenta estaba creciendo fuera de control" y comenzará una investigación para controlar la propagación de "desinformación en línea". Cuando se reveló que los fiscales estaban monitoreando varias aplicaciones de mensajería móvil, los usuarios de KakaoTalk comenzaron a huir a Telegram. En abril de 2016, con la aprobación de la Ley de Lucha contra el Terrorismo para la Protección de los Ciudadanos y la Seguridad Pública, una segunda ronda de usuarios acudió en masa a Telegram. Esto en sí no sería un problema si esa aplicación de mensajería no se estuviera usando para delitos sexuales y ponografía infantil, entre otras muchas cosas más.

Como informa la BBC, el porno deepfake está aumentando rápidamente en Corea del Sur y el presidente ha ordenado "erradicarlo". Yoon Seok-yeol pidió el pasado 27 de agosto a las autoridades que hagan “más esfuerzos para erradicar los delitos sexuales digitales” ya que "es una explotación de la tecnología apoyándose en la protección del anonimato. Es un claro acto criminal", afirmó Yoon durante una reunión televisada del gabinete.

En la reunión  Yun explicó que algunos vídeos se habían difundido rápidamente a través de las redes sociales. "Muchas de las víctimas son menores y la mayoría de los perpetradores también han sido identificados como menores", aseguraba después de que se descubrieran chats de Telegram de estudiantes, en su mayoría adolescentes, que subían fotos de personas que conocían y otros usuarios las convertían en deepfakes sexualizados. Esto ha coincidido con el arresto de Pavel Durov, el fundador de Telegram nacido en Rusia, como parte de una investigación francesa sobre pornografía infantil, tráfico de drogas y fraude en la aplicación de mensajería encriptada.

A pesar de que se ha probado que telegram se usa como conducto para delitos sexuales digitales, la llamada “Ley de Prevención de la Sala N” que está en vigor desde diciembre de 2021 no funciona con Telegram. Dicha ley exige a los proveedores de servicios de Internet que tomen medidas como la eliminación de material sexualmente ofensivo, pero como las salas de chat de Telegram son estrictamente “privadas”, están exentas de la ley.

Las medidas tomadas contra el deepfake

De momento, las autoridades surcoreanas están aumentando las sanciones penales contra las personas que realicen deepfakes sexualmente explícitos. Durante una reunión de emergencia en la Asamblea Nacional, se acordó impulsar una línea directa con Telegram y tomar medidas legislativas para aumentar la pena máxima de prisión de los cinco años actuales a siete años para una persona que haga materiales deepfake sexualmente explícitos con la intención de distribuirlos. El Ministerio de Defensa dijo además que está cooperando activamente con las investigaciones policiales y tomando medidas para proteger a las víctimas afirmando ser “conscientes de la gravedad de la situación", en palabras del portavoz Jeon Ha-kyou en una rueda de prensa en la que afirmó que llevarían a cabo "diversas medidas de prevención, como la educación preventiva".

Pero ¿y en el resto? Pues poca cosa. Al menos de momento. Las leyes actuales no abordan ni limitan adecuadamente la producción y difusión de deepfakes como explica la activista digital e informática Joy Buolamwini en su bestseller ‘Unmasking AI: My Mission to Protect What Is Human in a World of Machines’, que insiste en que “los requisitos para los creadores, que a menudo son menores de edad, son ineficaces”.

El libro blanco de la Unión Europea sobre IA anima a crear “un ecosistema de confianza respecto a las nuevas tecnologías”, pero confianza hay poca si esa IA se usa para extorsionar, chantajear, humillar y dañar a seres humanos con el deepfake. El Reglamento de Servicios Digitales dedica un apartado que “invita” a los prestadores de plataformas online y a los motores de búsquedas a aplicar medidas de reducción de riesgos razonables, proporcionadas y efectivas e “insiste” en establecer una marca con la que se distinga aquel contenido creado por IA. Invitar e insistir no es regular, aunque algunas plataformas están tomando medidas para identificar de manera clara los contenidos creados por IA con etiquetas de contenido en Facebook, Instagram y TikTok y Google prohibirá (en el futuro) las aplicaciones que puedan permitir utilizar la tecnología de los deepfakes para facilitar estafas.

La Federal Trade Commission está impulsando una normativa que regule esos deepfakes (que aún no existe), y la Comisión Europea presentó la primera propuesta de Reglamento sobre IA que obliga a determinados requisitos de transparencia aquellos sistemas que puedan generar contenido de riesgo de suplantación o falsificación de identidad.

Muchos ingenieros que trabajan con IA están empezando a expresar los riesgos de esta tecnología en público aunque eso les cueste sus trabajos tal y como nos explicaban desde Xataka. Y hay herramientas que nos pueden ayudar a identificar los deepfakes de la IA que antes se usaban para medir galaxias. Pero a nivel de legislación estamos en pañales y la tecnología va tan rápida que nos pasa por encima como una apisonadora.

En España, el Consejo de Ministros aprobó en junio el Anteproyecto de Ley Orgánica para la protección de los menores en los entornos digitales, centrado especialmente en velar por el derecho a la intimidad, al honor y a la propia imagen, pero como decíamos, no está en marcha así que a nivel legal seguimos yendo lentos. Lentísimos si vemos la velocidad de la IA. en la actual legislación y según la profesora de la Universidad de Valencia Ángeles Jareño Leal, explicaba en la Revista Electrónica de Ciencia Penal y Criminología, un delito de deepfake encaja ahora mismo en un delito de injurias (artículo 197 del Código Penal) pero no tanto en un delito contra la intimidad (artículo 208 del Código Penal). En ambos casos ir por la vía penal no nos asegura que vaya a terminar en la cárcel pagando por el delito.

Expertos en IA y ejecutivos de la industria como el tecnólogo Yoshua Bengio, galardonado en 2022 con el Premio Príncipe de Asturias de Investigación Científica y Técnica, firmaron una carta abierta en febrero pidiendo regulaciones más estrictas sobre la creación de deepfakes. En ella recomiendan regular los deepfakes comenzando por la criminalización total de la pornografía deepfake, así como añadiendo sanciones penales para cualquier individuo que cree o facilite la difusión de deepfakes dañinos.

Como la IA está en pleno progreso de expansión, de una forma explosiva y muy rápida, la creación de deepfakes es rápida, barata y sencilla, tanto que el número total de deepfakes ha crecido un 550 % desde 2019. La pornografía generada por IA, por su lado, es una industria en crecimiento y muchos de los objetivos son menores. La pornografía deepfake representa el 98% de todos los videos deepfake en línea según este informe. Es más, en un solo año, de 2022 a 2023, se ha producido un aumento del 400% en el contenido sexual deepfake, alcanzando un tráfico mensual que superó los 34 millones en 2023. El 99% de los objetivos fueron mujeres, porque la tecnología, por desgracia, sigue teniendo sesgo de género.

Breve historia del deepfake

El deepfake no es algo nuevo ni mucho menos. En otoño de 2017 un usuario de Reddit llamado 'deepfakes' compartía varios vídeos que había creado insertando el rostro de personajes conocidos en cuerpos de otras personas. Pronto el nombre del creador terminó siendo también el de la creación. Esa tecnología para superponer caras en otras personas “lleva años disponible para los efectos especiales", según declaraba Evgeny Chereshnev, director ejecutivo de la compañía de tecnología seguridad BiolinkTech, a la BBC. Lo hace usando inteligencia artificial (IA) como ya te contábamos en 2019.

En el pasado lo vimos con imágenes del Papa Francisco o de Donald Trump. Son tan reales a día de hoy, que hasta se hicieron noticia en la última Gala del Met cuando Katy Perry y Riahanna aparecieron en la alfombra roja sin siquiera estar allí. Como indican en Associated Press, ese deepfake de Katy Perry logró engañar a su propia madre. En China, los deepfakes que triunfan no son de famosos sino de los seres queridos que murieron, a lo ‘Black Mirror’.

Estos contenidos son cada vez más indistinguibles de la realidad y las herramientas para conseguirlos están al alcance de cualquiera, con el riesgo que eso supone, ya que además de en escenas de cine o para crear un meme que se viralice, se puede usar en cualquier tipo de escena de vídeo. También en el porno como en el caso de Taylor Swift o el de la actriz Scarlett Johansson que también fue víctima con una grabación de contenido erótico en la que “aparecía”. Esto sigue escalando y creciendo y es el momento de hacer algo.

Nota: algunos de los enlaces de este artículo son afiliados y pueden reportar un beneficio a Trendencias.

Fotos | Ciaran O'Brien en Unsplash, Emiliano Vittoriosi en Unsplash, Cash Macanaya en Unsplash, Swello en Unsplash

En Trendencias | Swingers: qué son, dónde practicarlo y cómo empezar este tipo de relación si quieres dejar la monogamia