Blog

A mãe da criança assassinada James Bulger instou o governo a aprovar uma nova lei para reprimir vídeos gerados pela IA de vítimas de assassinato infantil.

Denise Fergus disse que Tiktok não respondeu a pedidos para retirar vídeos mostrando clones digitais de seu filho de dois anos falando sobre seu sequestro fatal.

O governo disse que vídeos como esse são considerados ilegais sob uma lei existente, a Lei de Segurança Online e devem ser removidos por plataformas.

Tiktok disse que os vídeos da IA ​​destacados pela BBC foram removidos para violar suas regras.

Um porta-voz da Tiktok disse: “Não permitimos conteúdo prejudicial gerado pela IA em nossa plataforma e encontramos proativamente 96% do conteúdo que quebra essas regras antes de nos ser relatados”.

A BBC encontrou vídeos semelhantes no YouTube e Instagram e essas plataformas disseram que o conteúdo foi retirado por violar suas regras.

Fergus disse à BBC que achava que as leis existentes não foram longe o suficiente para forçar as plataformas para remover o conteúdo prejudicial e impedir que a IA fosse usada para tais fins.

“São apenas palavras no momento”, disse Fergus. “Eles deveriam estar agindo sobre isso.”

Fergus disse que os vídeos da IA ​​que descrevem seu filho eram “absolutamente nojentos” e aqueles que os publicavam nas mídias sociais “não entendem o quanto estão machucando as pessoas”.

Ela disse: “Isso toca em sua mente. É algo que você não pode se afastar. Quando você vê essa imagem, ela fica com você”.

Fergus disse que teve uma reunião com a secretária da Justiça Shabana Mahmood na quinta -feira e pretendia levantar a questão.

James Bulger estava com sua mãe em um shopping Merseyside quando foi sequestrado por dois meninos de 10 anos, Jon Venables e Robert Thompson, em 1993.

Venables e Thompson lideraram a criança a dois quilômetros e meia de distância até uma trilha ferroviária, onde o torturaram e o espancaram até a morte.

O corpo de James foi encontrado em uma linha ferroviária dois dias depois.

Thompson e Venables foram considerados culpados de matar James, tornando -os os mais jovens assassinos condenados na história britânica moderna.

Os vídeos da IA ​​na mídia social mostram avatares de animação que contam a história do assassinato de James, na primeira pessoa.

A BBC encontrou vários vídeos semelhantes compartilhados por contas que publicam conteúdo sobre crimes e assassinatos, aparentemente para cliques e monetização.

Algumas das contas seguem o mesmo formato em todos os vídeos, usando avatares de IA para imitar diferentes vítimas de assassinato de todo o mundo.

Um porta -voz do YouTube disse que as diretrizes da plataforma “proíbem o conteúdo que simula realisticamente indivíduos falecidos que descrevem sua morte”.

O porta -voz disse que um canal chamado Hidden Stories havia sido demitido por “violações severas dessa política”.

Fergus disse: “Vamos nas mídias sociais e a pessoa que não está mais conosco está lá, conversando conosco. Quão doente está?

“É apenas corrupto. É apenas estranho e não deve ser feito.”

Uma fonte do governo disse que os usuários que publicam esses vídeos podem ser processados ​​por ofensas de ordem pública relacionadas a material obsceno ou bruto de acordo com a Lei de Comunicações.

Um porta -voz do governo disse: “Usar a tecnologia para esses fins perturbadores é vil.

“Este governo está tomando medidas robustas através da entrega da Lei de Segurança Online, sob a qual vídeos como esse são considerados conteúdo ilegal, onde uma ofensa é cometida e deve ser removida rapidamente por plataformas.

“Como pais de todo o país, esperamos ver essas leis ajudarem a criar um mundo online mais seguro.

“Mas não hesitaremos em ir mais longe para proteger nossos filhos; eles são a base não o limite quando se trata da segurança das crianças on -line”.

Em 2023, o governo conservador anterior aprovou a Lei de Segurança Online, que visa fazer com que empresas de mídia social e mecanismos de pesquisa protejam crianças e adultos no Reino Unido de material ilegal e prejudicial.

A Ofcom é o regulador que aplica a lei e está publicando orientações sobre como as plataformas podem cumprir suas funções para proteger as pessoas on -line.

O regulador tem poderes para agir contra empresas que não seguem suas funções, mas não podem forçar as plataformas a derrubar peças individuais de conteúdo.

Kym Morris, presidente do James Bulger Memorial Trust, disse que o governo pode alterar a Lei de Segurança Online para incluir proteções específicas contra conteúdo prejudicial gerado pela IA.

Ela também disse que o governo precisará aprovar uma nova legislação que abrange mídia sintética e uso indevido de IA.

“Deve haver definições claras, medidas de responsabilidade e conseqüências legais para aqueles que exploram essa tecnologia para causar danos – especialmente quando envolve vítimas reais e suas famílias”, disse Morris.

“Não se trata de censura – trata -se de proteger a dignidade, a verdade e o bem -estar emocional daqueles diretamente afetados por crimes horríveis”.

Havia planos de incluir medidas para forçar as empresas de mídia social a remover algum conteúdo “legal, mas machucado” na Lei de Segurança Online, antes de se tornar lei.

Mas as propostas foram descartadas por preocupações com a censura.

Os ativistas de segurança on -line discutem as regras em torno da remoção de conteúdo prejudicial necessário, o aperto para fechar brechas na Lei.

Em janeiro deste ano, o secretário de Tecnologia, Peter Kyle, disse à BBC que “herdou um acordo legislativo insatisfatório” na Lei de Segurança Online.

“Tenho uma mente aberta e disse publicamente, acho que teremos que legislar no futuro novamente”, disse Kyle.

Mas a BBC entende que o governo não tem planos no momento para aprovar uma nova lei focada no conteúdo da IA ​​criado e publicado on -line.

Uma fonte do governo disse que os ministros pretendiam introduzir um projeto de lei estreito de IA limitado à regulamentação dos modelos de IA de ponta ainda este ano.

Jemimah Steinfeld, diretor executivo da Index on Censorship, disse que os vídeos da IA ​​de vítimas de assassinato infantil pareciam violação das leis existentes.

Ela disse que alterar a Lei de Segurança Online para restringir o conteúdo da IA ​​”corre o risco de vídeos legítimos serem pegos nele”.

“Se já é ilegal, não precisamos de regulamentação aqui”, disse ela.

Steinfeld disse que, embora precisemos “evitar uma reação brusca que coloca tudo nesta caixa terrível”, ela tinha simpatia pela mãe de James Bulger.

“Para ter que reviver o que ela passou, repetidamente, à medida que a tecnologia melhora, não consigo imaginar como é isso”, disse ela.

Um porta -voz da OFCOM disse que, quando o conteúdo é relatado a uma plataforma, “deve decidir se infringe a lei do Reino Unido e, em caso afirmativo, lide com ela adequadamente”.

“Atualmente, estamos avaliando a conformidade das plataformas com essas novas tarefas, e aqueles que não conseguem introduzir medidas apropriadas para proteger os usuários do Reino Unido de conteúdo ilegal podem esperar enfrentar ações de execução”, disse o porta -voz.