A batalha para distinguir a escrita humana do texto gerado pela IA está se intensificando. E, como modelos como o GPT-4 do OpenAI, Claude do Anthrópico e Gêmeos do Google embaçam a linha entre a máquina e a autoria humana, uma equipe de pesquisadores desenvolveu uma nova estrutura estatística para testar e melhorar os métodos de “marca d’água” usados para identificar o texto feito pela máquina.
Seu trabalho tem amplas implicações para a mídia, educação e negócios, onde a detecção de conteúdo escrito por máquina está se tornando cada vez mais importante para combater a desinformação e proteger a propriedade intelectual.
“A propagação do conteúdo gerado pela IA provocou grandes preocupações sobre confiança, propriedade e autenticidade on-line”, disse Weijie Su, professor de estatística e ciência de dados da Escola da Universidade da Pensilvânia, que co-autoria a pesquisa. O projeto foi parcialmente financiado pela Wharton AI & Analytics Initiative.
Publicado no Anais de estatísticasum diário líder no campo, o artigo examina a frequência com que a marca d’água falha em capturar texto feito pela máquina-conhecido como erro do tipo II-e usa matemática avançada, chamada de grande teoria de desvio, para medir a probabilidade dessas erros. Em seguida, aplica “Otimização Minimax”, um método para encontrar a estratégia de detecção mais confiável em condições de pior caso, para aumentar sua precisão.
Spotting de conteúdo feito de IA é uma grande preocupação para os formuladores de políticas. O texto está sendo usado em jornalismo, marketing e direito – às vezes abertamente, às vezes em segredo. Embora possa economizar tempo e esforço, também vem com riscos, como espalhar informações erradas e violar os direitos autorais.
As ferramentas de detecção de IA ainda funcionam?
As ferramentas tradicionais de detecção de IA analisam o estilo e os padrões de escrita, mas os pesquisadores dizem que eles não funcionam mais bem porque a IA ficou muito melhor em parecer uma pessoa real.
“Os modelos de IA de hoje estão ficando tão bons em imitar a escrita humana que as ferramentas tradicionais simplesmente não conseguem acompanhar”, disse Qi Long, professor de bioestatística da Universidade da Pensilvânia, que co-autor da pesquisa.
Embora a idéia de incorporar marcas d’água no processo de seleção de palavras da IA não seja nova, o estudo fornece uma maneira rigorosa de testar o desempenho dessa abordagem.
“Nossa abordagem vem com uma garantia teórica – podemos mostrar, através da matemática, quão bem a detecção funciona e sob quais condições ela se mantém”, acrescentou Long.
Os pesquisadores, que incluem Feng Ruan, professor de estatística e ciência de dados da Northwestern University, sugerem que a marca d’água pode desempenhar um papel importante na formação de como o conteúdo gerado pela IA é governado, especialmente quando os formuladores de políticas pressionam por regras e padrões mais claros.
O ex-presidente dos EUA, Joe Biden, a ordem executiva de outubro de 2023 pediu conteúdo gerado pela AI, testando o Departamento de Comércio ao ajudar a desenvolver padrões nacionais. Em resposta, empresas como OpenAI, Google e Meta se comprometeram a construir sistemas de marca d’água em seus modelos.
Como efetivamente marcar a marca d’água conteúdo gerado pela IA
Os autores do estudo, que incluem os pesquisadores de pós -doutorado da Penn, Xiang Li e Huiyuan Wang, argumentam que uma marca d’água eficaz deve ser difícil de remover sem alterar o significado do texto e sutil o suficiente para evitar a detecção pelos leitores.
“É tudo sobre o equilíbrio. A marca d’água deve ser forte o suficiente para detectar, mas sutil o suficiente para não mudar a maneira como o texto lê”, disse SU.
Em vez de marcar palavras específicas, muitos métodos influenciam como a IA as seleciona, construindo a marca d’água no estilo de escrita do modelo. Isso torna o sinal mais propenso a sobreviver à parafrasear ou a edições de luz.
Ao mesmo tempo, a marca d’água precisa se misturar naturalmente nas escolhas usuais de palavras da IA, para que a saída permaneça suave e humana-especialmente porque modelos como GPT-4, Claude e Gêmeos se tornam cada vez mais difíceis de contar, além dos escritores reais.
“Se a marca d’água mudar a maneira como a IA escreve – mesmo um pouco – derrota o ponto”, disse Su. “Tem que parecer completamente natural para o leitor, por mais avançado que seja o modelo”.
O estudo ajuda a enfrentar esse desafio, oferecendo uma maneira mais clara e rigorosa de avaliar o desempenho do WaterMarking-um passo importante para melhorar a detecção à medida que o conteúdo gerado pela IA se torna mais difícil de detectar.
(Conhecimento@wharton publicou esta peça pela primeira vez.)
As opiniões expressas neste artigo são do autor e não refletem necessariamente a política editorial do observador justo.
