Ferramenta digital identifica texto acadêmico gerado pelo ChatGPT com 99% de precisão

LAWRENCE — Heather Desaire, uma química que usa aprendizado de máquina em pesquisas biomédicas na Universidade do Kansas, revelou uma nova ferramenta que detecta com 99% de precisão o texto científico gerado pelo ChatGPT, o gerador de texto de inteligência artificial.

A revista revisada por pares Cell Reports Physical Science publicou pesquisas mostrando a eficácia de seu método de detecção de IA, juntamente com código-fonte suficiente para que outros repliquem a ferramenta.

Desaire, o Keith D. Wilner Chair em Química na KU, disse que ferramentas precisas de detecção de IA são urgentemente necessárias para defender a integridade científica.

"ChatGPT e todos os outros geradores de texto AI como ele inventam fatos", disse ela. "Na publicação de ciência acadêmica - escritos sobre novas descobertas e o limite do conhecimento humano - realmente não podemos poluir a literatura com falsidades aparentemente críveis. Eles inevitavelmente entrariam em publicações se geradores de texto AI fossem comumente usados. Tanto quanto eu sei, não há maneira infalível de, de forma automatizada, encontrar essas 'alucinações' como são chamadas. vão se tornar menos confiáveis, menos valiosos."

Ela disse que o sucesso de seu método de detecção depende do estreitamento do escopo da escrita sob escrutínio para a escrita científica do tipo encontrado comumente em periódicos revisados ​​por pares. Isso melhora a precisão em relação às ferramentas de detecção de IA existentes, como o detector RoBERTa, que visa detectar IA em escrita mais geral.

"Você pode facilmente construir um método para distinguir a escrita humana da escrita ChatGPT que seja altamente precisa, dada a compensação de que você está se restringindo a considerar um grupo particular de humanos que escrevem de uma maneira particular", disse Desaire. "Os detectores de IA existentes são normalmente projetados como ferramentas gerais para serem aproveitadas em qualquer tipo de escrita. Eles são úteis para o propósito pretendido, mas em qualquer tipo específico de escrita, eles não serão tão precisos quanto uma ferramenta criada para isso. propósito específico e estreito”.

Desaire disse que instrutores universitários, entidades de concessão de bolsas e editores exigem uma maneira precisa de detectar a saída de IA apresentada como trabalho de uma mente humana.

"Quando você começa a pensar em 'plágio de IA', 90% de precisão não é bom o suficiente", disse Desaire. "Você não pode acusar as pessoas de usar IA sub-repticiamente e estar frequentemente errado nessas acusações - a precisão é crítica. Mas, para obter precisão, o trade-off geralmente é a generalização".

Os coautores de Desaire eram todos do grupo de pesquisa da KU: Romana Jarosova, professora assistente de pesquisa de química na KU; David Huax, analista de sistemas de informação; e estudantes de pós-graduação Aleesa E. Chua e Madeline Isom.

O sucesso de Desaire e sua equipe na detecção de texto de IA pode resultar do alto nível de percepção humana (em comparação com a detecção de padrão de aprendizado de máquina) usada na criação do código.

“Usamos um conjunto de dados muito menor e muito mais intervenção humana para identificar as principais diferenças para o nosso detector focar”, disse Desaire. “Para ser exato, construímos nossa estratégia usando apenas 64 documentos escritos por humanos e 128 documentos de IA como nossos dados de treinamento. Isso é talvez 100.000 vezes menor que o tamanho dos conjuntos de dados usados ​​para treinar outros detectores. 100.000 vezes - essa é a diferença entre o custo de uma xícara de café e uma casa. Então, tínhamos esse pequeno conjunto de dados, que podia ser processado super rapidamente, e todos os documentos podiam ser lidos pelas pessoas. Usamos nossos cérebros humanos para encontrar diferenças úteis nos conjuntos de documentos, não contamos com as estratégias para diferenciar humanos e IA que foram desenvolvidas anteriormente."

De fato, o pesquisador da KU disse que o grupo construiu sua abordagem sem depender das estratégias de abordagens anteriores para detecção de IA. A técnica resultante possui elementos completamente exclusivos para o campo de detecção de texto AI.

“Estou um pouco envergonhado de admitir isso, mas nem consultamos a literatura sobre detecção de texto por IA até termos uma ferramenta de trabalho em mãos”, disse Desaire. "Estávamos fazendo isso não com base em como os cientistas da computação pensam sobre a detecção de texto, mas usando nossa intuição sobre o que funcionaria."