As ferramentas de detecção de IA apontam artigos feitos por máquinas analisando padrões estatísticos e estilísticos que os modelos de linguagem LLM produzem sistematicamente e que os escritores humanos não produzem. Os principais sinais são mensuráveis, quão previsível é cada escolha de palavra, quão consistente é o comprimento das frases ao longo de um texto, e quão raramente o texto se compromete com uma frase inesperada ou com uma estrutura não convencional. Compreender estes sinais explica o porquê é que a detecção funciona tão bem e onde estão os seus limites.
Várias ferramentas foram desenvolvidas para tornar esta medição prática para o uso diário e plataformas como a Just Done aplicam estes métodos analíticos ao texto enviado e devolvem uma porcentagem indicando a probabilidade do documento ter sido criado por máquina. Compreender o que estas pontuações realmente medem torna-as consideravelmente mais úteis do que tratá-las como um simples veredicto de aprovado ou reprovado.
A diferença fundamental entre a forma como os humanos e a IA produzem texto
Um escritor humano produz texto através de um processo que é fundamentalmente complexo e faz escolhas influenciadas pelo humor, público, memória, experiência e julgamento, escolhas que nem sempre são as mais estatisticamente esperadas. Um escritor que queira deixar uma ideia clara pode usar uma frase invulgarmente curta e outro que queira abrandar a leitura do leitor pode utilizar uma construção mais longa e sinuosa.
Um LLM produz texto através de um processo fundamentalmente diferente, em cada passo, calcula a distribuição de probabilidade sobre os possíveis tokens seguintes, palavras ou fragmentos de palavras e selecciona entre as opções de alta probabilidade e no final o resultado é um texto que é consistentemente provável.
O modelo está otimizado para produzir uma saída fluente e coerente e assim o faz, no entanto a fluência e a coerência não são o mesmo que autenticidade, e a diferença entre elas é o que as ferramentas de detecção são concebidas para medir.
As duas principais medidas de detecção de sinais
A maioria das ferramentas de detecção de IA baseia-se em dois conceitos estatísticos fundamentais, por vezes combinados com análises estilísticas adicionais. Estes conceitos derivam da linguística computacional e da teoria da informação, mas as suas implicações práticas são simples, uma vez explicadas de forma clara.
Perplexidade
A perplexidade mede o grau de surpresa de um modelo de linguagem com um determinado texto. Especificamente, quantifica a capacidade do modelo para prever cada palavra subsequente, considerando as palavras anteriores e a baixa perplexidade significa que o texto era altamente previsível, as previsões do modelo estavam bem alinhadas com o que foi realmente escrito.
Os artigos vindo de IA tendem a ter baixa perplexidade porque foram produzidos por um processo semelhante ao que a mede: um modelo de linguagem escolhendo tokens de alta probabilidade a cada passo.
A escrita humana tende a ter maior perplexidade porque os humanos fazem escolhas que a probabilidade por si só não explica. Uma ferramenta de detecção que mede a perplexidade está essencialmente a perguntar: até que ponto este texto se parece com a saída de um modelo como o que estamos a utilizar para o analisar?
Explosão de ritmo
A explosão de ritmo mede a variação da complexidade das frases ao longo de um texto. A escrita humana é caracteristicamente explosiva: o comprimento das frases e a complexidade estrutural flutuam significativamente dentro de um único parágrafo.
Uma frase curta segue-se a uma frase longa. Uma declaração simples está ao lado de uma construção com muitas orações subordinadas e um fragmento surge para dar ênfase. Esta variação não é aleatória, ela reflete o ritmo que um escritor humano desenvolve em resposta ao conteúdo e ao público, mas é irregular de formas que são estatisticamente distinguíveis da produção de IA.
As frases tendem a ter um comprimento e uma complexidade estrutural consistentes ao longo do documento. O modelo não tem qualquer razão para variar o seu ritmo da forma como um escritor humano o faz, está a produzir a frase seguinte mais fluente com base na anterior, e este processo gera uma espécie de suavidade consistente que em grande escala parece mecânica.
Sinais adicionais utilizados em detecção mais sofisticada
A perplexidade e a explosão de ritmo são a base, mas as ferramentas de detecção mais avançadas incorporam sinais adicionais que melhoram a precisão em diferentes estilos de escrita, línguas e tipos de conteúdo. A seguir, apresentamos os métodos mais comummente aplicados:
Distribuição de vocabulário
Os escritores humanos utilizam um vocabulário moldado pela sua formação, hábitos de leitura e contexto profissional; este vocabulário possui uma distribuição característica: certas palavras aparecem com frequência, outras raramente, e um léxico pessoal reconhecível desenvolve-se ao longo do tempo. Os textos vindo de IAs tendem a apresentar uma distribuição de vocabulário mais uniforme e uma gama mais ampla de palavras utilizadas com uma frequência mais consistente, com menos escolhas idiossincráticas que caracterizam os escritores humanos individuais. As ferramentas de detecção que analisam a distribuição do vocabulário podem identificar documentos em que o padrão de escolha de palavras é excepcionalmente uniforme, o que se correlaciona com a geração por máquina.
Consistência estilística entre secções
A escrita humana muda de carácter ao longo de um documento, uma introdução escrita quando o autor se estava a familiarizar com o assunto tem uma leitura diferente da secção intermédia, onde estava mais envolvido, que por sua vez tem uma leitura diferente da conclusão escrita sob pressão de tempo ou com menos convicção. Já o conteúdo IA mantém um registo estilístico mais consistente do início ao fim, o mesmo nível de formalidade, as mesmas preferências de estrutura frásica, as mesmas escolhas de vocabulário do primeiro ao último parágrafo, as ferramentas de detecção que analisam a consistência estilística entre secções podem sinalizar documentos onde essa consistência é implausivelmente uniforme.
Perguntas frequentes
As questões seguintes abordam os pontos de confusão mais comuns sobre como funciona a detecção por IA, o que significam as suas pontuações e como utilizá-las adequadamente.
1° Qual a precisão das ferramentas de detecção por IA?
A precisão varia de acordo com a ferramenta, o tipo de texto e o modelo específico que gerou o conteúdo analisado. Em textos claramente gerados por IA a partir dos principais modelos de linguagem e em prosa claramente escrita por humanos em registos padrão, as ferramentas bem desenvolvidas conseguem uma elevada precisão. A precisão cai em textos gerados por IA com muitas edições, em textos formais escritos por humanos, em textos de línguas menos comuns e em conteúdos produzidos por modelos mais recentes que a ferramenta de detecção não foi treinada para reconhecer.
2° É possível enganar a detecção por IA?
Sim, de várias formas. A edição humana substancial da saída da IA reduz as pontuações de detecção. Introduzir deliberadamente variações estilísticas, como variar o comprimento das frases, acrescentar exemplos pessoais ou assumir posições claras e também reduz as pontuações. É por isso que uma boa humanização e a evasão da detecção são, na prática, o mesmo conjunto de técnicas, as ferramentas de paráfrase podem perturbar os padrões estatísticos em que a detecção se baseia, embora muitas vezes também reduzam a qualidade da saída.
3 - Todas as ferramentas de detecção por IA utilizam o mesmo método?
Não necessariamente. A maioria baseia-se na perplexidade e na frequência de ocorrência de picos de dados como os seus principais sinais, mas os modelos específicos utilizados para medir a perplexidade, o peso atribuído a diferentes sinais e as características adicionais incorporadas variam significativamente entre as ferramentas. É por isso que o mesmo documento pode receber pontuações diferentes de diferentes detetores e é também por isso que a execução de um documento em várias ferramentas e a comparação dos resultados proporciona uma visão mais fiável do que confiar na saída de uma única ferramenta, pontuações elevadas consistentes em vários detectores são provas mais fortes do que uma única pontuação elevada de um único detector.
4° Uma pontuação de detecção elevada prova que um texto foi gerado por IA?
Depende, uma pontuação elevada indica que o texto tem propriedades estatísticas associadas à geração por máquina, não confirma que uma máquina o tenha gerado. Os falsos positivos ocorrem regularmente em textos formais escritos por humanos, prosa muito editada e textos de falantes não nativos. Uma pontuação de detecção é uma evidência a ser ponderada juntamente com outras informações, e não um veredicto que resolve a questão por si só.
5° - O que alguém fazer se o texto escrito por humanos for sinalizado como gerado por IA?
O primeiro passo é examinar quais as secções específicas que obtiveram uma pontuação elevada e porquê, a maioria das ferramentas fornece detalhes ao nível da secção que identificam onde os padrões problemáticos estão concentrados. As causas comuns incluem um comprimento de frase muito consistente, vocabulário formal com variação limitada e conclusões que evitam comprometer-se com uma posição. Ajustar estes recursos específicos, sem alterar a substância da escrita reduz normalmente a pontuação. Se o texto sinalizado fizer parte de uma submissão académica ou profissional e a pontuação estiver a ser utilizada num processo de revisão, a documentação do processo de escrita, histórico de rascunhos, notas de investigação, registos de data e hora fornece provas independentes de autoria que não dependem do julgamento da ferramenta de detecção.
