A inteligência artificial parece estar em toda parte hoje em dia, desde design de interiores para preparação em casa . Mas um dos usos mais conhecidos – e, possivelmente, um dos mais controversos – da IA atualmente é o ChatGPT.
Se você nunca brinquei com ChatGPT antes, aqui está um rápido resumo de como funciona: um usuário humano insere uma consulta, como “Escreva-me uma nova receita para fazer para o jantar” ou “Como devo decorar meu quarto de hóspedes ”, e em alguns segundos, ChatGPT dá uma resposta.
Mas algumas pessoas e empresas estão usando o ChatGPT para muito mais do que apenas preparar refeições. Eles estão se apoiando fortemente no chatbot para escrever tudo, desde redações de admissão na faculdade para revisão de produtos – embora às vezes leve a resultados controversos.
Como leitor, isso pode fazer você questionar se alguma vez leu involuntariamente algo que pensava ter sido escrito por um autor humano, mas na verdade foi produzido por um bot. Quer saber como saber se algo foi escrito por ChatGPT? Conversei com alguns especialistas para obter dicas e conselhos sobre como navegar neste novo mundo obscuro movido por IA em que vivemos.
Como o ChatGPT diz para saber se algo foi escrito pelo ChatGPT?
Mas primeiro, me perguntei o que o ChatGPT diria se eu fizesse essa mesma pergunta. Só por diversão, criei uma conta, digitei “como saber se algo foi escrito pelo ChatGPT” na barra de mensagens e apertei enter.
O ChatGPT, é claro, me deu uma resposta imediata.
“Identificar se algo foi escrito pelo ChatGPT pode ser um desafio, pois o modelo visa gerar texto semelhante ao humano”, respondeu. “No entanto, existem algumas características gerais que podem indicar que o texto foi gerado por um modelo de linguagem.”
Em seguida, ele me forneceu uma lista de características que podem indicar que um trecho de texto foi escrito por um bot, como repetir as mesmas frases ou ideias várias vezes ou parecer genérico e perder detalhes específicos. ChatGPT também afirma que sua escrita pode carecer de anedotas e emoções pessoais.
Outra indicação, de acordo com ChatGPT? Se a informação parecer desatualizada, porque o ChatGPT só foi treinado com dados até janeiro de 2022.
Ao final da resposta, o ChatGPT tentou me tranquilizar, escrevendo que se eu tiver “preocupações ou dúvidas específicas sobre um trecho de texto, fique à vontade para perguntar e farei o possível para ajudá-lo”.
Como saber se algo foi escrito por ChatGPT
Ok, foi um experimento divertido, mas agora vamos ao que os verdadeiros especialistas humanos têm a dizer.
A primeira coisa a considerar é que o texto do ChatGPT é gerado por um prompt inserido por um ser humano. Por causa disso, o usuário humano pode ajustar o prompt repetidamente para produzir a voz, o estilo, a duração e o tipo de texto específicos que procura. Isso pode tornar surpreendentemente difícil saber se algo foi escrito pelo ChatGPT.
“Na minha pesquisa, descobri que mesmo humanos bem treinados lutam para detectar com segurança o texto gerado”, diz Liam Dugan , que está pesquisando uma variedade de questões relacionadas ao chatbot enquanto faz seu doutorado na Universidade da Pensilvânia. (Ele e seus colegas criaram um jogo online, chamado “ Texto real ou falso ”, onde as pessoas podem testar suas habilidades de detecção de texto geradas por IA – experimente você mesmo.)
De acordo com Dugan, não existem palavras ou frases específicas que indiquem que um trecho de texto foi escrito por um chatbot. Então, infelizmente, você não pode simplesmente usar “Control+F” para palavreado específico.
Outros especialistas ecoaram esse sentimento.
“Infelizmente, não parece haver uma maneira fácil de detectar texto escrito por ChatGPT ou IA em geral”, diz Xavier Harding, produtor de conteúdo da Mozilla, empresa por trás do navegador Firefox. “Vimos os criadores do ChatGPT, OpenAI, tentarem oferecer métodos para detectar texto escrito por IA e tiveram que recuperá-los, dizendo que não existe uma maneira precisa de detectar texto gerado por IA.”
Esteja atento a erros de copiar e colar.
Mas só porque pode ser difícil dizer não significa que toda a esperança está perdida. Como são os humanos que acionam o ChatGPT, você pode ver algumas pistas super óbvias de que algo foi escrito por um chatbot.
“Já vi pessoas incluírem acidentalmente comentários secundários do chatbot, como: “Claro, aqui está uma notícia sobre detecção”, diz Dugan.
Saiba como detectar “alucinações”.
Deixando de lado esses tipos de erros, os especialistas também recomendam estudar cuidadosamente um trecho de texto para obter precisão factual. Quanto mais específica for a informação, maior será a probabilidade de um chatbot simplesmente inventar um fato ou entender algo errado, diz Dugan.
As pessoas que trabalham na área de IA chamam esses erros de “alucinações”.
“Às vezes, a IA dirá coisas que, francamente, simplesmente não são verdadeiras”, diz Harding. “Isso pode ser fácil de dizer que você está lendo um texto elaborado por IA e não por uma pessoa, embora possa ser difícil saber se algo é uma alucinação se for sobre um assunto com o qual você não está familiarizado.”
Se você não está muito familiarizado com o assunto sobre o qual está lendo, faça uma rápida pesquisa online para verificar as informações que tem à sua frente, acrescenta Harding.
Cuidado com a escrita que parece muito genérica.
Outro sinal de que algo foi escrito por um chatbot é o excesso de generalidade (que o próprio ChatGPT também mencionou). Se um trecho de texto parecer muito amplo – como uma crítica de filme que não menciona nenhum dos membros do elenco pelo nome, por exemplo – você pode querer suspeitar.
o significado de 777
“Para evitar cometer erros, os chatbots muitas vezes escrevem textos genéricos”, diz Dugan. “Eles darão respostas muito seguras e previsíveis e tentarão evitar a necessidade de inventar informações. No entanto, isso muitas vezes pode parecer estranho para um leitor humano. Os leitores devem prestar atenção a qualquer coisa que pareça evitar fornecer informações específicas.”
Leia mais do que as primeiras frases.
Outra dica: leia o máximo possível do texto, em vez de apenas uma ou duas primeiras frases. Gary Marcos , professor emérito de psicologia e ciências neurais da Universidade de Nova York, diz que pode ser mais fácil verificar se algo foi escrito por um chatbot quando o texto é mais longo.
“É muito difícil dizer a partir de uma única frase, porque eles são treinados em grandes quantidades de texto para soarem o mais humano possível”, diz ele. “Esses sistemas muitas vezes saem dos trilhos em conversas mais longas, mas não necessariamente em trechos curtos.”
E quanto aos detectores de chatbot?
Pesquise on-line e provavelmente encontrará ferramentas que afirmam ser capazes de detectar texto gerado por IA. Dugan está atualmente conduzindo um estudo em grande escala para testar a eficácia desses detectores – mas, até agora, as primeiras evidências não são promissoras.
“Todos os nossos resultados sugerem que os detectores não são confiáveis e que você não deveria usá-los em nenhum cenário de alto risco”, diz ele. “Muitas empresas afirmam ser capazes de detectar texto gerado com 99% ou mais de precisão, mas essas afirmações são falsas. Os detectores frequentemente sinalizam textos escritos por humanos como sendo gerados por chatbot e são facilmente enganados.”
