Quão original é o conteúdo do ChatGPT?

Publicados: 2023-03-18

O ChatGPT acaba de lançar sua API e o GPT-4 entrou em ação, tornando mais fácil do que nunca sincronizar a criação ilimitada de conteúdo na ponta dos dedos com seu fluxo de trabalho.

Quer você trabalhe internamente criando páginas de destino ou uma agência produzindo grandes quantidades de conteúdo para seus clientes, você precisa de conteúdo rápido e confiável agora mais do que nunca. E como o Google não prioriza o conteúdo duplicado, você quer ter certeza de que não está lançando o mesmo conteúdo que todos os seus concorrentes.

O conteúdo do ChatGPT é exclusivo?

Se você perdeu meu último experimento de conteúdo de IA, abordamos o que é necessário para editar uma parte do conteúdo do Jasper para torná-lo pronto para a agência. Desta vez, quero saber o quão criativo o ChatGPT pode ser.

Ele pode gerar conteúdo verdadeiramente diferente sobre os mesmos tópicos usando prompts diferentes? Ou usar esta ferramenta de escrita fará com que você soe exatamente como todo mundo?

Ultimamente, a engenharia imediata tem sido a solução ideal para quem tenta criar conteúdo de IA exclusivo. Eu quero colocar isso à prova. Usarei prompts variados (mas relacionados) para gerar parágrafos. Em seguida, compararei as duas saídas, procurando especificamente por frases ou estruturas compartilhadas.

Hipótese: Devido à natureza de seu treinamento e limitações, as saídas do ChatGPT usarão frases semelhantes, independentemente da engenharia do prompt.

Os humanos, pelo que vale a pena, são da mesma maneira. Existem tantas maneiras diferentes de escrever sobre o que escrevemos. Caímos em rotinas. Hábitos. Clichês. Nosso vocabulário fica monótono e nossa escrita sofre por isso.

E, como o ChatGPT é treinado em escrita humana, estou prevendo uma queda semelhante.
No entanto, estou animado para ver os resultados porque onde uma pessoa tem suas próprias palavras de muleta e tendências de escrita, o ChatGPT tem palavras de muleta e tendências de escrita de todos . Talvez gere frases originais mesmo com prompts semelhantes. Eu adoraria ser surpreendido.

Teste 1: Onde eu pergunto ao ChatGPT ideias de comida vegana

Digamos, por exemplo, que você esteja escrevendo uma postagem de blog sobre opções veganas ótimas para pessoas que fizeram recentemente esse ajuste na dieta. Você gostaria de algo direto, mas informativo. É aqui que o ChatGPT se destaca.

Sugestão 1: fale-me sobre boas opções de comida para novos veganos

Dica 2: Quais são as ótimas opções para quem acabou de começar a comer vegan?

Logo de cara, é fácil ver que essas saídas ficaram semelhantes em tamanho (cerca de 500 palavras), ambas têm sete itens em sua lista e têm parágrafos introdutórios e de conclusão. Se você está procurando um artigo de comida vegana de baixo teor de gordura, esta é a versão de arroz de 90 segundos.

Então, quão originais eles são? Eu destaquei as frases exatas compartilhadas em roxo .

Eeeee isso é muito roxo. Honestamente, teria sido mais fácil destacar as palavras que não são compartilhadas do que as que são. Vamos dividi-lo em pedaços pequenos para que você não precise ficar olhando para a tela.

À primeira vista, os parágrafos de abertura de cada um parecem limpos e únicos. No entanto, um leitor atento reconhecerá que o palavreado do primeiro parágrafo do Prompt 1 foi regurgitado no parágrafo final do Prompt 2.

(E sim, ainda conta como plágio.)

Você também deve ter notado que os sete itens em ambas as listas são idênticos. Tenho certeza de que mesmo as dietas veganas não são tão previsíveis. Além disso, eles estão exatamente na mesma ordem. Marketing não totalmente personalizado.

Uma última nota aqui. Uma das maiores diferenças entre essas duas peças se resume à escolha do adjetivo. “Popular” é usado rotineiramente em toda a saída do Prompt 1. Em contraste, o Prompt 2 nunca diz popular, mas opta por “ótimo”. Eles também não mudam. Depois de decidirem o adjetivo de sua escolha, eles parecem satisfeitos em mantê-lo. Nenhum dos dois é particularmente inspirador, mas sua repetição é uma indicação óbvia de material gerado por IA.

Teste 1.5: Comida vegana, mais uma vez com sentimento

É claro que, sem muita diferenciação imediata, o ChatGPT oferecerá conteúdo semelhante. Para obter saídas exclusivas, você precisa de entradas exclusivas. É aqui que entra a engenharia de prompt. Quanto mais tempo você gasta criando um prompt detalhado, melhor deve ser a qualidade.

(Claro, não há garantia de que outra pessoa não usará a mesma entrada e criará uma saída idêntica à sua. Mas falaremos mais sobre isso depois.)

Antes de começar a mexer com prompts completamente novos, quero perguntar sobre comida vegana novamente, mas desta vez pressionando um tom diferente. Vamos comparar a saída do Prompt 1 do teste anterior com uma nova saída.

Sugestão 1: Conte-me sobre boas opções de comida para novos veganos

Sugestão 2: Escreva alguns parágrafos sobre comida vegana para iniciantes com um tom descontraído

Aqui, destaquei em amarelo frases semelhantes, bem como continuei a destacar o conteúdo duplicado em roxo porque - aleluia! — essas duas saídas são realmente diferentes.

IMO, o tom descontraído foi realizado muito bem. “Olá” pode ser muito casual para uma postagem de blog típica, mas informações extras como “não se preocupe, não é tão difícil quanto você imagina” ou “eles vêm em todas as formas, tamanhos e cores” ajuda a tornar a saída sinta-se apresentável.

Exceto nozes e sementes, o Prompt 2 ainda destacou todos os mesmos tipos de alimentos do Prompt 1. Isso é um tanto esperado, pois temos os mesmos pesos pesados: frutas e vegetais, grãos integrais, legumes, tofu e tempeh e alternativas ao leite e queijo. O que me surpreendeu aqui é que o tom descontraído também recomenda alimentos diferentes.

Os tacos de feijão preto ou curry de grão de bico são opções notavelmente mais descontraídas? Ou o modelo leu blogs de culinária suficientes no Pinterest para saber que tons descontraídos costumam ser combinados com receitas específicas? Eu não tenho certeza.

Teste 2: casas de férias em Nantucket ou busto

Dica 1: Escreva com autoridade sobre casas de veraneio em Nantucket, Massachusetts para compradores interessados

Sugestão 2: Escreva uma postagem educacional, mas descontraída, sobre propriedades de férias em Nantucket, Massachusetts, para um comprador que já conhece a ilha

Existem duas diferenças principais entre esses prompts — público-alvo e tom . Eu queria que o Prompt 1 soasse como se conhecesse Nantucket como a palma da mão e estivesse confiante em sua experiência. Para o Prompt 2, embora ainda solicitasse um palestrante experiente, esperava que atendesse especificamente aos compradores que já conheciam os meandros da ilha.

Se estamos avaliando o AI de 10, eu daria a este um 5/10.

Os próprios prompts tiveram sucesso moderado na geração de materiais diferentes, mas essas faixas de roxo e amarelo não mentem. Essas saídas ainda são bastante semelhantes.

Curiosamente, o ChatGPT enfatizou a acessibilidade em ambas as saídas, pensando que essa é a próxima palavra óbvia depois de “casas de férias”, apesar de não solicitar isso em nenhum dos prompts.

Em sua defesa, também não solicitei especificamente que escrevesse para um público de luxo sofisticado. No entanto, os compradores interessados ​​em propriedades de férias em Nantucket provavelmente não têm grandes restrições financeiras, então o preço pode não ser uma barreira. Insinuar que deveria ser pode afastar compradores lucrativos. Esse é o tipo de contexto que um escritor humano provavelmente inferiria de uma tarefa que a IA simplesmente não é capaz de ver e implementar.

Mas isso não é uma crítica de qualidade, então vamos dar uma olhada no que diferencia essas duas saídas.

A maior diferença está nos parágrafos do corpo. Como o Prompt 2 foi projetado com compradores que já conhecem a ilha, mas o Prompt 1 não, as saídas conseguiram atender a públicos ligeiramente diferentes.

O Prompt 1 menciona Sconset (um termo coloquial para Siasconset) e Madaket (como em Madaket Beach). O uso de versões abreviadas desses enclaves faz com que pareça mais familiar com a área. Eu quase esperaria isso do Prompt 2.

E não vamos ignorar que esses são chamados de bairros mais acessíveis. As propriedades listadas aqui estão em pé de igualdade com os preços em toda a ilha, com casas multimilionárias à venda.

O Prompt 2, por outro lado, destaca as leis de zoneamento. Certamente, isso é algo em que alguém que está pensando em comprar uma casa estaria interessado, mas não é necessariamente do conhecimento de todos os familiarizados com a ilha. É educativo, mas não mergulha muito fundo, exatamente o que o prompt pedia.

Independentemente da eficácia do conteúdo, pelo menos aqui havia variedade. O ChatGPT provou que poderia, quando solicitado, gerar saídas diferentes se você o empurrasse na direção certa.

Teste 3: o mesmo prompt repetidamente

Tentamos gerar conteúdo sobre diferentes tópicos, então, desta vez, quero ver como o ChatGPT se comporta quando solicitado a criar um novo material usando repetidamente o mesmo prompt. Para um refrão como este, temos que ir à Cidade da Música.

Prompt: Conte-me sobre o que fazer em Nashville, Tennessee

Pedi ao ChatGPT cinco vezes para me contar sobre o que fazer em Nashville, Tennessee. A cada vez, esse prompt gerava uma lista de dez atrações. Nas três primeiras vezes, a lista apresentava as mesmas dez coisas para fazer na mesma ordem.

  1. Hall da Fama e Museu da Música Country
  2. Auditório Ryman
  3. Lower Broadway
  4. Grand Ole Opry
  5. Fazenda Belle Meade
  6. A cena da comida
  7. Primeiro Museu de Arte
  8. Parque Centenário
  9. Museu Johnny Cash
  10. Fila de música

Essas três saídas são assustadoramente semelhantes. É a experiência da comida vegana de novo. Quase o mesmo parágrafo de introdução de duas frases seguido por uma lista. Ao longo, existem alguns lugares em que eles diferem - trocando adjetivos ou estrutura de frases como vimos em testes anteriores - mas, francamente, não o suficiente para notar.

Na quarta geração, começou a agitar as coisas.

Trocamos a ordem (movendo o Johnny Cash Museum de 9 para 4 na lista) e substituímos o Music Row pelo Tennessee State Capitol. Mais! Uma conclusão! Estamos realmente implorando por restos aqui, pessoal.

A quinta geração lança um granizo Mary — Jack Daniels Distillery. Na verdade, fica em Lynchburg, que fica a noventa minutos de carro de Nashville, mas esse não é o ponto aqui. Pelo menos tentou algo novo.

Observações gerais e principais conclusões

Você está com pressa. Aqui está a versão curta:

  • ChatGPT é basicamente texto preditivo glorificado. Ele gosta de padrões. Eles são tudo o que ele conhece.
  • Conteúdo de alta qualidade é conteúdo original, mas nem todo conteúdo original é de alta qualidade.
  • A engenharia imediata não apenas funciona, mas também é uma necessidade. Ser granular com seus prompts é a única maneira de gerar conteúdo variado por meio do ChatGPT.

Então, o que acontece se o seu conteúdo não for original?

O conteúdo duplicado não vai funcionar para o seu site. Ter conteúdo informativo, autoritário e exclusivo é crucial para o SEO, e como a IA e o SEO interagem ainda está no ar. Enquanto isso, existem muitas ferramentas de detecção de IA disponíveis para ajudá-lo a ficar de olho no conteúdo que está postando.

O conteúdo de IA é adequado para você?

Na Verblio, estamos constantemente experimentando maneiras de tornar sua produção de conteúdo o mais perfeita possível. As ferramentas de escrita de IA podem ser um recurso poderoso, mas é claro que elas ainda precisam do toque humano para criar um produto acabado. Nossa IA criada pelo homem reduz os custos, mas mantém a qualidade que você ama.