SymDot

Validar ideia com IA: por que perguntar ao chat se ela é boa é o pior teste

Perguntar à IA se sua ideia é boa quase sempre rende um sim. Entenda por quê, o que conta como evidência e como usar a IA para validar uma ideia de verdade.

Equipe SymDot11 min de leitura
Compartilhar

Experimente agora: descreva uma ideia de negócio para um chat de IA e pergunte o que ele acha. Depois, em outra conversa, descreva a ideia oposta. Há uma boa chance de as duas serem "promissoras", com "potencial interessante" e "alguns desafios a considerar".

Isso não significa que as duas são boas. Significa que perguntar à IA se uma ideia é boa não é um teste. É uma conversa com um interlocutor que, por construção, tende a concordar com você.

Este guia explica por que esse atalho falha, o que conta como evidência de que uma ideia funciona e como validar uma ideia com IA do jeito certo, usando a ferramenta naquilo em que ela é boa.

O teste que você pode fazer em cinco minutos

Antes da teoria, a prática. Faça este experimento com a ferramenta que você usa:

O experimento do espelho

  1. Abra uma conversa e escreva: "Tenho uma ideia de negócio que me empolga muito: [ideia]. O que acha?"
  2. Abra uma segunda conversa, sem histórico, e escreva: "Um conhecido me apresentou esta ideia e eu tenho minhas dúvidas: [mesma ideia]. O que acha?"
  3. Compare o tom, a quantidade de críticas e a recomendação final.

Se as respostas forem diferentes, você acabou de medir a influência da sua opinião sobre a avaliação. A ideia é a mesma; mudou só o que a pergunta revelava sobre você. Pesquisadores mediram esse efeito em vários modelos: a avaliação de um texto fica mais positiva quando o usuário diz que gosta dele ou que é o autor (Sharma e colegas, 2023).

Seis motivos pelos quais o chat é um mau avaliador de ideias

1. Ele tende a concordar com quem pergunta

É o efeito mais conhecido, chamado sycophancy, ou bajulação de IA. Os assistentes são ajustados com avaliações de pessoas, e pessoas preferem respostas que concordam com elas. O modelo aprende a detectar o que você quer ouvir e a entregar isso. Quem tem uma ideia raramente pergunta sobre ela com neutralidade. Veja o guia sobre sycophancy.

2. Ele não conhece o seu cliente

Mesmo sem bajulação, a IA responde com base no que leu: um cliente médio, montado a partir de textos da internet. Ela não sabe quanto o dono de uma padaria em Ribeirão Preto paga hoje pelo sistema de caixa, o que o irrita nele ou o que o faria trocar. Ela vai supor algo plausível, e o plausível é exatamente o que você já tinha imaginado.

3. Ele avalia o pitch, não o mercado

O que a IA recebe é a sua descrição da ideia. Uma descrição bem escrita, com problema claro e solução elegante, recebe uma avaliação melhor do que a mesma ideia mal descrita. Mas o cliente não vai comprar a sua descrição. Muitas ideias que soam ótimas no papel fracassam por motivos que não aparecem no texto: o problema não dói o suficiente, o cliente já tem uma solução boa o bastante, o canal de venda é caro demais.

4. Ele não tem nada em jogo

Rob Fitzpatrick, no livro The Mom Test (2013), explica por que perguntar à sua mãe se a ideia é boa não serve: ela te ama e vai dizer que sim. A regra dele é parar de pedir opiniões sobre o futuro ("você usaria?") e perguntar sobre o passado e o presente ("como você resolve isso hoje? quanto gastou com isso no último mês?"). O chat de IA é a mãe perfeita: sempre disponível, sempre gentil e sem pagar nada pela resposta. Um "sim" que não custa nada não prova nada. Veja também o cliente diz que compraria e não compra.

5. Ele dá o mesmo conselho para todo mundo

Quando milhares de fundadores pedem a mesma ferramenta para melhorar suas ideias, as ideias ficam parecidas. Um estudo publicado na Science Advances (Doshi e Hauser, 2024) encontrou que histórias escritas com ajuda de IA eram avaliadas como mais criativas individualmente, mas eram mais parecidas entre si. Para quem precisa se diferenciar, convergir para o conselho médio é um risco.

6. Ele aprendeu com os vencedores

O material de que a IA aprendeu tem muito mais histórias de startups que deram certo do que de startups que fracassaram em silêncio. Isso é o viés de sobrevivência: o fracasso comum, por falta de demanda, rende poucos artigos. A IA tende a reconhecer na sua ideia os padrões das histórias de sucesso, que são as que ela mais leu. Veja viés de amostragem.

O que conta como evidência

Nem toda informação vale o mesmo para validar uma ideia. Uma forma útil de pensar é uma escada, da evidência mais fraca para a mais forte:

Degrau Exemplo O que prova
1. Opinião sua "Eu usaria" Que você gosta da ideia
2. Opinião de quem quer agradar Amigos, família, chat de IA com a sua opinião na pergunta Que eles gostam de você (ou que a pergunta foi enviesada)
3. Opinião de especialistas Mentor, consultor, IA com pergunta neutra Que a ideia é plausível segundo o que eles sabem
4. Relato do problema Entrevistas sobre como o cliente resolve o problema hoje Que o problema existe e quanto ele custa
5. Reação a alternativas Público reagindo a opções sem saber qual é a sua, em teste ou simulação Qual opção tende a atrair mais, para quem e por quê
6. Compromisso pequeno Cadastro, lista de espera, agendamento de demonstração Que há interesse suficiente para agir
7. Compromisso real Pré-venda, pagamento, troca de fornecedor Que alguém paga

A IA com bajulação fica no degrau 2. A IA com uma pergunta bem feita sobe para o 3. Para passar do 3, é preciso sair da opinião e ir para o comportamento.

Onde a IA ajuda de verdade

Nada disso torna a IA inútil para validar ideias. Ela só precisa trabalhar para o teste, e não no lugar dele.

Listar as premissas

Toda ideia de negócio depende de algumas afirmações que precisam ser verdadeiras. A IA é ótima para encontrá-las, especialmente se você pedir de forma neutra.

Abaixo está a descrição de um negócio. Liste as cinco afirmações das quais ele mais depende para dar certo (sobre clientes, preço, canal, concorrência e custo). Para cada uma, diga como testá-la em até duas semanas, gastando menos de R$ 2 mil.

Fazer o pre-mortem

Imagine que este negócio fechou 18 meses depois de abrir. Conte a história mais provável do fracasso, com as três causas principais.

Veja como fazer um pre-mortem.

Preparar entrevistas sem induzir

A IA ajuda a escrever um roteiro de entrevista que segue as regras do Mom Test: perguntas sobre comportamento passado, sem apresentar a solução cedo demais.

Escreva um roteiro de entrevista de 30 minutos com [público] sobre [problema]. Regras: não mencione a minha solução; pergunte sobre situações reais e recentes; inclua perguntas sobre quanto tempo e dinheiro gastam hoje com o problema.

Veja entrevista em profundidade e perguntas de pesquisa sem induzir.

Analisar o que os clientes disseram

Depois de dez ou vinte entrevistas, a IA organiza as transcrições, agrupa os temas e encontra padrões, desde que você peça também o que contradiz a sua hipótese.

Abaixo estão as transcrições de 12 entrevistas. Liste os temas mais frequentes e, separadamente, todos os trechos que contradizem a hipótese de que [hipótese]. Não resuma esses trechos: cite-os literalmente.

Simular a reação de um público

Existe uma diferença importante entre perguntar a um chat "o que você acha da minha ideia?" e simular como um público reage a ela. Desde estudos como o de Argyle e colegas (2023), pesquisadores testam modelos de linguagem para representar respostas de grupos de pessoas, com resultados promissores em alguns temas e limitações claras em outros.

Uma simulação bem desenhada evita boa parte dos seis problemas:

Pergunta ao chat Simulação de público
Um interlocutor, que lê a sua opinião Muitas pessoas sintéticas com perfis diferentes, que não sabem o que você prefere
Julga uma ideia isolada ("é boa?") Compara alternativas ("qual destas você escolheria?")
Uma resposta média Uma distribuição de reações, por perfil
"Tem potencial" Quem escolheu o quê, e as razões de cada um

Mas é preciso ser honesto sobre o que a simulação é: uma estimativa, no degrau 5 da escada, não um pagamento. Ela serve para comparar opções e descobrir o que testar no mundo real primeiro, com mais rapidez e menos custo do que uma pesquisa tradicional. Não substitui a pré-venda, e quem promete o contrário está vendendo certeza que ninguém tem. Veja IA na pesquisa de mercado.

Um roteiro de validação em sete passos

Juntando as peças, um roteiro que usa a IA em cada etapa, sem deixar que ela dê o veredito:

Validar uma ideia com IA, do jeito certo

  1. Escreva a ideia em uma frase: para quem, qual problema, qual solução, por que agora.
  2. Liste as premissas com a IA, em pergunta neutra, e escolha as duas mais arriscadas: as que, se forem falsas, matam o negócio.
  3. Faça cinco a dez entrevistas com pessoas do público, com um roteiro preparado com a IA e sem apresentar a solução.
  4. Analise as entrevistas com a IA, pedindo explicitamente o que contradiz a sua hipótese.
  5. Compare alternativas com o público: diferentes propostas de valor, preços ou formatos, apresentados a pessoas reais ou a um público simulado, sem dizer qual é a sua favorita.
  6. Peça um compromisso pequeno com a alternativa vencedora: uma página com cadastro, uma lista de espera, um agendamento.
  7. Peça um compromisso real: pré-venda, piloto pago, carta de intenção. Só esse degrau responde se a ideia é boa.

Os passos 1 a 5 cabem em duas ou três semanas e custam pouco. Os passos 6 e 7 são o MVP. O guia completo está em como validar uma ideia de negócio.

Sinais de que você está usando a IA para se convencer

  • Você fez a pergunta mais de uma vez, com redações diferentes, até receber a resposta que queria.
  • Você pediu "argumentos a favor" e não pediu os contrários.
  • Você usou a resposta da IA para convencer um sócio ou investidor.
  • Você sabe tudo o que a IA acha da ideia e nada do que dez clientes acham.
  • A conversa deixou você mais animado, mas você não aprendeu nenhum fato novo sobre o mercado.

Se reconheceu dois ou mais, a IA está servindo de torcida. Torcida é bom para o ânimo, mas não para decidir onde colocar dinheiro e tempo.

A IA pode dizer se a sua ideia faz sentido. Só o cliente pode dizer se ela vende.

Posso usar o ChatGPT ou outra IA para validar minha ideia de negócio?

Pode usar para preparar a validação: listar premissas, fazer o pre-mortem, escrever roteiros de entrevista e analisar respostas. Não use a opinião do chat como prova de que a ideia é boa, porque ele tende a concordar com quem pergunta e não conhece o seu cliente.

Por que a IA sempre diz que minha ideia é boa?

Porque os assistentes de IA são ajustados com avaliações de pessoas, que preferem respostas que concordam com elas. O modelo aprende a perceber o seu entusiasmo na pergunta e a responder no mesmo tom. O efeito se chama sycophancy, ou bajulação de IA.

Como fazer a IA avaliar minha ideia de forma imparcial?

Diga que a ideia é de outra pessoa, não revele que gosta dela, peça a melhor defesa e a melhor crítica com o mesmo tamanho e defina os critérios de avaliação antes. Mesmo assim, a resposta continua sendo uma opinião, não evidência sobre o mercado.

Qual a diferença entre perguntar à IA e simular um público com IA?

Perguntar ao chat produz a opinião de um único interlocutor que lê a sua preferência. Uma simulação de público coloca alternativas diante de muitas pessoas sintéticas com perfis diferentes, que não sabem qual opção é a sua, e mostra a distribuição das escolhas e as razões. Ainda é uma estimativa, útil para priorizar o que testar no mundo real.

O que é o Mom Test?

É o método do livro de Rob Fitzpatrick (2013) para entrevistar clientes sem receber respostas gentis e inúteis. A regra principal é perguntar sobre o comportamento passado e presente do cliente, e não sobre o que ele faria no futuro, nem se ele gosta da sua ideia.

Qual a melhor prova de que uma ideia é boa?

Um compromisso real de quem compraria: pagamento antecipado, piloto pago, carta de intenção ou troca de fornecedor. Opiniões, inclusive da IA, ajudam a decidir o que testar, mas não substituem alguém disposto a pagar.

validar ideia com IAvalidação de ideiasycophancystartupspesquisa de mercadoMVP

Este artigo foi útil?Compartilhe com quem está tomando uma decisão parecida.

Teste a ideia antes de investir nela.

O SymDot simula milhares de pessoas do seu público decidindo, uma a uma, e mostra o que funciona, para quem e até onde confiar.

Começar agora