Validar ideia com IA: por que perguntar ao chat se ela é boa é o pior teste
Perguntar à IA se sua ideia é boa quase sempre rende um sim. Entenda por quê, o que conta como evidência e como usar a IA para validar uma ideia de verdade.
Experimente agora: descreva uma ideia de negócio para um chat de IA e pergunte o que ele acha. Depois, em outra conversa, descreva a ideia oposta. Há uma boa chance de as duas serem "promissoras", com "potencial interessante" e "alguns desafios a considerar".
Isso não significa que as duas são boas. Significa que perguntar à IA se uma ideia é boa não é um teste. É uma conversa com um interlocutor que, por construção, tende a concordar com você.
Este guia explica por que esse atalho falha, o que conta como evidência de que uma ideia funciona e como validar uma ideia com IA do jeito certo, usando a ferramenta naquilo em que ela é boa.
O teste que você pode fazer em cinco minutos
Antes da teoria, a prática. Faça este experimento com a ferramenta que você usa:
O experimento do espelho
- Abra uma conversa e escreva: "Tenho uma ideia de negócio que me empolga muito: [ideia]. O que acha?"
- Abra uma segunda conversa, sem histórico, e escreva: "Um conhecido me apresentou esta ideia e eu tenho minhas dúvidas: [mesma ideia]. O que acha?"
- Compare o tom, a quantidade de críticas e a recomendação final.
Se as respostas forem diferentes, você acabou de medir a influência da sua opinião sobre a avaliação. A ideia é a mesma; mudou só o que a pergunta revelava sobre você. Pesquisadores mediram esse efeito em vários modelos: a avaliação de um texto fica mais positiva quando o usuário diz que gosta dele ou que é o autor (Sharma e colegas, 2023).
Seis motivos pelos quais o chat é um mau avaliador de ideias
1. Ele tende a concordar com quem pergunta
É o efeito mais conhecido, chamado sycophancy, ou bajulação de IA. Os assistentes são ajustados com avaliações de pessoas, e pessoas preferem respostas que concordam com elas. O modelo aprende a detectar o que você quer ouvir e a entregar isso. Quem tem uma ideia raramente pergunta sobre ela com neutralidade. Veja o guia sobre sycophancy.
2. Ele não conhece o seu cliente
Mesmo sem bajulação, a IA responde com base no que leu: um cliente médio, montado a partir de textos da internet. Ela não sabe quanto o dono de uma padaria em Ribeirão Preto paga hoje pelo sistema de caixa, o que o irrita nele ou o que o faria trocar. Ela vai supor algo plausível, e o plausível é exatamente o que você já tinha imaginado.
3. Ele avalia o pitch, não o mercado
O que a IA recebe é a sua descrição da ideia. Uma descrição bem escrita, com problema claro e solução elegante, recebe uma avaliação melhor do que a mesma ideia mal descrita. Mas o cliente não vai comprar a sua descrição. Muitas ideias que soam ótimas no papel fracassam por motivos que não aparecem no texto: o problema não dói o suficiente, o cliente já tem uma solução boa o bastante, o canal de venda é caro demais.
4. Ele não tem nada em jogo
Rob Fitzpatrick, no livro The Mom Test (2013), explica por que perguntar à sua mãe se a ideia é boa não serve: ela te ama e vai dizer que sim. A regra dele é parar de pedir opiniões sobre o futuro ("você usaria?") e perguntar sobre o passado e o presente ("como você resolve isso hoje? quanto gastou com isso no último mês?"). O chat de IA é a mãe perfeita: sempre disponível, sempre gentil e sem pagar nada pela resposta. Um "sim" que não custa nada não prova nada. Veja também o cliente diz que compraria e não compra.
5. Ele dá o mesmo conselho para todo mundo
Quando milhares de fundadores pedem a mesma ferramenta para melhorar suas ideias, as ideias ficam parecidas. Um estudo publicado na Science Advances (Doshi e Hauser, 2024) encontrou que histórias escritas com ajuda de IA eram avaliadas como mais criativas individualmente, mas eram mais parecidas entre si. Para quem precisa se diferenciar, convergir para o conselho médio é um risco.
6. Ele aprendeu com os vencedores
O material de que a IA aprendeu tem muito mais histórias de startups que deram certo do que de startups que fracassaram em silêncio. Isso é o viés de sobrevivência: o fracasso comum, por falta de demanda, rende poucos artigos. A IA tende a reconhecer na sua ideia os padrões das histórias de sucesso, que são as que ela mais leu. Veja viés de amostragem.
O que conta como evidência
Nem toda informação vale o mesmo para validar uma ideia. Uma forma útil de pensar é uma escada, da evidência mais fraca para a mais forte:
| Degrau | Exemplo | O que prova |
|---|---|---|
| 1. Opinião sua | "Eu usaria" | Que você gosta da ideia |
| 2. Opinião de quem quer agradar | Amigos, família, chat de IA com a sua opinião na pergunta | Que eles gostam de você (ou que a pergunta foi enviesada) |
| 3. Opinião de especialistas | Mentor, consultor, IA com pergunta neutra | Que a ideia é plausível segundo o que eles sabem |
| 4. Relato do problema | Entrevistas sobre como o cliente resolve o problema hoje | Que o problema existe e quanto ele custa |
| 5. Reação a alternativas | Público reagindo a opções sem saber qual é a sua, em teste ou simulação | Qual opção tende a atrair mais, para quem e por quê |
| 6. Compromisso pequeno | Cadastro, lista de espera, agendamento de demonstração | Que há interesse suficiente para agir |
| 7. Compromisso real | Pré-venda, pagamento, troca de fornecedor | Que alguém paga |
A IA com bajulação fica no degrau 2. A IA com uma pergunta bem feita sobe para o 3. Para passar do 3, é preciso sair da opinião e ir para o comportamento.
Onde a IA ajuda de verdade
Nada disso torna a IA inútil para validar ideias. Ela só precisa trabalhar para o teste, e não no lugar dele.
Listar as premissas
Toda ideia de negócio depende de algumas afirmações que precisam ser verdadeiras. A IA é ótima para encontrá-las, especialmente se você pedir de forma neutra.
Abaixo está a descrição de um negócio. Liste as cinco afirmações das quais ele mais depende para dar certo (sobre clientes, preço, canal, concorrência e custo). Para cada uma, diga como testá-la em até duas semanas, gastando menos de R$ 2 mil.
Fazer o pre-mortem
Imagine que este negócio fechou 18 meses depois de abrir. Conte a história mais provável do fracasso, com as três causas principais.
Veja como fazer um pre-mortem.
Preparar entrevistas sem induzir
A IA ajuda a escrever um roteiro de entrevista que segue as regras do Mom Test: perguntas sobre comportamento passado, sem apresentar a solução cedo demais.
Escreva um roteiro de entrevista de 30 minutos com [público] sobre [problema]. Regras: não mencione a minha solução; pergunte sobre situações reais e recentes; inclua perguntas sobre quanto tempo e dinheiro gastam hoje com o problema.
Veja entrevista em profundidade e perguntas de pesquisa sem induzir.
Analisar o que os clientes disseram
Depois de dez ou vinte entrevistas, a IA organiza as transcrições, agrupa os temas e encontra padrões, desde que você peça também o que contradiz a sua hipótese.
Abaixo estão as transcrições de 12 entrevistas. Liste os temas mais frequentes e, separadamente, todos os trechos que contradizem a hipótese de que [hipótese]. Não resuma esses trechos: cite-os literalmente.
Simular a reação de um público
Existe uma diferença importante entre perguntar a um chat "o que você acha da minha ideia?" e simular como um público reage a ela. Desde estudos como o de Argyle e colegas (2023), pesquisadores testam modelos de linguagem para representar respostas de grupos de pessoas, com resultados promissores em alguns temas e limitações claras em outros.
Uma simulação bem desenhada evita boa parte dos seis problemas:
| Pergunta ao chat | Simulação de público |
|---|---|
| Um interlocutor, que lê a sua opinião | Muitas pessoas sintéticas com perfis diferentes, que não sabem o que você prefere |
| Julga uma ideia isolada ("é boa?") | Compara alternativas ("qual destas você escolheria?") |
| Uma resposta média | Uma distribuição de reações, por perfil |
| "Tem potencial" | Quem escolheu o quê, e as razões de cada um |
Mas é preciso ser honesto sobre o que a simulação é: uma estimativa, no degrau 5 da escada, não um pagamento. Ela serve para comparar opções e descobrir o que testar no mundo real primeiro, com mais rapidez e menos custo do que uma pesquisa tradicional. Não substitui a pré-venda, e quem promete o contrário está vendendo certeza que ninguém tem. Veja IA na pesquisa de mercado.
Um roteiro de validação em sete passos
Juntando as peças, um roteiro que usa a IA em cada etapa, sem deixar que ela dê o veredito:
Validar uma ideia com IA, do jeito certo
- Escreva a ideia em uma frase: para quem, qual problema, qual solução, por que agora.
- Liste as premissas com a IA, em pergunta neutra, e escolha as duas mais arriscadas: as que, se forem falsas, matam o negócio.
- Faça cinco a dez entrevistas com pessoas do público, com um roteiro preparado com a IA e sem apresentar a solução.
- Analise as entrevistas com a IA, pedindo explicitamente o que contradiz a sua hipótese.
- Compare alternativas com o público: diferentes propostas de valor, preços ou formatos, apresentados a pessoas reais ou a um público simulado, sem dizer qual é a sua favorita.
- Peça um compromisso pequeno com a alternativa vencedora: uma página com cadastro, uma lista de espera, um agendamento.
- Peça um compromisso real: pré-venda, piloto pago, carta de intenção. Só esse degrau responde se a ideia é boa.
Os passos 1 a 5 cabem em duas ou três semanas e custam pouco. Os passos 6 e 7 são o MVP. O guia completo está em como validar uma ideia de negócio.
Sinais de que você está usando a IA para se convencer
- Você fez a pergunta mais de uma vez, com redações diferentes, até receber a resposta que queria.
- Você pediu "argumentos a favor" e não pediu os contrários.
- Você usou a resposta da IA para convencer um sócio ou investidor.
- Você sabe tudo o que a IA acha da ideia e nada do que dez clientes acham.
- A conversa deixou você mais animado, mas você não aprendeu nenhum fato novo sobre o mercado.
Se reconheceu dois ou mais, a IA está servindo de torcida. Torcida é bom para o ânimo, mas não para decidir onde colocar dinheiro e tempo.
A IA pode dizer se a sua ideia faz sentido. Só o cliente pode dizer se ela vende.
Posso usar o ChatGPT ou outra IA para validar minha ideia de negócio?
Pode usar para preparar a validação: listar premissas, fazer o pre-mortem, escrever roteiros de entrevista e analisar respostas. Não use a opinião do chat como prova de que a ideia é boa, porque ele tende a concordar com quem pergunta e não conhece o seu cliente.
Por que a IA sempre diz que minha ideia é boa?
Porque os assistentes de IA são ajustados com avaliações de pessoas, que preferem respostas que concordam com elas. O modelo aprende a perceber o seu entusiasmo na pergunta e a responder no mesmo tom. O efeito se chama sycophancy, ou bajulação de IA.
Como fazer a IA avaliar minha ideia de forma imparcial?
Diga que a ideia é de outra pessoa, não revele que gosta dela, peça a melhor defesa e a melhor crítica com o mesmo tamanho e defina os critérios de avaliação antes. Mesmo assim, a resposta continua sendo uma opinião, não evidência sobre o mercado.
Qual a diferença entre perguntar à IA e simular um público com IA?
Perguntar ao chat produz a opinião de um único interlocutor que lê a sua preferência. Uma simulação de público coloca alternativas diante de muitas pessoas sintéticas com perfis diferentes, que não sabem qual opção é a sua, e mostra a distribuição das escolhas e as razões. Ainda é uma estimativa, útil para priorizar o que testar no mundo real.
O que é o Mom Test?
É o método do livro de Rob Fitzpatrick (2013) para entrevistar clientes sem receber respostas gentis e inúteis. A regra principal é perguntar sobre o comportamento passado e presente do cliente, e não sobre o que ele faria no futuro, nem se ele gosta da sua ideia.
Qual a melhor prova de que uma ideia é boa?
Um compromisso real de quem compraria: pagamento antecipado, piloto pago, carta de intenção ou troca de fornecedor. Opiniões, inclusive da IA, ajudam a decidir o que testar, mas não substituem alguém disposto a pagar.