Inteligência
artificial com critério.

Descubra onde a IA acerta e onde tropeça

Imagine que uma IA organizou quarenta comentários de clientes em três temas úteis e, no parágrafo seguinte, errou a soma dos pedidos. Qual parte desse trabalho você aceitaria entregar de novo?

Desenhe a fronteira no seu próprio trabalho

Mollick chama de fronteira irregular a distribuição desigual das capacidades da IA. Duas tarefas que parecem igualmente simples para uma pessoa podem produzir resultados muito diferentes no mesmo sistema. A fronteira também se desloca quando mudam o modelo, as ferramentas disponíveis e o contexto fornecido. A experiência de ontem serve como hipótese para um novo teste.

Um modelo de linguagem produz sequências de tokens, unidades em que o texto é dividido. O treinamento aprende regularidades e o ajuste posterior influencia o tipo de resposta que o sistema oferece. Isso ajuda a explicar por que ele consegue imitar bem o formato de um relatório mesmo quando falta o dado essencial para escrevê-lo. Uma calculadora ou uma busca conectada pode mudar o resultado. Para revisar, você precisa saber que recurso foi efetivamente usado e conferir sua saída.

Oficina de triagem de pedidos

Use estas três mensagens fictícias de uma loja de bairro. Decida primeiro, por conta própria, o que já está confirmado. Esse pequeno gabarito permite avaliar a IA mesmo que ela escreva com mais fluidez que você.

Analise as três mensagens abaixo. Para cada uma, apresente o pedido expresso, o trecho que sustenta a leitura, o que falta verificar e a próxima ação. Use “pendente” quando faltar confirmação. Não suponha acesso ao estoque nem aos pagamentos.
[cole as três mensagens]

Repita o teste em uma conversa nova, desta vez substituindo “confirmo” por “estou pensando em levar”. Se a reserva continuar aparecendo como certa, você encontrou uma condição concreta de falha. Guarde a entrada e as duas saídas. Uma nova instrução só merece entrar na rotina depois de funcionar também em um caso que você guardou de fora do ajuste.

Conexão com o livro · Capítulos 1–3 · capacidades irregulares, escala e funcionamento dos modelos.

Transforme uma resposta convincente em uma investigação

A melhor pergunta de revisão costuma aparecer quando você identifica a decisão que uma resposta mudaria. Quem vai agir? Que fato precisa ser verdadeiro? O que aconteceria se a hipótese estivesse errada?

Investigue uma afirmação, uma conta e uma conclusão

Uma papelaria fictícia anotou 80 pedidos e 16 atrasos em maio, contra 120 pedidos e 18 atrasos em junho. O dono instalou um assistente em junho. Ele pede à IA uma legenda dizendo que a tecnologia “reduziu os atrasos em 25%”. Antes de escrever, classifique os pedaços dessa frase. A quantidade de pedidos atrasados é um fato registrado. O percentual é um cálculo. A explicação da mudança é uma hipótese causal.

1. Refaça a conta. Maio teve 16 ÷ 80 = 20% de pedidos atrasados. Junho teve 18 ÷ 120 = 15%. A queda foi de 5 pontos percentuais, equivalente a 25% de redução relativa na taxa. A quantidade absoluta de atrasos subiu de 16 para 18.
2. Procure outra explicação. Junho pode ter concentrado mais retiradas no balcão ou pedidos mais simples. Separe por canal e complexidade nos dois meses. Defina “atraso” de forma idêntica em ambos.
3. Reescreva o que cabe afirmar. “Em junho, 15 de cada 100 pedidos atrasaram, ante 20 de cada 100 em maio. Estamos investigando o que mudou.” A frase preserva a observação e deixa a causa em aberto.

Reveja minha conclusão como alguém que terá de decidir se investe neste processo. Separe afirmações em dado fornecido, cálculo reproduzível e interpretação. Para cada interpretação, proponha uma explicação concorrente e o menor teste que permitiria distingui-las. Mostre o denominador de cada taxa. Se faltar evidência, formule a pergunta que devo levar à equipe.

Peça evidência verificável

Se uma resposta mencionar uma pesquisa, procure o documento original, a data e a parte que sustenta a afirmação. Confira quem foi estudado, como o resultado foi medido e em que condições. Um resultado sobre uma turma, em uma tarefa específica, raramente basta para prever o efeito em uma empresa inteira. Assinale “fonte ainda não localizada” quando a busca não chegar ao documento. Pedir ao mesmo sistema que repita a resposta com mais confiança não cria evidência adicional.

Conexão com o livro · Capítulos 3, 4 e 9 · contexto, verificação e concordância excessiva.

Escolha como dividir o trabalho

A mesma reunião de condomínio pode pedir três formas de trabalhar com IA. A escolha depende do que você conhece, da facilidade de conferir a saída e de quanto custa corrigir um erro.

Experimente três divisões de trabalho

No modo centauro, pessoa e IA assumem partes distintas. Você conversa com os moradores e decide quais conflitos precisam de espaço na pauta. O modelo organiza os tópicos que você aprovou. Você preserva a autoria do julgamento e confere se a organização mudou o sentido de alguma fala.

No modo ciborgue, vocês alternam contribuições curtas. Peça uma abertura para a reunião, risque a frase que parece acusatória, explique o mal-entendido e teste uma alternativa. Essa interação é útil quando o que você quer só fica claro depois de ver e criticar uma primeira tentativa.

No terceiro modo, que Mollick chama de conjurer, você delega uma entrega delimitada. Forneça anotações sem identificadores e peça um rascunho completo para revisão. A autonomia aumenta o peso da especificação inicial e do teste final. Se houver uma ferramenta capaz de enviar o documento, distinga a permissão para prepará-lo da autorização para enviá-lo.

Um briefing que dá para testar

Prepare uma pauta de 30 minutos para o conselho, a partir das notas anexas. Para cada item, indique duração, pergunta a decidir e trecho de origem. O total deve ser 30 minutos. Marque propostas sem decisão como “em discussão”. Use apenas as notas. Entregue um rascunho aqui para revisão e não envie mensagens.

Notas fictícias: a troca das lâmpadas foi aprovada. O portão tem dois orçamentos ainda em análise. A pintura será discutida após a vistoria. Há cinco minutos reservados para perguntas gerais.

Confira se os tempos somam 30, se os cinco minutos aparecem e se as três situações mantêm estados distintos. Uma boa revisão também pergunta se a pauta deixa aos moradores tempo para decidir. Distribuir cinco minutos para analisar dois orçamentos complexos pode cumprir a conta e ainda assim produzir uma reunião ruim.

Conexão com o livro · Capítulo 4 · colaboração por partes, interação contínua e delegação com revisão.

Use seu repertório para dirigir a criação

A IA pode sugerir vinte ideias para uma exposição, mas só quem escuta os moradores sabe que uma fotografia, aparentemente comum, marca a última festa antes de uma praça fechar. Há decisões criativas que dependem desse contato.

Onde entra o seu repertório

Mollick discute quatro vantagens humanas que podem orientar o trabalho: conhecimento profundo de um domínio, amplitude de repertório, critério para escolher e iniciativa para agir. Em uma exposição de bairro, a profundidade permite reconhecer uma legenda historicamente errada. A amplitude aproxima uma técnica de rádio comunitária da fotografia. O critério orienta a escolha de uma sequência que o público consegue acompanhar. A iniciativa aparece quando você procura quem fez a imagem e combina sua participação.

Produza variações que realmente diferem

Esboce primeiro uma ideia sua, por exemplo, apresentar a história da praça do ponto de vista de quem trabalha de manhã. Só depois peça à IA três abordagens com princípios diferentes. Isso lhe dá uma referência anterior à lista que o sistema tende a tornar mais saliente. Evite selecionar dez títulos que contam a mesma história com adjetivos diferentes.

Tenho um espaço para seis fotografias e dois minutos de áudio sobre uma praça de bairro. Minha ideia inicial acompanha quem trabalha ali pela manhã. Proponha três maneiras de organizar a exposição: uma por percurso físico, outra por conflito de memórias e uma terceira por mudança ao longo do dia. Para cada uma, diga qual material precisaria existir, o que poderia se perder e qual pergunta eu deveria fazer a um morador. Não invente entrevistas ou fatos locais.

Agora faça uma crítica com critérios observáveis. “Preferi a segunda” pouco ajuda. “A segunda depende de dois relatos que ainda não temos; a terceira funciona com nossas seis fotos, mas precisa de um som de transição” produz uma próxima ação. Escolha uma opção, acrescente um detalhe recolhido por você e explique por que rejeitou outra. Peça a uma pessoa do público que reconte a ideia depois de vê-la. Ouça onde ela se perdeu.

Conexão com o livro · Introdução e capítulos 5–6 · autoria, julgamento e geração de alternativas.

Leve uma hipótese de negócio até o balcão

Da conversa com o cliente ao primeiro pedido pago

Camila tem uma gráfica de bairro em Campinas. Quando o preço de um prato muda, alguns restaurantes vizinhos pedem uma reimpressão do cardápio. Ela pensa em oferecer pequenos lotes com prazo combinado. A IA pode ajudá-la a preparar entrevistas, comparar opções e revisar uma proposta. Para saber se alguém pagaria pelo serviço, Camila precisa observar o que os donos dos restaurantes fazem e apresentar uma oferta que eles possam aceitar.

Descubra o que aconteceu na última compra

Camila conversa com cinco restaurantes de portes diferentes. Abre cada conversa com “Quando você precisou alterar o cardápio pela última vez, o que fez?”. Depois pergunta quem autorizou o gasto, quantos exemplares foram necessários e o que aconteceu enquanto esperavam. Se a pessoa disser “foi caro”, pergunta com que outra solução ela comparou o preço. Anota as respostas com códigos como R1 e R2 e preserva as palavras que explicam a decisão de compra.

Num cenário hipotético, três entrevistados contam que imprimiram folhas avulsas por causa do lote mínimo da gráfica que costumam usar. Dois dizem que preferem fazer isso na própria impressora. Camila registra a primeira observação como pista sobre o tamanho do lote e a segunda como uma alternativa que o cliente já tem à mão. Cinco conversas ajudam a definir um teste local. Seria cedo para estimar o tamanho do mercado.

Vou colar anotações anônimas de cinco entrevistas. Organize por episódio de compra, solução usada, dificuldade e motivo declarado. Em cada linha indique de qual entrevista veio a informação. Marque como “a investigar” qualquer inferência. Procure um relato que enfraqueça a ideia de vender lotes pequenos. Termine com duas perguntas para minha próxima visita.

Confira as linhas com as anotações originais. Se a IA escrever que R2 “pagaria a mais pela rapidez” e R2 tiver mencionado apenas uma espera longa, volte ao restaurante com uma pergunta sobre a compra anterior. Essa diferença muda tanto a proposta quanto o preço que vale testar.

Transforme a hipótese em uma oferta que cabe na bancada

Camila oferece a dez restaurantes um lote de dez cardápios plastificados por R$ 79, com retirada na loja. O restaurante entrega o arquivo pronto e aprova uma prova digital antes da impressão. A proposta informa tamanho, acabamento, uma rodada de correções e data de retirada combinada após a aprovação. Camila registra quantas propostas foram feitas, quantas viraram pedidos pagos e quantos trabalhos precisaram ser refeitos. Um elogio entra nas observações da entrevista.

A conta é 79 − (20 + 4 + 5 + 10) = R$ 40, cerca de 51% do preço. Preparar amostras e visitar os restaurantes custa R$ 160 no total, já incluindo o tempo de prospecção. Quatro pedidos cobrem esse investimento inicial. Com sete pedidos pagos, sobram 7 × 40 − 160 = R$ 120 antes das despesas gerais da gráfica. Se o papel encarecer R$ 8 por pedido, a contribuição cai para R$ 32 e serão necessários cinco pedidos para cobrir os mesmos R$ 160.

Três maneiras de transformar a prática em uma oferta

A gráfica usa IA dentro de um negócio existente. Você também pode vender um serviço por entrega ou cobrar por uma operação recorrente. Em cada modelo, escreva o que o cliente recebe, quem confere a qualidade e o que justificaria uma segunda compra. Use os exemplos a seguir para rascunhar propostas e conversar com possíveis compradores.

Teste de diferenciação. Pergunte ao comprador como ele resolve o problema hoje, quanto trabalho ainda sobra depois da sua entrega e por que voltaria a pagar. Se o valor estiver na sua revisão especializada, mostre um erro que ela evitou. Se estiver no conhecimento do bairro, descreva uma decisão que exigiu observação local. Esses elementos ajudam a formular uma oferta concreta.

Conexão com o livro · Capítulos 6–8 · exploração de alternativas, empreendedorismo, trabalho e prototipagem.

Meça o que mudou no trabalho inteiro

Delegue uma etapa e meça o trabalho inteiro

Na mesma gráfica, os pedidos chegam em mensagens picadas. Uma pessoa lê a conversa, identifica o serviço, pergunta o que falta e só então abre a ordem de produção. Camila quer descobrir se a IA consegue preparar esse rascunho com menos trabalho. Uma resposta que ficou pronta em cinco segundos ainda pode exigir vários minutos de conferência. A unidade de medida do teste será uma ficha pronta para revisão final, com os erros e o tempo de correção contabilizados.

Desenhe o caminho de um pedido

1. Receber. A atendente separa apenas as mensagens sobre quantidade, produto, acabamento, arquivo e prazo solicitado. Antes de usar uma ferramenta externa, remove telefone, nome e endereço. O pedido recebe um código local. Para treinar, é suficiente criar mensagens fictícias.
2. Extrair. A IA preenche uma ficha com esses cinco campos. Ao lado de cada valor, inclui o trecho que o sustenta. Datas relativas continuam escritas como chegaram até que alguém confirme a data de referência.
3. Conferir. A atendente compara a ficha com a conversa. Se houver uma quantidade corrigida ou duas versões de arquivo, registra a divergência e pede a confirmação necessária. O arquivo de arte também precisa passar por uma conferência própria.
4. Autorizar. Camila consulta a tabela de preços e a fila de produção antes de assumir preço ou prazo. Só uma ficha aprovada segue para a equipe e para a resposta ao cliente.

Experimente com um pedido que mudou no meio da conversa

Leia as três mensagens na ordem em que chegaram. “Preciso de 30 cardápios plastificados.” “Corrigindo, são 20. A arte mando amanhã.” “Dá para retirar sexta?”. Antes de usar a IA, preencha sua própria ficha e escreva uma pergunta que a atendente poderia fazer. Guarde esse registro para comparar com a saída do modelo.

Extraia produto, quantidade vigente, acabamento, situação do arquivo e prazo solicitado das mensagens abaixo, na ordem de chegada. Ao lado de cada campo, copie o menor trecho que justifica sua leitura. Separe correções de informações ainda ambíguas. Quando faltar um dado, escreva “pendente”. Termine com uma pergunta curta para o cliente. Deixe a confirmação de prazo e preço para a atendente.

Compare duas formas de trabalhar

Monte uma amostra de vinte pedidos anônimos, incluindo mensagens com correções, prazos ambíguos e campos ausentes. Duas pessoas processam os mesmos vinte casos. Em cada caso, uma trabalha manualmente e a outra usa IA. Elas trocam de método na metade da amostra. Assim, cada pessoa experimenta os dois métodos e ninguém resolve o mesmo pedido duas vezes. Uma terceira pessoa confere os resultados usando fichas de referência preparadas antecipadamente.

O tempo caiu 46 minutos, cerca de 26%. A ficha com erro no processo assistido transformou um pedido de retirada em prazo confirmado. Ela já está incluída na contagem de uma ficha com erro. Se a regra combinada era economizar pelo menos 20% do tempo e manter zero promessas indevidas, o ganho de velocidade satisfaz apenas parte do critério.

Conexão com o livro · Capítulos 2, 4 e 7 · escala, custo da revisão e gargalos no trabalho.

Construa um tutor que devolve a pergunta

Um tutor pode melhorar o texto que você entrega hoje e ainda deixar uma dúvida sobre o que conseguirá fazer amanhã. Para distinguir as duas coisas, planeje uma tentativa posterior sem ajuda.

Ensine o tutor a esperar

Escolha uma habilidade específica. “Entender planilhas” é amplo demais para medir. “Conseguir explicar por que dois percentuais mensais não podem ser somados diretamente” permite preparar um problema novo. Faça uma tentativa individual, anote sua previsão e só então peça uma pista. Um bom tutor consegue localizar o ponto em que o raciocínio saiu do trilho e propor uma pergunta menor.

Atue como tutor de interpretação de dados. Peça minha tentativa antes de explicar. Use uma pergunta por vez. Se eu errar, identifique a etapa provável da confusão e ofereça uma pista que eu possa testar. Só dê a solução completa se eu pedir. No fim, proponha um problema com números e contexto diferentes para eu resolver sozinho.

Teste de transferência

Uma mediadora realizou duas oficinas. Na primeira, 8 das 10 pessoas inscritas compareceram. Na segunda, compareceram 3 das 5 inscritas. Que fração dos inscritos participou no conjunto das duas oficinas? Tente sem ajuda e explique o denominador.

Para testar a transferência, feche o tutor e mude de situação. Um ateliê entregou no prazo 9 de 12 encomendas numa semana e 18 de 20 na outra. Calcule o percentual conjunto e diga por que ele não descreve sozinho a experiência de cada cliente.

Esse método também serve para revisar um e-mail difícil, preparar uma apresentação e aprender um conceito técnico. Faça uma primeira versão sozinho, peça uma crítica pontual, refaça e repita em outro contexto. Observe qual etapa você já explica sem abrir o aplicativo. O ganho que importa aqui é retenção e transferência.

Conexão com o livro · Capítulos 5 e 8 · esforço de aprendizagem, tutoria e avaliação da capacidade própria.

Decida o que uma IA pode fazer em seu nome

Um assistente que organiza uma compra pode poupar tempo e também dirigir sua atenção para as opções que consegue ver. Antes de delegar uma escolha, defina quais interesses, informações e permissões entram nela.

Examine a recomendação e quem fica de fora

Imagine que uma associação precise alugar um projetor. Uma empresa anuncia R$ 180 com retirada às 9h, outra cobra R$ 210 com entrega às 7h30. O evento começa às 8h. Um terceiro fornecedor só responde por telefone. Se você pedir apenas “qual é o mais barato?”, a primeira opção parece vencedora. A limitação relevante é conseguir montar e testar o equipamento antes do início. O modelo pode montar uma tabela comparável, enquanto alguém verifica disponibilidade, cabos e condições com cada fornecedor.

Compare os orçamentos que vou fornecer para um evento às 8h. Separe preço, horário confirmado, custo de deslocamento e condição que ainda depende de contato. Deixe campos desconhecidos em branco. Apresente uma objeção à opção que parece melhor. Faça uma lista das perguntas que uma pessoa deve responder antes de contratar. Prepare apenas a comparação.

Para a versão que só pesquisa, bastam os orçamentos sem dados pessoais. Uma versão com permissão para comprar, enviar e-mails ou acessar seu calendário envolve outra decisão. Dê a cada etapa o mínimo de acesso necessário, identifique quem pode aprovar gastos e guarde um registro legível do que foi consultado e decidido. Uma mensagem em tom acolhedor pode facilitar a conversa e também tornar uma sugestão mais convincente do que seus dados justificam.

Julgue comportamentos observáveis

O livro discute o problema de alinhar o comportamento da IA aos objetivos das pessoas e a incerteza sobre a experiência interna dessas máquinas. Quando um sistema diz “eu entendo exatamente o que você precisa”, trate isso como uma fala a avaliar. Mude a condição de horário, peça que exponha uma lacuna e veja se muda a escolha. Esses testes informam o uso prático mesmo sem resolver questões filosóficas sobre consciência.

Planeje para mais de um futuro

Escreva duas hipóteses para rever seu projeto em um mês. Se a assistência melhorar pouco, um bom conjunto de casos de teste e um canal manual preservam a operação. Se melhorar depressa, o mesmo conjunto permite ampliar o piloto quando os resultados justificarem. Defina um sinal para avançar, um para recuar e uma pessoa com autoridade para interromper. A decisão fica ligada ao desempenho observado e pode ser revista quando a tecnologia ou o trabalho mudarem.

Conexão com o livro · Capítulos 9–11 e encerramento · persuasão, alinhamento, incerteza e cenários futuros.