Desde antes do lançamento do ChatGPT e a liberação da API, muitas empresas já tinham investimentos na tecnologia. Depois do boom das Inteligências Artificiais, houve uma leva de tentativas mais ou menos fraudulentas de tentar ganhar fama e dinheiro.
Com o ChatGPT alcançando 200 milhões de usuários, a tentação ficou grande e outras empresas e empreendedores decidiram tentar a sorte. O boom foi tão sério que a própria Intel teve que admitir que errou.
Porém, entre tentativas e erros, há fraudes e desastres. Talvez a primeira grande fraude que algumas empresas usam é chamar indistintamente de IA ou AGI sem que os usuários entendam o que realmente está em jogo. Por isso, fizemos um artigo explicando a diferença entre IA e AGI.
Além disso, vale destacar que nem todos os desastres aconteceram após o lançamento do ChatGPT. Alguns antecedem o lançamento da ferramenta e outros são concomitantes ao sucesso dela.
Porém, vale o alerta de que nem tudo são sucessos. E nem todos os desastres envolvem uma IA se rebelando contra humanos.
1 – IA e uma péssima gerência
A Antrophic, uma empresa norte-americana especializada em pesquisa e segurança em IA realizou um teste durante um mês. No teste, a empresa entregou o comando de uma máquina de venda automática em seu escritório em São Francisco, nos Estados Unidos, a um modelo de IA apelidado de “Claudius”.
O resultado foi um total fracasso.
A missão da IA era simples: gerar lucro estocando produtos populares, definindo preços, negociando com fornecedores e atendendo clientes. Tarefas físicas, como reabastecimento, eram feitas por humanos, mas todas as decisões estratégicas cabiam à IA.
Para desempenhar a função, Claudius recebeu ferramentas como acesso à internet, um sistema de e-mails simulado, um canal para se comunicar com “clientes”, uma conta em um sistema de pagamento fictício para o experimento e liberdade para decidir o que vender e por quanto.
Durante a operação, a IA tomou decisões que levaram a prejuízos. Por exemplo, ela recusou uma oferta de US$ 100 (R$ 556,83) por um pacote de seis latas de Irn-Bru, um refrigerante escocês que custava apenas US$ 15 (R$ 83,52). A margem de lucro de 567% foi recusada apesar de “lucrar” ser seu objetivo.
Não só, Claudius vendeu produtos com prejuízo. Um funcionário sugeriu estocar cubos de tungstênio e a IA aceitou, comprando por US$ 1.000 (R$ 5.568,3) e os vendendo por US$ 770 (R$ 4.287,59). Posteriormente, ela chegou a oferecer os cubos de graça, assim como outros itens.
2 – Fracasso antigo da Amazon Go
A Amazon teve um dos casos mais famosos com a tecnologia “Just Walk Out”. Suas primeiras lojas eram chamadas Amazon Go e surgiram em 2016. A ideia era que os estabelecimentos tivessem várias câmeras instaladas e os clientes pagavam sem contato com humano.
Em tese, as lojas eram 100% automatizadas, e o termo IA não era tão comum. Porém, a prática era bem diferente.
As lojas contrataram mais de mil funcionários na Índia para assistirem aos vídeos das câmeras de segurança a fim de garantir que as vendas estavam corretas.
Aquilo que era para ser uma medida se segurança extrapolou para a centralidade do funcionamento do sistema. Um dos problemas, inclusive, é que o trabalho remoto levava ao atraso, pois os funcionários atrasavam o processo para reassistir aos vídeos para confirmar as compras dos clientes.
Outra desvantagem do é que muitos clientes passavam horas aguardando um simples recibo. Isso sem falar em múltiplas câmeras e scanners de caixa que deixavam o custo bem elevado.
3 – Builder e a fraude contábil
Um caso que ficou famoso foi a startup britânica Builder.ai. Inclusive, a empresa já anunciou falência após o desastre.
Conforme as informações, a empresa trabalhava com outra, a VerSe. E as duas teriam emitido faturas entre si em valores semelhantes ao longo de quatro anos, sem que houvesse prestação efetiva de serviços.
A prática é conhecida como “round-tripping”, um artifício contábil usado para mascarar receitas fictícias. Somadas, as operação teriam servido para atrair investidores e elevar a avaliação da Builder.ai, que chegou a ser avaliada em US$ 1,5 bilhão.
Apesar disso, a questão mais polêmica girou em termo do negócio central. A ideia da Builder.ai era ser uma plataforma sem código que utilizava inteligência artificial para desenvolver softwares personalizados. Ela foi lançada em 2016 e, na prática, dependia de 700 engenheiros indianos para escrever códigos manualmente.
4 – Jornais publicam lista com livros falsos
Em maio de 2025 os dois jornais americanos apresentaram uma seção especial que incluía uma lista de leitura para o verão. No hemisfério norte, o verão acontece nos meses que, para o sul, é inverno, por isso que a publicação foi em maio.
Acontece que as listas continham livros que não existiam. Marco Buscaglia, autor da seção especial, admitiu ter usado IA para auxiliar na elaboração da lista. Ele não verificou se todos os livros mencionados existiam.
E um fato curioso é que a lista apresentava autores reais, mas atribuía a eles livros inexistentes. Ambos os jornais afirmaram não ter qualquer relação com o encarte, mas a reputação de ambos ficou abalada. No caso de Buscaglia, o contrato dele foi encerrado.
6 – Drive-thru do McDonald’s
Em junho de 2024 o Mc Donald’s decidiu que iria cancelar a IA que usava para receber pedidos de drive-thru. O motivo foram vários vídeos nas redes sociais mostrando clientes confusos e frustrados tentando fazer a IA entender os pedidos.
O vídeo mais impressionante deve ter sido um publicado no TikTok onde duas pessoas imploravam repetidamente para que a IA parasse, enquanto ela continuava adicionando mais Chicken McNuggets ao pedido, chegando a 260.
Apesar de ter o projeto encerrado, no futuro, a empresa pensa que será possível um projeto como esse. Porém, ele ainda não chegou.
7 – Grok acusa astro da NBA de vandalismo
Em abril de 2024 no X, o Grok, o chatbot de IA da xAI de Elon Musk, acusou falsamente o astro da NBA Klay Thompson de atirar tijolos pelas janelas de várias casas em Sacramento, Califórnia.
Parte da confusão pode ter ocorrido porque a gíria “atirar tijolos”, no basquete, é usada para falar de arremessos perdidos. E, na ocasião, o jogador errou muitos lances numa partida.
Porém, ainda que a IA exiba um aviso dizendo: “Grok é um jogador iniciante e pode cometer erros. Verifique seus resultados”, o incidente levantou questões sobre a responsabilidade quando um chatbot de IA faz declarações falsas e difamatórias.
8 – Incentivando empresários a infringir a lei
Em março de 2024, o The Markup relatou que o chatbot MyCity, da Microsoft, estava fornecendo aos empreendedores informações incorretas que os levariam a infringir a lei.
O Chatbot de IA tem como objetivo ajudar a fornecer aos nova-iorquinos informações sobre como abrir e operar negócios na cidade. Ele também aborda temas como políticas habitacionais e direitos trabalhistas.
O problema foi que a IA alegou que os empresários poderiam receber uma parte das gorjetas dos funcionários, demitir trabalhadores que reclamassem de assédio sexual e servir comida que havia sido comida por roedores.
O programa também afirmou que os proprietários poderiam discriminar com base na fonte de renda. Apesar da polêmica, o chatbot permanece online.
9 – Air Canada paga indenização depois de erros da IA
Em fevereiro de 2024, a Air Canadá foi condenada a pagar indenização a um passageiro após seu assistente virtual fornecer informações incorretas em um momento particularmente difícil.
O passageiro tinha consultado o assistente virtual sobre tarifas de luto após a morte de sua avó em novembro de 2023. O chatbot disse que ele poderia comprar uma passagem de preço normal de Vancouver para Toronto e solicitar um desconto por luto em até 90 dias após a compra.
Seguindo esse conselho, ele comprou uma passagem só de ida para Toronto por CA$ 794,98 (R$ 3.235,61) e uma passagem de ida e volta para Vancouver por CA$ 845,38 (R$ 3440,74).
Porém, quando o passageiro apresentou seu pedido de reembolso, a companhia aérea recusou. Os funcionários alegaram que as tarifas de luto não podem ser reivindicadas após a compra das passagens.
O passageiro processou a companhia, alegando que a companhia aérea foi negligente e deturpou informações por meio de seu assistente virtual. Como resposta, a empresa tentou argumentar que não poderia ser responsabilizada pelas informações fornecidas pelo seu chatbot.
Evidente que o juiz negou o argumento, afirmando que a companhia aérea não tomou “o devido cuidado para garantir a precisão do seu chatbot”. Como punição, a empresa teve que pagar CA$ 812,02, incluindo CA$ 650,88 em danos.
10 – ChatGPT alucina processos judiciais
Em 2023, um advogado usou o ChatGPT para encontrar precedentes que apoiassem um caso em que trabalhava. Porém, ao menos seis dos casos apresentados na petição não existiam.
Em um documento apresentado em maio de 2023, Castel observou que os casos apresentados por Schwartz incluíam nomes e números de processo falsos, além de citações internas falsas. O sócio do advogado, inclusive, também assinou a petição sem revisá-la e se colocou em risco.
Como defesa, o advogado argumentou que era a primeira vez que tinha usado o ChatGPT como fonte de pesquisa jurídica e desconhecia a possibilidade de seu conteúdo ser falso. Ele admitiu não ter confirmado as fontes fornecidas pelo chatbot de IA e se arrependeu de ter usado IA gen para complementar sua pesquisa jurídica.
Ele se seu sócio tiveram que pagar uma multa de US$ 5.000 (R$ 27.946,50) em junho de 2023.
11 – Algoritmos de IA identificam tudo, menos a COVID-19
Durante a pandemia de Covid-19 em 2020, várias empresas tentaram usar IAs para agilizar os diagnósticos. Porém, as ferramentas preditivas fizeram pouca ou nenhuma diferença.
A MIT Technology Review registrou uma série de falhas, a maioria das quais decorreu de erros na forma como as ferramentas foram treinadas ou testadas. Para se ter uma ideia dos problemas, o uso de dados rotulados incorretamente ou de fontes desconhecidas foi um culpado comum.
Um problema encontrado foi que, entre os dados de teste, o modelo foi treinado em um conjunto de dados que incluía exames de pacientes deitados durante o exame e pacientes em pé.
Como os pacientes deitados tinham muito mais probabilidade de estar gravemente doentes, o algoritmo aprendeu a identificar o risco de COVID com base na posição da pessoa no exame.
Noutro exemplo, um foi algoritmo treinado com um conjunto de dados com exames de tórax de crianças saudáveis. A IA algoritmo aprendeu a identificar crianças, não pacientes de alto risco.
12 – Empresa perde milhões em especulação imobiliária
Em novembro de 2021, o marketplace imobiliário online Zillow informou aos acionistas que encerraria suas operações com o Zillow Offers e cortaria 25% da força de trabalho da empresa. Cerca de 2.000 funcionários seriam demitidos nos próximos trimestres.
O programa Zillow Offers era usado pela empresa para fazer ofertas em dinheiro por imóveis com base em uma “estimativa Z” derivada do algoritmo de aprendizado de máquina. A ideia era reformar os imóveis e vendê-los rapidamente. Porém, a taxa de erro mediana era de 1,9%, podendo chegar a 6,9% para imóveis fora do mercado.
Além disso, o algoritmo levou a empresa a compras involuntariamente com preços mais altos do que suas estimativas atuais de preços de venda futuros. O resultado foi uma baixa contábil de US$ 304 milhões (R$ 1,69 bilhão) no estoque no terceiro trimestre de 2021.
13 – Chatbot da Microsoft publica tweets racistas
Em março de 2016, a Microsoft descobriu que usar interações do Twitter como dados de treinamento para algoritmos pode ser desastroso. A empresa lançou o um chatbot de IA Tay na plataforma hoje conhecida por X e o descreveu como um experimento em compreensão conversacional.
A ideia era que o chatbot assumisse a persona de uma adolescente e interagisse com indivíduos via o então Twitter usando uma combinação de aprendizado de máquina e processamento de linguagem natural.
A empresa o semeou com dados públicos anonimizados e algum material pré-escrito por comediantes. Então, ela o liberou para aprender e evoluir a partir de suas interações na rede social.
Em 16 horas, o chatbot postou mais de 95.000 tweets, e esses tweets rapidamente se tornaram abertamente racistas, misóginos e antissemitas. A Microsoft suspendeu rapidamente o serviço para ajustes e, por fim, o encerrou.
14 – IA de recrutamento Amazon recomendava apenas homens
Mais uma IA cujo problema central estava nos dados de treinamento. Como ele tinha sido treinado em currículos enviados nos últimos 10 anos para a empresa, e a maioria eram de homens, a IA acabou preferindo homens.
Não só, o sistema penalizava frases em currículos que incluíam a palavra “feminino” e até mesmo rebaixou candidatas de faculdades exclusivamente femininas.
Em 2018, a Reuters divulgou a notícia de que a Amazon havia descartado o projeto. Na ocasião, a empresa afirmou que a ferramenta nunca foi usada por recrutadores da Amazon para avaliar candidatas.
A empresa tentou editar a ferramenta para torná-la neutra, mas decidiu que não havia como garantir que a IA não seria discriminatória de outro modo. Então, ela encerrou o projeto.
