Por que código gerado por IA é inseguro por padrão
A IA otimiza para o que você deu a ela, e o seu prompt quase sempre diz "faça funcionar", nunca "faça com segurança". Então ela produz o caminho mais curto até uma funcionalidade que funciona. O caminho mais curto costuma ser o inseguro: consultas montadas por concatenação de strings, um (uma das portas endereçáveis do seu app — uma única onde o app responde a requisições) sem verificação de permissão, um segredo colado direto no código porque foi esse o exemplo que ela aprendeu.
Piora porque a IA aprendeu com a internet inteira — incluindo uma década de tutoriais e repositórios abandonados que já eram inseguros. Código inseguro é mais comum nos dados de treinamento dela do que código seguro, porque código seguro é mais difícil de escrever e mais raro de publicar. Quando você pede "um formulário de login", estatisticamente você recebe o formulário de login médio da internet, e o formulário de login médio da internet tem problemas.
A IA também não tem noção de ameaça. Um humano construindo um upload de arquivo sente um lampejo de preocupação — e se alguém enviar algo malicioso? A IA não sente nada. Ela escreve o manipulador com a mesma confiança, esteja ele blindado ou escancarado. Não existe hesitação, nenhum "hmm, essa parte me deixa nervoso". Você precisa fornecer o nervosismo sozinho.
A lição não é "código de IA é perigoso, não use". É que "funciona" e "é seguro" são duas perguntas diferentes, e a IA só responde a primeira, a menos que você force ela a responder a segunda.