Seu projeto de codificação do Vibe está infestado de vulnerabilidades!
Desenvolver software com IA passou da ficção científica para a realidade cotidiana. Seu projeto codificado com IA pode funcionar perfeitamente... até que hackers encontrem as falhas. Nesta publicação, abordaremos o caminho de um código gerado por IA repleto de descobertas e vulnerabilidades até um produto confiável, apresentando um experimento que conduzimos para testar os fluxos de trabalho de análise e autocorreção de agentes de IA do Scribe em um projeto real criado com a plataforma de codificação Bolt.new vibe.
Gerando o Projeto
O desafio era simples:
Crie um aplicativo web que monitore linhas de hardware GPIO em tempo real e exiba seu status em uma página web atualizada dinamicamente.
Com um único prompt, o Bolt.new gerou o projeto inteiro – um projeto Node.js completo com um servidor WebSocket, um front-end React.js e até mesmo um arquivo README.md para o GitHub.
O processo de geração levou apenas três minutos, e conseguimos baixar o código para um ambiente Linux local (Ubuntu 22.04 no WSL), instalá-lo e executá-lo.
Funcionou imediatamente, o que nos surpreendeu. Aqui está a captura de tela do aplicativo em execução:
Primeiras impressões
Após a implantação, nos aprofundamos na estrutura do projeto. O aplicativo tinha 20 arquivos de código-fonte, além de 15 arquivos de configuração. A instalação completa, incluindo dependências, gerou mais de 10,000 arquivos. Isso levantou uma questão importante... Quão seguro e confiável é esse código gerado por IA?
Fase 1: Instrumentação Tradicional
Nosso primeiro passo foi executar a instrumentação clássica do Scribe, coletando atestados de segurança do processo de compilação. Isso nos deu:
– SBOMs (Listas de Materiais de Software) detalhadas
– Relatórios de vulnerabilidades (dependências diretas e transitivas)
– Resultados da SAST (análise estática)
– Resultados secretos de varredura
Relatório de Vulnerabilidade
- Vulnerabilidades críticas 4
- 6 vulnerabilidades de alta gravidade
Resultados do SAST
- 3 achados de alta gravidade
- 12 achados de gravidade média
Fase 2: Autocorreção com Scribe AI
Em seguida, carregamos o projeto no GitHub e usamos Remus, Fluxo de trabalho de agente de auto-remediação de IA do Scribe. RemusNa verdade, uma rede de quatro Agentes AI, foi projetado para operar de forma autônoma e colaborativa. Cada agente possui capacidades especializadas, permitindo uma abordagem distribuída para a resolução de problemas complexos. Essa arquitetura permite que a ferramenta lide com uma ampla gama de tarefas, desde análise de dados e reconhecimento de padrões até tomada de decisões e modelagem preditiva.
Corrida Remus levou a uma solicitação de pull com correções direcionadas para as vulnerabilidades e problemas de SAST identificados anteriormente.
Aqui está um exemplo de um commit sugerido automaticamente por Remus para corrigir uma vulnerabilidade:
Depois de mesclar o PR, reconstruímos o projeto, validamos se ele estava funcionando como antes e verificamos novamente se havia problemas no projeto.
Resultados depois Remus Correção
A transformação foi dramática!
- Verificação de vulnerabilidade: apenas 1 problema de gravidade média permaneceu
- Resultados do SAST: todos corrigidos, exceto um item de gravidade média
O fluxo de trabalho de correção de agentes de IA da Scribe resolveu efetivamente problemas críticos e de alta gravidade, deixando apenas problemas menores para intervenção manual, sem prejudicar a funcionalidade do produto.
Principais lições
Este experimento mostrou que:
- Embora o código gerado por IA possa parecer totalmente funcional inicialmente, sua funcionalidade pronta para uso traz riscos significativos de segurança e preocupações com a confiança. Projetos que utilizam esse tipo de código enfrentam um alto risco de agentes de ameaças.
- A instrumentação de segurança no pipeline é essencial. O plugin GitHub do Scribe revelou diversas vulnerabilidades de alto impacto no projeto gerado.
- O fluxo de trabalho de agente de correção automática com tecnologia de IA do Scribe é poderoso: ele reduziu drasticamente o perfil de risco do projeto com correções automatizadas, deixando o projeto totalmente funcional.
Considerações Finais
A combinação de projetos gerados por IA e remediação orientada por IA sugere um futuro em que o software será criado e protegido mais rapidamente do que nunca. Embora a supervisão humana continue crucial, ferramentas como ScribeHub com seus fluxos de trabalho de AppSec de IA provam que o reparo automatizado de código não é apenas possível – é prático.
Este conteúdo é oferecido a você pela Scribe Security, um fornecedor líder de soluções de segurança de cadeia de suprimentos de software ponta a ponta – fornecendo segurança de última geração para artefatos de código e processos de desenvolvimento e entrega de código em todas as cadeias de suprimentos de software. Saiba mais.
Artigos Relacionados
