Resumo
Esse trabalho traz uma perspectiva prática para o problema de detecção de incidentes de segurança em redes de computadores. Serão abordados tanto a captação dos dados - em menor proporpção - como o processamento e análise - como foco. Baseando-se na arquitetura Lambda iremos apresentar uma proposta de arquitetura capaz de suportar uma grande escala de dados a serem utilizados por modelos de aprendizagem de máquina que irao realizar a deteccao de incidentes. Passaremos por tecnologias atualmente relevantes como Apache Kafka e Apache Spark, bem como os cuidados necessários na hora de utilizá-las. Iremos também trazer o estado da arte de aprendizado de máquina, como algoritmos de Gradient Boosting, uma larga escala de dados e o uso de uma biblioteca de código aberto, funcional e confiável para colocar algoritmos de ciência de dados em produção. Serao apresentadas as preocupações de se desenvolver um modelo para essa tarefa desde o treinamento até o monitoramento das decisões tomadas. Experimentos realizados com o objetivo de validar a funcionalidade esperada da arquitetura e o poder preditivo do modelo idealizado mostraram que há grande potencial para que essa arquitetura tenha bons resultados no cenário real. O poder preditivo do modelo criado para os experimentos foi bom dada a quantidade limitada de dados e o foco dividido entre elaboração da arquitetura e modelagem, enquanto a arquitetura cumpriu a função para a qual foi elaborada, mesmo que num ambiente controlado e pequeno de teste.