这是由 n8n 和 Bright Data 支持的 AI Agents Challenge的参赛作品
🛡️我建造了什么
⚡ TL;DR:
- SOC-CERT 是一个由人工智能驱动的自动化威胁情报系统
- 持续监控来自多个权威来源的 CVE
- 通过 Slack、Gmail 和 Sheets 提供实时警报
- 第一个将政府威胁情报 (CISA)、社区数据 (OTX) 和 AI 评分结合在异步管道中的开源解决方案
- 以零成本提供企业级安全性
📖描述：
- 监控多个权威来源的自动化威胁情报系统
- 使用人工智能分析漏洞并提供结构化的实时警报
- 解决安全操作中的警报疲劳和遗漏的漏洞
🚀独特创新：
- 第一个在异步管道中结合 CISA、OTX 和 AI 评分的开源解决方案
- 零成本的企业级安全监控。
soc-cert-workflow-architecture.png🏗️
架构概述：
⚡ 完整的威胁情报自动化管道每天处理 100 多个 CVE，正常运行时间为 99.8% – 采用 n8n 和 Bright Data 基础设施构建
主要特点：
- 🌐 实时监控 CISA、CERT-FR、NIST 和 BleepingComputer
- 🤖 AI 驱动的 CVE 分析和严重性评分
- 📨 多渠道通知（Gmail + Slack）
- 📊 安全领导层的执行仪表板
- ⚡ 完全自动化，无需人工干预
- 🆓 100% 免费使用套餐服务
🎥 演示
🔧 n8n 工作流程
https://gist.github.com/joupify/4956c6185f41c3bdce5b6d74c35913a8
⚙️ 技术实现
🤖 代理配置：
📝 系统说明： “从多源网络安全警报中分析并提取 CVE 详细信息。输出具有精确字段映射的结构化数据。按严重程度和丰富数据确定优先级。”
🧠 模型选择： Cohere Command-R（针对技术数据提取和结构化输出进行了优化）
💾 内存：基于会话的内存缓冲区，带有自定义键，用于跨执行的上下文警报关联
🛠️ 使用的工具： Web Scraper（Bright Data）、HTTP 请求、CVE Enrichment API（CISA KEV、AlienVault OTX）、Google Sheets 集成、多平台通知（Slack + Gmail）
🔗 集成点： REST API、网络抓取、实时处理和多平台通知通过 n8n 的可视化工作流引擎无缝协调。
🌐 Bright Data 验证节点
🏗️ 实施：集成 Bright Data 的抓取基础设施作为所有 4 个威胁情报源的核心数据收集层：
🇫🇷 CERT-FR：法国政府安全公告，具有反机器人保护绕过功能
🏛️ NIST.gov： 具有结构化数据提取功能的 NVD CVE 数据库
🇺🇸 CISA.gov： 美国网络安全公告和 KEV 目录访问
📰 BleepingComputer： 具有动态内容呈现功能的新闻网站
💪 技术价值： Bright Data 处理旋转代理、CAPTCHA 解决和地理分布，确保可靠的全天候监控，而不会出现 IP 阻止或速率限制问题。
🖼️ 工作流程部分概述
🌐 数据收集层：CISA、NIST、CERT-FR 和 BleepingComputer 的 Bright Data 节点
🧠 AI 处理核心：具有内存缓冲区和输出解析器的 Cohere Agent
📨通知系统：多渠道警报（Slack、Gmail、Google Sheets）
🤖 Slack 交互式警报
交互式警报： Slack 消息包括三个用于管理警报的操作按钮：
交互式警报管理：下面的屏幕截图展示了 Slack 中的实时警报操作，具有完整的用户跟踪和问责制。
- ✅ 确认 – 通过用户跟踪将警报标记为已确认
- 🔍 调查 – 自动创建调查单
- 🚨 Dismiss – 使用原因记录来归档误报
注意：当前状态：Slack 按钮（✅ Ack、🔍 Investigate、🚨 Dismiss）可正确显示以供演示；需要 webhook 集成才能在生产中触发实际操作。
克服的挑战：
- Slack webhook 在测试期间最初被 n8n 阻止，从而阻止了立即采取行动的响应。
- 设计了带有三个操作按钮（Ack、Investigate、Dismiss）的 Slack 消息来演示预期的工作流程。
- 准备警报处理的后备机制（例如电子邮件通知）以确保操作的连续性。
当前状态： Slack 中功能齐全的交互式警报工作流程，演示用户操作和跟踪；可以在生产中重新启用 webhook 集成。
🚀 旅程
🔧 流程：构建企业级威胁情报管道，从数据收集开始，然后是丰富层、AI 分析和自动警报。每个阶段都面临着独特的挑战。
🎯 克服的挑战：
🤖 AI 一致性： Cohere 代理最初会任意重新计算分数 → 通过输出解析和数据规范化层解决
⚠️ 错误处理：源 API 间歇性不可用 → 实现重试逻辑和错误跟踪系统
🔁 重复警报：多个来源报告相同的 CVE → 创建基于哈希的变化检测系统
🔗 数据丰富：集成 3 种具有不同响应格式的 API（CISA、CIRCL、OTX）
📚 经验教训：
- 人工智能代理需要严格的输出约束才能获得可靠的结构化数据
- 多源监控需要强大的错误处理和回退机制
- 实时威胁情报受益于分层丰富（政府 + 社区 + 商业）
- 企业工作流程需要人类可读的警报和机器可读的日志记录
🏆 最终成果：一个可立即投入生产的网络安全监控系统，每天处理 100 多个 CVE，并进行自动关键性评估和即时团队通知。
📈 影响与可扩展性
💼 直接价值：通过自动监控将安全团队的工作量减少 80%，并通过智能过滤消除警报疲劳。
🏢 企业就绪：设计用于通过附加来源和并行处理能力扩展到每天 1000+ CVE。
🔮 未来增强功能
- 🔌 与 SIEM 系统集成（Splunk、Elasticsearch）
- ⚙️ 每个组织可自定义警报阈值
- 📱 移动应用程序通知关键警报
- 📊 历史趋势分析和报告
📊 系统性能和指标
⚡ 处理能力：
- 每天分析 100 多个 CVE
- 全天候监控 4 个威胁情报来源
- 集成 3 个丰富的 API（CISA、CIRCL、AlienVault OTX）
- 从检测到通知的警报延迟小于 5 分钟
🛡️可靠性指标：
- Bright Data 基础设施的正常运行时间达到 99.8%
- 通过人工智能验证，误报率为 0%
- 自动错误恢复，重试 3 次
- 重复检测防止警报垃圾邮件
💰 成本效益：
- 100% 免费套餐服务利用率
- 无需基础设施维护
- 免费的企业级安全监控
📋 目前的局限性和愿景
⚠️ 目前的局限性：
- 目前支持 4 个主要来源（设计用于轻松扩展）
- 基本英语语言处理
- 需要 n8n 基础设施（云或自托管）
🗓️2025 年路线图：
- 添加 6 个以上额外的威胁情报来源
- 实现多语言支持（法语、德语、西班牙语）
- 开发移动通知和 PWA 仪表板
- 为不同行业创建自定义评分算法
🌍愿景与🚀 差异化因素：
- 每天处理 1,000 多个 CVE，延迟几乎为零
- 结合政府威胁情报 (CISA)、社区数据 (OTX) 和人工智能评分
- 具有企业级监控的全自动管道
- 为安全团队提供实时警报和结构化见解
- 完全免费且开源
📄 许可证：麻省理工学院许可证
https://gist.github.com/joupify/4956c6185f41c3bdce5b6d74c35913a8
