1.1.1 功能要求
数据采集架构
安全数据采集系统可以与安全信息分析系统分开独立安装部署，要求采集集群采用Master/Slaver的分布式框架，Master节点负责给Slaver节点下达指令；Slaver是实际采集工作节点,采集集群由多个Slaver组成。
数据源采集范围
采集（但不限于）以下设备的日志数据：
（1）网络设备日志：交换机、路由器等；
（2）安全设备日志：安全保卫设备、应用和数据安全监测设备、网络沙箱、安全检查和评估设备、入侵检测、防病毒、数据防泄漏、认证系统、区域版终端安全防护系统等；
（3）中间件日志：WebSphere、WebLogic、Tomcat、IIS等；
（4）操作系统日志：Windows、Linux、Unix等；
（5）应用系统日志。
数据采集格式
采集项目范围内所有安全类日志。对于半结构化和非结构化日志支持txt、xml等文本文件的内容处理。
数据采集方式
提供SYSLOG、SNMP、Netflow、Agent、文件、目录、数据库JDBC等类型的数据采集接口；
具备实时数据采集能力；
具备跨网络环境数据采集能力。
日志解析及数据格式标准化
可以将日志内容解析成不同的字段并命名，以便索引与查询。包括以下解析方式：
（1）标点符号拆分，根据指定的标点符号或系统自定的标点符号列表，提取标点号之间的内容作为命名字段的值。
（2）正则拆分，根据正则表达式匹配提取内容，并可配置命名。
（3）时间戳识别，日志是时间序列数据，所有数据均含有时间戳，要求对标准格式能够自动识别，对非标准时间戳要支持手动设置格式识别。
日志标准化是从原始日志信息中解析出各个不同的日志属性信息，将原始日志转换为统一的标准化的日志，为后续分析处理提供统一的标准化日志结构。
数据增强
可以对数据解析得到的数据进行数据来源、资产信息、数据种类、地理位置信息、监测时间等数据进行标记。通过数据增强，区分不同平台不同种类的数据和数据之间的关联关系。
数据采集安全性保障
数据采集器采用两级缓存技术，保障数据采集器在接收到数据后，此环节不会出现丢日志情况。
采集器管理
数据采集模块必须为自主研发，功能、性能及稳定性自主可控，可以监控工作节点的运行状态，并可以对工作节点进行集中配置、启动及停止等操作。
1.1.2 技术要求
1、定制化安全数据采集系统；采集数据量和采集节点可以覆盖本项目建设范围；实现用户应用场景内所有网络安全设备、主机、应用系统和虚拟化系统的日志采集；
2、提供默认解析策略，提供可视化的自定义解析策略配置；提供对采集的日志提供智能标记补全功能，要求能够对收集的日志补全其相关联的属性，达到入库的数据丰富化的目的。补全字段包括但不限于源或目的IP的对应国家、省份、城市信息，经纬度信息，源或目的IP对应的资产、资产类型、业务系统、安全域、所属组织机构等信息；
3、要求日志解析实现可视化配置界面，能够根据日志解析需求灵活增加或删除字段属性；要求日志解析功能支持将日志解析成规整字段，以便索引与查询；要求日志解析实现标点符号拆分、正则拆分、标准格式自动拆分、时间戳识别等解析方式；要求日志解析实现建立解析字段和字段属性的映射关系，并支持可视化的配置界面；要求日志解析实现解析字段转义，应能够将映射后的属性的值按照不同的映射类型转义成不同的内容，并支持可视化的配置界面；
4、要求将解析后的字段和事件进行关联，事件分类包括但不限于认证授权、网络访问、信息危害、攻击入侵、信息刺探、安全预警、信息监控、操作记录、恶意代码、设备故障、系统状态、网络流等多种分类，同时支持配置自定义事件分类，支持可视化操作；