2017年全球敏捷运维峰会(Gdevops, Global Devops Summit)于2017年5月13日在天府之国成都召开，本次峰会由成都市投资促进委员会、成都市经济和信息化委员会主办，知道创宇荣誉协办，知道创宇云安全获邀携“抗D保、加速乐、创宇盾”三大技术安全产品亮相，知道创宇高级安全研究员邓金城发表《海量运维日志异常挖掘—我们如何从日志中抓黑客》的演讲。首次造访西部，DBAplus社群携手一众产学研专家，带着运维、大数据、数据库、信息安全等最新发展理念与最佳实战经验，为西部业界同仁献上了诚意拳拳、干货满满的见面礼。而特别增设的闭门交流晚宴，更是让参会者和讲师、专家、同行在专属时段里收获了思维碰撞的启发与深入交流的酣畅。

　　互联网飞速的发展，使得每天产生的日志可达上T规模，但由于数据稀疏、异构性较强，甚至半结构化导致我们很少有精力关注。日志是重要的非结构化数据，无处不在，技术人员通过数学分析、关联分析、机器学习的挖掘办法，可从日志中获得价值信息，用于运维监控、安全审计、用户数据以及业务数据分析，达到发现企业信息安全短板、安全预警与应急处理的目的。那么，如何最大限度发挥日志的价值成为业内人士研究思考最多的问题之一，也成为本次知道创宇在大会中的演讲议题。知道创宇高级安全研究员邓金城从海量日志的异常分析类型、挖掘方法说起，分享了如何针对自己的网站去做相应的分析工具，以及利用分析模型来持续挖掘日志中有价值的异常信息。

　　日志异常类型：

1.单点异常：单独的数据实例是异常的。

　　2.上下文异常：

●在一个上下文中单独的或连续几个数据实例是异常的

●需要一个上下文的概念

●比如平衡权限

　　3.集体异常：相关数据实例的集体是异常的。

在数据实例间需要一个关系，常见的：有序数据、空间数据、图数。在一个集体异常中单独的实例，从它们自己看来并不是异常的。

　　异常挖掘方法解读：

１.异常挖掘方法1-基于经验特征挖掘

●基于分析人员自身经验，使用特定的与日志相关的特征进行挖掘

●比如特定的字符串，特定的Cookies，特殊的UserAgent等等

　　●此方法在试探性分析的时候常用

2.异常挖掘方法2-基于数据统计挖掘

●通过统计多维度的数据，根据其频次，分散度等信息，挖掘有价值的异常

●比如统计单个IP24小时内，使用的手机号码数量；短时间内大量登录请求等

3.异常挖掘方法3-基于外部数据关联挖掘

●基于已有的外部数据与日志的关联性进行挖掘

●例如高危IP库的IP的正常访问日志，代理IP库的IP的正常访问日志，某个通用组件或应用漏洞公开后的使用该组件或应用的网站日志等等

4.异常挖掘方法4-基于内部数据关联挖掘

●通过分析Web日志的内部关联性进行异常挖掘

●例如通过分析Referer与URL二元关系组以及IP与URL二元关系组，挖掘低频访问且是孤立节点的页面

　　5.异常挖掘方法5-基于WAF规则的异常挖掘

●将每条WAF规则转换成多个语句的逻辑条件组合，并给予每个子条件一定的rank，然后对每条日志数据进行评分，根据最后评分以及设定阈值来判定日志是否异常

●常用于WAF Bypass未知漏洞挖掘

6.异常挖掘方法6-基于网站画像的异常挖掘

●根据网站的目录结构、动静态页面分布及页面参数类型等信息而抽象出的一个多维度的标签化的描述网站合法访问范围的画像模型。通过判断单条日志数据是否在网站画像中，来判定日志是否为异常

●适用于单个网站的日常持续分析

●每个网站可以根据其应用特性和业务特征构建个性化的网站画像

邓金城在演讲最后，还进行了在知道创宇工作的案例展示：“2016年，知道创宇从为客户发现了大量的异常，分析和报告了大量安全事件，其中高危近千个，其中，服务器入侵35%、数据泄漏39%、账号安全14%、其他12%，为用户补齐网站安全的短板，完善网站安全机制提供关键数据，同时还收获了几十个0day。这几年，我们取得了不少成绩，帮助某法院网服务器集群发现潜伏的安全问题、协助公安定位黑客个人信息等等。未来，知道创宇将会朝着可用性监控、应用性能监控、故障根源分析、安全审计、业务分析及用户数据挖掘等方向继续深入发展，为客户、合作伙伴提供更完善的服务。”