Report of Server Log Visualization

Project report of Server Log Visualization

Transcript

1. 日志分析及可视化 项目阶段成果汇报 数据与智能实验室，东南大学 2/7/2015 1
2. 提纲 2/7/2015 2 1. 阶段成果 2. 可视化平台演示 3. 项目方案与思路 4. 项目开发方案 5. 不足与改进策略
3. 阶段成果 概况分析 链接分析 流量分析 数据更新 1. 处理会话总数 2. 各时段入站会话 3. 主要搜索引擎贡献 4. 主要关键词贡献 5. 全站跳出率 2/7/2015 3
4. 阶段成果 概况分析 链接分析 流量分析 数据更新 1. 全站链接关系缩略图（3层） 2. 节点主要进入点 3. 节点主要目标点 4. 节点主要访问类别来源 5. 节点入度\出度 2/7/2015 4
5. 阶段成果 概况分析 链接分析 流量分析 数据更新 1. 主要入站流量来源分析 2. 全站浏览分析 2/7/2015 5
6. 阶段成果 概况分析 链接分析 流量分析 数据更新 1. 全局数据、链接分析、流量分析更新（根据时间） 2. 提供分析范围选择入口（下一步） 3. 通过GET请求更新数据 get /update get /update/link get /update/flow 2/7/2015 6 更新菜单
7. 可视化平台演示 • Demo 2/7/2015 7
8. 项目方案与思路 • 系统处理逻辑 • 图论分析及可视化原理 • 链接图的层级过滤 • 统计分析与指标量计算 2/7/2015 8
9. 系统处理逻辑 2/7/2015 9 结果呈现 | 数据可视化 数据分析 | 统计机器学习 数据存储 | NoSQL 数据处理 | Hadoop 数据采集 | 日志文件
10. 图论分析及可视化原理 2/7/2015 10
11. 链接图的层级过滤 //url, type, threshold Graph initGraph = linkDAO.getGraphByNodeName(HOMEPAGE, 2, 100); Graph nextLayer = linkDAO.getNextLayerByReferNodeName(initGraph.getReqNodes(), 30); initGraph.addLayer(nextLayer); 2/7/2015 11
12. 统计分析与指标量计算 • 点击流(会话) • 来源页 • 着陆页 • 跳出页 • 站外跳入率 • 全站跳出率 • 会话拆分 2/7/2015 12
13. 点击流 2/7/2015 13 日志数据 Ip1: t1 a b t2 b c t3 c d t4 d e t5 d f t6 b g t7 g h t8 b i a b c d e f g i h 点击流数据：Ip1： a~b~c~d~e~d~f~b~g~h~b~i
14. 来源页、着陆页、跳出页 2/7/2015 14 点击流数据：Ip1： a~b~c~d~e~d~f~b~g~h~b~i 来源页：(搜索引擎，mic，unknown) 着陆页/跳出页(站内)： (根据正则regex，确定所属类别，统计分析)
15. 站外跳入率、全站跳出率 2/7/2015 15 一个会话：Ip1： a~b~c~d~e~d~f~b~g~h~b~i 站外跳入率=（首页为站外来源的会话数）/（总的会话数） 全站跳出率=（无询盘行为的会话数）/（总的会话数）
16. 会话拆分 2/7/2015 16 a b c d e f g i h 一个会话：Ip1： a~b~c~d~e~d~f~b~g~h~b~i （324852） 多个事务：（794282） a~b~c~d~e a~b~c~d-e a~b~g~h a~b~i 未来：会话分析
17. 项目开发方案 • 技术方案（两套方案8/2） • 系统架构 • 计算与存储平台 • 弱模式数据模型 2/7/2015 17
18. 技术方案 2/7/2015 18 80% 20%
19. 系统架构 2/7/2015 19 图：系统总体架构图
20. 计算与存储平台 Input Hadoop MongoDB JSON 2/7/2015 20 嵌套文档减少DBS的I/O 特别适合查询密集的应用 索引性能优化 全图遍历输出只要1秒 MongoDB的副本集策略保 证数据的高可用性
21. 弱模式数据模型 2/7/2015 21 图：Nodes集合 图：Links集合 Embedded documents and arrays reduce need for expensive joins.
22. 缺陷与不足 • 链接关系图模型完善 • 会话还原与重放 • 不够灵活的层级流量 • 用户交互体验不足 • 并发与稳定性 2/7/2015 22
23. 后期改进策略 • 完善用户交互：增加参数定义 • 完善链接关系图：归类与层数 • 基于单个会话的分析与可视化 2/7/2015 23
24. 项目协同 • 小组成员 • 崇志宏、邵明路、孙伟伟、任萌 • 前后端分离 • https://github.com/wwsun/seu-visLog • https://github.com/wwsun/seu-visLog-ui 2/7/2015 24
25. Q&A 2/7/2015 25