Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Report of Server Log Visualization
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
Weiwei
January 09, 2015
Technology
46
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Report of Server Log Visualization
Project report of Server Log Visualization
Weiwei
January 09, 2015
Transcript
25 slides
日志分析及可视化 项目阶段成果汇报 数据与智能实验室,东南大学 2/7/2015 1
提纲 2/7/2015 2 1. 阶段成果 2. 可视化平台演示 3. 项目方案与思路 4.
项目开发方案 5. 不足与改进策略
阶段成果 概况分析 链接分析 流量分析 数据更新 1. 处理会话总数 2. 各时段入站会话 3.
主要搜索引擎贡献 4. 主要关键词贡献 5. 全站跳出率 2/7/2015 3
阶段成果 概况分析 链接分析 流量分析 数据更新 1. 全站链接关系缩略图(3层) 2. 节点主要进入点 3.
节点主要目标点 4. 节点主要访问类别来源 5. 节点入度\出度 2/7/2015 4
阶段成果 概况分析 链接分析 流量分析 数据更新 1. 主要入站流量来源分析 2. 全站浏览分析 2/7/2015
5
阶段成果 概况分析 链接分析 流量分析 数据更新 1. 全局数据、链接分析、流量分析更新(根据时间) 2. 提供分析范围选择入口(下一步) 3.
通过GET请求更新数据 get /update get /update/link get /update/flow 2/7/2015 6 更新菜单
可视化平台演示 • Demo 2/7/2015 7
项目方案与思路 • 系统处理逻辑 • 图论分析及可视化原理 • 链接图的层级过滤 • 统计分析与指标量计算 2/7/2015
8
系统处理逻辑 2/7/2015 9 结果呈现 | 数据可视化 数据分析 | 统计机器学习 数据存储
| NoSQL 数据处理 | Hadoop 数据采集 | 日志文件
图论分析及可视化原理 2/7/2015 10
链接图的层级过滤 //url, type, threshold Graph initGraph = linkDAO.getGraphByNodeName(HOMEPAGE, 2, 100);
Graph nextLayer = linkDAO.getNextLayerByReferNodeName(initGraph.getReqNodes(), 30); initGraph.addLayer(nextLayer); 2/7/2015 11
统计分析与指标量计算 • 点击流(会话) • 来源页 • 着陆页 • 跳出页 •
站外跳入率 • 全站跳出率 • 会话拆分 2/7/2015 12
点击流 2/7/2015 13 日志数据 Ip1: t1 a b t2 b
c t3 c d t4 d e t5 d f t6 b g t7 g h t8 b i a b c d e f g i h 点击流数据:Ip1: a~b~c~d~e~d~f~b~g~h~b~i
来源页、着陆页、跳出页 2/7/2015 14 点击流数据:Ip1: a~b~c~d~e~d~f~b~g~h~b~i 来源页:(搜索引擎,mic,unknown) 着陆页/跳出页(站内): (根据正则regex,确定所属类别,统计分析)
站外跳入率、全站跳出率 2/7/2015 15 一个会话:Ip1: a~b~c~d~e~d~f~b~g~h~b~i 站外跳入率=(首页为站外来源的会话数)/(总的会话数) 全站跳出率=(无询盘行为的会话数)/(总的会话数)
会话拆分 2/7/2015 16 a b c d e f g
i h 一个会话:Ip1: a~b~c~d~e~d~f~b~g~h~b~i (324852) 多个事务:(794282) a~b~c~d~e a~b~c~d-e a~b~g~h a~b~i 未来:会话分析
项目开发方案 • 技术方案(两套方案8/2) • 系统架构 • 计算与存储平台 • 弱模式数据模型 2/7/2015
17
技术方案 2/7/2015 18 80% 20%
系统架构 2/7/2015 19 图:系统总体架构图
计算与存储平台 Input Hadoop MongoDB JSON 2/7/2015 20 嵌套文档减少DBS的I/O 特别适合查询密集的应用 索引性能优化
全图遍历输出只要1秒 MongoDB的副本集策略保 证数据的高可用性
弱模式数据模型 2/7/2015 21 图:Nodes集合 图:Links集合 Embedded documents and arrays reduce
need for expensive joins.
缺陷与不足 • 链接关系图模型完善 • 会话还原与重放 • 不够灵活的层级流量 • 用户交互体验不足 •
并发与稳定性 2/7/2015 22
后期改进策略 • 完善用户交互:增加参数定义 • 完善链接关系图:归类与层数 • 基于单个会话的分析与可视化 2/7/2015 23
项目协同 • 小组成员 • 崇志宏、邵明路、孙伟伟、任萌 • 前后端分离 • https://github.com/wwsun/seu-visLog •
https://github.com/wwsun/seu-visLog-ui 2/7/2015 24
Q&A 2/7/2015 25
More Decks by Weiwei
See All by Weiwei
Data Visualization with Gephi
wwsun
0
59
Apache Storm Introduction
wwsun
1
100
SVM Training in Large Data Sets
wwsun
0
32
Other Decks in Technology
See All in Technology
New Relicのアラート対応をClaude Codeで自動修正するワークフローを作った話
manabuseki
2
600
おうち環境でも「なるべく止めたくない!」 ― おうち環境の機器冗長化の理想と現実
yuutosi
1
700
プラガブルで宣言的なソフトウェアファクトリーを支えるTypeScript
timakin
1
310
AWS Blocksで AIエージェント作れるの知ってます?
kmiya84377
1
170
セキュリティチームは どのコンテナイメージの脆弱性対応を優先すべきか 〜CISA新指針とSCCで作る脆弱性トリアージ〜
swdtkuy
0
330
NutanixへのSSHアクセスの今後について
shadowhat
0
170
専門家に使ってもらうAIプロダクトをつくる - 病院の医事課向けDPCコーディング支援システムの設計と評価
hagino3000
4
1k
コーディングできない僕にBobが舞い降りた
shumpei3
0
200
エンタープライズIAMについて - ID・権限をどう統制するか
oidfj
1
310
HTTP QUERY時代の型安全な検索APIをKotlinで設計する
sansantech
PRO
1
130
認知の質も文化醸成も。数年取り組んで見えてきた技術広報のKPI設計 / Tech PR KPIs: Lessons on Awareness Quality and Culture After Several Years
bitkey
PRO
0
210
Go でトランザクション、どう書いてますか?
knwoop
1
580
Featured
See All Featured
<Decoding/> the Language of Devs - We Love SEO 2024
nikkihalliwell
1
380
Reality Check: Gamification 10 Years Later
codingconduct
0
2.4k
Money Talks: Using Revenue to Get Sh*t Done
nikkihalliwell
0
570
Jamie Indigo - Trashchat’s Guide to Black Boxes: Technical SEO Tactics for LLMs
techseoconnect
PRO
0
760
Raft: Consensus for Rubyists
vanstee
143
7.9k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
254
23k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
360
31k
Optimizing for Happiness
mojombo
378
72k
Lessons Learnt from Crawling 1000+ Websites
charlesmeaden
PRO
1
1.8k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
130k
Code Reviewing Like a Champion
maltzj
529
40k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1.7k