Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Report of Server Log Visualization
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
Weiwei
January 09, 2015
Technology
37
1
Share
Report of Server Log Visualization
Project report of Server Log Visualization
Weiwei
January 09, 2015
More Decks by Weiwei
See All by Weiwei
Data Visualization with Gephi
wwsun
0
51
Apache Storm Introduction
wwsun
1
93
SVM Training in Large Data Sets
wwsun
0
25
Other Decks in Technology
See All in Technology
Vision Banana: Image Generators are Generalist Vision Learners
kzykmyzw
0
300
自動テストだけで リリース判断できるチームへ - 鍵はテストの量ではなくリリース判断基準の再設計にあった / Redesigning Release Criteria for Lightweight Releases
ewa
7
3.5k
AI時代の品質はテストプロセスの作り直し #scrumniigata
kyonmm
PRO
4
1.4k
エージェント時代の UIとAPI、CLI戦略
coincheck_recruit
0
150
Oracle Exadata Database Service on Cloud@Customer X11M (ExaDB-C@C) サービス概要
oracle4engineer
PRO
2
8k
ボトムアップ限界を越える - 20チームを束る "Drive Map" / Beyond Bottom-Up: A 'Drive Map' for 20 Teams
kaonavi
0
140
Databricks Academic Series 〜 大規模言語モデル / エージェント編 〜 / academic-series-llm
databricksjapan
0
110
[Oracle TechNight#99] 生成AI時代のAI/ML入門 ~ AIとオラクルデータベースの関係 (後半)
oracle4engineer
PRO
3
240
AI駆動開発で生産性を追いかけたら、行き着いたのは品質とシフトレフトだった
littlehands
0
420
AIが自律的に働く時代へ Amazon Quick で実現するAIエージェント紹介
koheiyoshikawa
0
190
GitHub Copilot CLI と VS Code Agent Mode の使い分け
tomokusaba
0
140
MySQL 9.7がやってきた ~これまでのあらすじと基本情報~ @ 日本MySQLユーザ会会2026年04月 / mysql97-yattekita
sakaik
0
170
Featured
See All Featured
AI in Enterprises - Java and Open Source to the Rescue
ivargrimstad
0
1.3k
Introduction to Domain-Driven Design and Collaborative software design
baasie
1
770
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
sarafernandez
2
1.4k
More Than Pixels: Becoming A User Experience Designer
marktimemedia
3
400
The browser strikes back
jonoalderson
0
1k
AI Search: Where Are We & What Can We Do About It?
aleyda
0
7.4k
How to Align SEO within the Product Triangle To Get Buy-In & Support - #RIMC
aleyda
2
1.5k
Prompt Engineering for Job Search
mfonobong
0
290
B2B Lead Gen: Tactics, Traps & Triumph
marketingsoph
0
110
Claude Code のすすめ
schroneko
67
220k
The Mindset for Success: Future Career Progression
greggifford
PRO
0
320
How People are Using Generative and Agentic AI to Supercharge Their Products, Projects, Services and Value Streams Today
helenjbeal
1
170
Transcript
日志分析及可视化 项目阶段成果汇报 数据与智能实验室,东南大学 2/7/2015 1
提纲 2/7/2015 2 1. 阶段成果 2. 可视化平台演示 3. 项目方案与思路 4.
项目开发方案 5. 不足与改进策略
阶段成果 概况分析 链接分析 流量分析 数据更新 1. 处理会话总数 2. 各时段入站会话 3.
主要搜索引擎贡献 4. 主要关键词贡献 5. 全站跳出率 2/7/2015 3
阶段成果 概况分析 链接分析 流量分析 数据更新 1. 全站链接关系缩略图(3层) 2. 节点主要进入点 3.
节点主要目标点 4. 节点主要访问类别来源 5. 节点入度\出度 2/7/2015 4
阶段成果 概况分析 链接分析 流量分析 数据更新 1. 主要入站流量来源分析 2. 全站浏览分析 2/7/2015
5
阶段成果 概况分析 链接分析 流量分析 数据更新 1. 全局数据、链接分析、流量分析更新(根据时间) 2. 提供分析范围选择入口(下一步) 3.
通过GET请求更新数据 get /update get /update/link get /update/flow 2/7/2015 6 更新菜单
可视化平台演示 • Demo 2/7/2015 7
项目方案与思路 • 系统处理逻辑 • 图论分析及可视化原理 • 链接图的层级过滤 • 统计分析与指标量计算 2/7/2015
8
系统处理逻辑 2/7/2015 9 结果呈现 | 数据可视化 数据分析 | 统计机器学习 数据存储
| NoSQL 数据处理 | Hadoop 数据采集 | 日志文件
图论分析及可视化原理 2/7/2015 10
链接图的层级过滤 //url, type, threshold Graph initGraph = linkDAO.getGraphByNodeName(HOMEPAGE, 2, 100);
Graph nextLayer = linkDAO.getNextLayerByReferNodeName(initGraph.getReqNodes(), 30); initGraph.addLayer(nextLayer); 2/7/2015 11
统计分析与指标量计算 • 点击流(会话) • 来源页 • 着陆页 • 跳出页 •
站外跳入率 • 全站跳出率 • 会话拆分 2/7/2015 12
点击流 2/7/2015 13 日志数据 Ip1: t1 a b t2 b
c t3 c d t4 d e t5 d f t6 b g t7 g h t8 b i a b c d e f g i h 点击流数据:Ip1: a~b~c~d~e~d~f~b~g~h~b~i
来源页、着陆页、跳出页 2/7/2015 14 点击流数据:Ip1: a~b~c~d~e~d~f~b~g~h~b~i 来源页:(搜索引擎,mic,unknown) 着陆页/跳出页(站内): (根据正则regex,确定所属类别,统计分析)
站外跳入率、全站跳出率 2/7/2015 15 一个会话:Ip1: a~b~c~d~e~d~f~b~g~h~b~i 站外跳入率=(首页为站外来源的会话数)/(总的会话数) 全站跳出率=(无询盘行为的会话数)/(总的会话数)
会话拆分 2/7/2015 16 a b c d e f g
i h 一个会话:Ip1: a~b~c~d~e~d~f~b~g~h~b~i (324852) 多个事务:(794282) a~b~c~d~e a~b~c~d-e a~b~g~h a~b~i 未来:会话分析
项目开发方案 • 技术方案(两套方案8/2) • 系统架构 • 计算与存储平台 • 弱模式数据模型 2/7/2015
17
技术方案 2/7/2015 18 80% 20%
系统架构 2/7/2015 19 图:系统总体架构图
计算与存储平台 Input Hadoop MongoDB JSON 2/7/2015 20 嵌套文档减少DBS的I/O 特别适合查询密集的应用 索引性能优化
全图遍历输出只要1秒 MongoDB的副本集策略保 证数据的高可用性
弱模式数据模型 2/7/2015 21 图:Nodes集合 图:Links集合 Embedded documents and arrays reduce
need for expensive joins.
缺陷与不足 • 链接关系图模型完善 • 会话还原与重放 • 不够灵活的层级流量 • 用户交互体验不足 •
并发与稳定性 2/7/2015 22
后期改进策略 • 完善用户交互:增加参数定义 • 完善链接关系图:归类与层数 • 基于单个会话的分析与可视化 2/7/2015 23
项目协同 • 小组成员 • 崇志宏、邵明路、孙伟伟、任萌 • 前后端分离 • https://github.com/wwsun/seu-visLog •
https://github.com/wwsun/seu-visLog-ui 2/7/2015 24
Q&A 2/7/2015 25