Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
小米运维自动化
Search
laiwei
July 28, 2014
Technology
0
5.5k
小米运维自动化
laiwei
July 28, 2014
Tweet
Share
More Decks by laiwei
See All by laiwei
小米-企业安全实践
laiwei
1
5.2k
小米自动化运维实践 qcon 2014 Beijing
laiwei
2
12k
小米运维基础设施
laiwei
2
1.3k
noops in xiaomi @ Velocity 2013 beijing
laiwei
1
1.4k
laiwei #adc2013# #taobao adc#
laiwei
5
3.7k
Other Decks in Technology
See All in Technology
エンジニアの育成を支える爆速フィードバック文化
sansantech
PRO
3
1.1k
RECRUIT TECH CONFERENCE 2025 プレイベント【高橋】
recruitengineers
PRO
0
160
組織貢献をするフリーランスエンジニアという生き方
n_takehata
1
1.3k
バックエンドエンジニアのためのフロントエンド入門 #devsumiC
panda_program
18
7.5k
30分でわかる『アジャイルデータモデリング』
hanon52_
9
2.7k
Platform Engineeringは自由のめまい
nwiizo
4
2.1k
OpenID Connect for Identity Assurance の概要と翻訳版のご紹介 / 20250219-BizDay17-OIDC4IDA-Intro
oidfj
0
270
7日間でハッキングをはじめる本をはじめてみませんか?_ITエンジニア本大賞2025
nomizone
2
1.8k
リーダブルテストコード 〜メンテナンスしやすい テストコードを作成する方法を考える〜 #DevSumi #DevSumiB / Readable test code
nihonbuson
11
7.2k
データ資産をシームレスに伝達するためのイベント駆動型アーキテクチャ
kakehashi
PRO
2
530
ビジネスモデリング道場 目的と背景
masuda220
PRO
9
520
あれは良かった、あれは苦労したB2B2C型SaaSの新規開発におけるCloud Spanner
hirohito1108
2
570
Featured
See All Featured
KATA
mclloyd
29
14k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
174
51k
Why Our Code Smells
bkeepers
PRO
336
57k
Adopting Sorbet at Scale
ufuk
74
9.2k
Into the Great Unknown - MozCon
thekraken
35
1.6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
Six Lessons from altMBA
skipperchong
27
3.6k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Unsuck your backbone
ammeep
669
57k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Transcript
小米运维自动化从无到有
[email protected]
图说运维
运维的挑战 •复杂和庞大的业务系统 •不断变化的系统状态 •对业务系统的操控效率 •传承性
开源软件和工具 •采用开源解决方案和运维工具 •开源软件的性能和特性需求 •安全性 •社区活跃度 •业务信息维护分散 不同系统间的整合困难
自动运维需求和设计 •平台和系统化 •对业务加以抽象,屏蔽细节,以 支撑平台化管理 •以动制动 主机 应用 关联关系 监控
自动运维的核心架构 部署 系统 监控 系统 机器 管理 服务树 名字服 务
LVS 域名 管理
降低上线操作和 环境搭建的复杂 度,动作一致, 实现模块全量的 上线 采集和监控业务 运行状态,反馈 服务问题 解耦服务与机器 的对应关系,解
决查询的问题, 降低由于上下游 IP配置等导致的 运维复杂度 机器统一备机管 理,记录机器的 属性、状态,并 自动更新状态 资源隔离,进一 步解决runtime 依赖问题 调度服务在机器 及更细粒度的部 署运行 演进过程 全量部署 机器管理 动态调度 资源定位 资源隔离 服务树 监控管理
服务树是什么东东 业务层级关系的可视化展示 业务和机器列表映射关系的可视化 展示 整合各个运维系统的核心组件 根据服务TAG动态生成
服务树是什么东东 全局TAG标识 cop.xiaomi_owt.miliao_pdl.im_cluster.producti on-lg_servicegroup.mipush_service.alias-job- dispatcher_job.alias-job-dispatcher JOB
部署系统 •JOB是业务模块的抽象,部署系统调度的对象 •可执行程序 •配置文件 •词表等依赖文件 •日志清理等crontab定时任务 JOB 可执行 程序 配置文
件 依赖文 件 定时任 务 数据和日志分离
部署系统 •部署系统中的JOB描述
部署系统 •发起部署任务
部署系统 •部署框架 GOD WEB ODIN GIT FRIGGA THOR …… GOD
FRIGGA THOR Service Tree Naming Build Server Monitor TAG
部署系统 •双生机制——永不停转的Agent APP RPC
部署系统 •GOD进程守护工具 控制JOB启停、清理 上报/删除JOB TAG信息 Cron配置添加/删除 基础服务监控添加 名字服务/LVS的联动注册
部署系统
名字服务和前端接入 关联关系的维护? A A B B B A
名字服务和前端接入 LVS DNS-in ETCD ETCD ETCD Naming- agent Naming- agent
Naming- agent GOD 进程监控 注册/删除 A1 A2 B1 配置关联解耦 故障时内部流量的切换 关联关系图谱 A A B B B A Naming xiaomi miliao im app1 Ip+port app2 Ip+port ac
名字服务和前端接入 • 配置由静态文件形式转为动态存储 • 自动部署过程中通过http api方式提交变更 • 周期性将配置dump生成keepalived所需的静态配置形式, 由keepalived reload生效
演进过程 降低上线操作和 环境搭建的复杂 度,动作一致, 实现模块全量的 上线 采集和监控业务 运行状态,反馈 服务问题 解耦服务与机器
的对应关系,解 决查询的问题, 降低由于上下游 IP配置等导致的 运维复杂度 机器统一备机管 理,记录机器的 属性、状态,并 自动更新状态 资源隔离,进一 步解决runtime 依赖问题 调度服务在机器 及更细粒度的部 署运行 全量部署 机器管理 动态调度 资源定位 资源隔离 服务树 监控管理
运维体系
Our goal is noops!!! http://www.noops.me
Thanks!