Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
RailsとCで広告システムを作って起業した話
Search
Daisuke Yamazaki
April 10, 2011
Technology
1
270
RailsとCで広告システムを作って起業した話
Startup with Rails and C
Daisuke Yamazaki
April 10, 2011
Tweet
Share
More Decks by Daisuke Yamazaki
See All by Daisuke Yamazaki
ゼロトラブルへの道
yamaz
22
8.4k
RWC2019 rubyによる超大量データ配信
yamaz
1
160
学び実践してきたこと
yamaz
1
320
スケールアウト再考
yamaz
1
320
RTB 30 min
yamaz
0
95
robust logprocessing
yamaz
1
61
adserver 30min
yamaz
0
73
Other Decks in Technology
See All in Technology
モダンフロントエンド 開発研修
recruitengineers
PRO
10
6.2k
Webアクセシビリティ入門
recruitengineers
PRO
3
1.5k
Nstockの一人目エンジニアが 3年間かけて向き合ってきた セキュリティのこととこれから〜あれから半年〜
yo41sawada
0
180
Snowflakeの生成AI機能を活用したデータ分析アプリの作成 〜Cortex AnalystとCortex Searchの活用とStreamlitアプリでの利用〜
nayuts
0
150
実践AIガバナンス
asei
3
300
AWSで推進するデータマネジメント
kawanago
0
870
事業価値と Engineering
recruitengineers
PRO
8
5.4k
モバイルアプリ研修
recruitengineers
PRO
5
1.7k
ヘブンバーンズレッドにおける、世界観を活かしたミニゲーム企画の作り方
gree_tech
PRO
0
430
JuniorからSeniorまで: DevOpsエンジニアの成長ロードマップ
yuriemori
2
350
Grafana MCPサーバーによるAIエージェント経由でのGrafanaダッシュボード動的生成
hamadakoji
1
1.1k
JavaScript 研修
recruitengineers
PRO
6
1.4k
Featured
See All Featured
Navigating Team Friction
lara
189
15k
Agile that works and the tools we love
rasmusluckow
330
21k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Speed Design
sergeychernyshev
32
1.1k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.5k
Typedesign – Prime Four
hannesfritz
42
2.8k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Faster Mobile Websites
deanohume
309
31k
RailsConf 2023
tenderlove
30
1.2k
Transcript
© 2011 Scaleout Inc. All right reserved. RailsとCで広告システムを 作って起業した話 ~大江戸Ruby会議01~
© 2011 Scaleout Inc. All right reserved. 今日話すること 1. RailsとCで大量配信システムをつくりました。
2. アーキテクチャさえしっかりしてればほとんどの部分 はrubyでいけるよ 3. 秘密はあんまりなくやってることは割と普通です 4. メンバー募集中です(
[email protected]
まで!)
© 2011 Scaleout Inc. All right reserved. その前に Asakusa.rb だいたい第100回目
誠におめでとうございます。
© 2011 Scaleout Inc. All right reserved. 弊社について 株式会社スケールアウト 代表取締役
山崎大輔(@yamaz) Blog: 最速配信研究会 http://d.hatena.ne.jp/yamaz/ • 2006年に門前仲町で起業 • 広告配信システム「ScaleAds」の提供及びWeb大量配信に関する コンサルティング • 主に億を超えるようなアクセスに対するシステム開発を得意として ます
© 2011 Scaleout Inc. All right reserved. ScaleAdsとは 1. カジュアル(=安価)に数十億アクセス/dayを
捌くことを目指して開発された純国産広告配 信管理システム 2. PCサーバ1台あたり5000万アクセス/day以 上な性能 3. 月間数千億アクセスも可
© 2011 Scaleout Inc. All right reserved. アーキテクチャ概要 配信サーバ Delivery
Engine Logs 広告案件データ(PostgreSQL) 配信管理 システム 集計管理 システム C+ruby+swig Rails
© 2011 Scaleout Inc. All right reserved. 配信部分 • Apache+独自DB+Cモジュール
• 複数プロセスがSharedMemoryを介してデー タをやりとり • SharedMemoryの管理はruby+swigで
© 2011 Scaleout Inc. All right reserved. 配信システム概要図 配信サーバ Delivery
Engine Logs 広告案件データ(PostgreSQL) 配信管理 システム Rails Apache モジュール
© 2011 Scaleout Inc. All right reserved. Apache+独自DB+Cモジュール 配信サーバ Delivery
Engine Logs 広告案件データ(PostgreSQL) 配信管理 システム Rails Apache モジュール RDB+LLな構成だと1桁以上速度が落ちるの で、ここだけはCで書かれています。
© 2011 Scaleout Inc. All right reserved. 配信部分 • 複数プロセスがSharedMemoryを介してデー
タをやりとり 広告案件データ(SharedMemory) apache ユーザからのアクセス 管理プログラム群 管理DB
© 2011 Scaleout Inc. All right reserved. SharedMemoryの管理はruby+swigで 管理DBからDBアップデート用DSLで記述 されたrubyスクリプトを作成し、各ADSVRで
実行することにより、Sharedメモリを書き換える 広告データ (SharedMemory) 管理プログラム群 管理DB Rubyスクリプトを生成+実行 C-API+Swig
© 2011 Scaleout Inc. All right reserved. 集計部分 • 配信サーバ側で一次処理、集計サーバでマー
ジ集計(プチmap/reduce) • 一次集計はapacheのログ形式を工夫すること で速度を稼ぐ • 分散処理な為、基本集計に関しては全部ruby でも間に合ってる
© 2011 Scaleout Inc. All right reserved. 集計システム概要 配信サーバ Delivery
Engine Logs 広告案件データ(PostgreSQL) 集計管理 システム Rails 各サーバで 一次集計(Ruby)
© 2011 Scaleout Inc. All right reserved. 一次集計 配信サーバ Delivery
Engine Logs 各サーバで 一次集計(Ruby) 配信サーバ側で一次処理を行い、データを圧縮(数 100MB→数KBに) またapacheのcombineログはパースが遅いので、 ログ形式を工夫することで速度を稼ぐ
© 2011 Scaleout Inc. All right reserved. マージ集計 広告案件データ (PostgreSQL)
集計管理 システム 各ADSVRで一次集計されたデータをrubyでマージ集計し、 DBに流し込み。 各ADSVRの一次集計後のデータは数10Kなため、 Rubyでも余裕。 Logs Logs Logs Logs Logs
© 2011 Scaleout Inc. All right reserved. 管理DB、UI部分 • DBスキーマは数個のトランザクションテーブル
と大量のマスタデータの構成 • 大量のマスタ管理画面はほぼ全部 ActiveScaffoldで構築
© 2011 Scaleout Inc. All right reserved. ActiveScaffold++ http://activescaffold.com/ マスタ管理部はほぼ全部これ。
関連テーブルのUIもコントローラ部を足す ことで勝手にUIを作ってくれる優れもの (ただしRails3には非対応)
© 2011 Scaleout Inc. All right reserved. ActiveScaffold++ class UserController
< ApplicationController active_scaffold :user do |config| end end これだけの記述で↓こんなのを作ってくれる
© 2011 Scaleout Inc. All right reserved. なぜruby及びRailsを選んだか? 会社立ち上げ当時、開発機のOSはFreeBSDで、 言語はさておき、よいORMを探していた。
• Catalystだ!→ CPAN地獄にはまり挫折 • PHPだ! → ORMがほぼなかった(当時) • Javaだ! → PHPと同様 • Rails? → インストール一発!AR最高! ということでRailsになりました ぶっちゃけたまたまですが、人にも異様に恵まれて とてもよい選択だったと思います。
© 2011 Scaleout Inc. All right reserved. ご参考: 弊社とrubyistの関係 弊社がスタートアップにもかかわらず、
いかに人に恵まれているかをご紹介します 今まで手伝ってくれたRubyistの方々 @shachi @maiha @genki @yugui 今手伝ってくれてる&今後手伝ってくれるRubyistの方々 @yuumi3 @a_matsuda @ukstudio
© 2011 Scaleout Inc. All right reserved. とある人曰く 「なにそのメンバー? 国家転覆でも狙ってるの?」
© 2011 Scaleout Inc. All right reserved. まとめ 1. RailsとCで大量配信システムを作りました
2. アーキテクチャさえしっかりしてればほとんどの部分 はrubyでいけるよ 3. 秘密はあんまりなくやってることは割と普通です
© 2011 Scaleout Inc. All right reserved. メンバー募集中! 1. 大規模配信、大規模解析に興味ある方
2. Ruby、デザパタが大好きな方 3. 東京の西側よりも東側の下町文化が好きな方 4. 興味ある方は
[email protected]
まで! 下町で働くのも悪くないですよ
© 2011 Scaleout Inc. All right reserved. ご静聴有り難うございました RailsとCで広告システムを 作って起業した話
~大江戸Ruby会議01~