Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ちょっぴりDiveDeepするAWSの時間 AWS Dev Day 2023 Tokyo 延長...
Search
tkzwtks
June 30, 2023
Technology
1
180
ちょっぴりDiveDeepするAWSの時間 AWS Dev Day 2023 Tokyo 延長戦 実践データ移行 〜はてなダイアリーや魔法のiらんどの事例と共に〜
tkzwtks
June 30, 2023
Tweet
Share
More Decks by tkzwtks
See All by tkzwtks
データマイグレーションの成功戦略~サービスリニューアルで失敗しないための実践ガイド~
tkzwtks
10
3k
はてなスターにおける静的ファイル配信の話
tkzwtks
0
170
YAPC::Kyoto 2023 LT Perlブートキャンプご紹介
tkzwtks
0
1.3k
Hatena Engineer Seminar #14 魔法のiらんど データ移行編 〜新旧システム間のデータマイグレーション時に我々が考えること〜 / hatena-engineer-seminer-number-14-data-migration
tkzwtks
0
2.9k
レガシーシステムからのデータマイグレーションあれこれ
tkzwtks
4
1.7k
hatena-engineer-seminar-10
tkzwtks
0
2.4k
Other Decks in Technology
See All in Technology
【新卒研修資料】LLM・生成AI研修 / Large Language Model・Generative AI
brainpadpr
23
17k
OpenAI gpt-oss ファインチューニング入門
kmotohas
2
960
Function calling機能をPLaMo2に実装するには / PFN LLMセミナー
pfn
PRO
0
920
SREとソフトウェア開発者の合同チームはどのようにS3のコストを削減したか?
muziyoshiz
1
100
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
9k
非エンジニアのあなたもできる&もうやってる!コンテキストエンジニアリング
findy_eventslides
3
910
PLaMoの事後学習を支える技術 / PFN LLMセミナー
pfn
PRO
9
3.8k
自作LLM Native GORM Pluginで実現する AI Agentバックテスト基盤構築
po3rin
2
250
「Verify with Wallet API」を アプリに導入するために
hinakko
1
230
多野優介
tanoyusuke
1
420
GA technologiesでのAI-Readyの取り組み@DataOps Night
yuto16
0
270
実装で解き明かす並行処理の歴史
zozotech
PRO
1
320
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
61k
The Cult of Friendly URLs
andyhume
79
6.6k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
960
Designing for humans not robots
tammielis
254
25k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Code Reviewing Like a Champion
maltzj
525
40k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
The World Runs on Bad Software
bkeepers
PRO
71
11k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Making Projects Easy
brettharned
119
6.4k
Designing Experiences People Love
moore
142
24k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
20k
Transcript
DiveDeep AWS AWS Dev Day Tokyo i
舅䄕磆☭ 2015 11 KADOKAWA GigaViewer
舅䄕磆☭ 䌕飈磬塷 i
儖仼ֽ鎇׆כ
儖仼ֽ鎇׆כ 2020 4 i
i
i KADOKAWA 1999 2020 4
2020 ˝ بتطّ⯇二 ˝ 二بتطّס㵸鐄ظ٭ذ璡ס燯车 ˝ ☪㍑╚מֽ鎇סע׆הס鎇갭
ظ٭ذ燯车 ˝ 仾بتطّ־二بتطّסظ٭ذ燯Ⳃ ˝ ⶡמրظ٭ذي٭ت燯٬二ׂցכַֹֹם鎇ך עםַ ˝ 仾بتطّסظ٭ذ二بتطّך✳ֹֻמ燯Ⳃ
ր仾بتطّסظ٭ذ二بتطّך✳ֻ ֹמ燯Ⳃցכע ˝ 仾بتطّכ二بتطّסت؞٭ُُشم٤ء ˝ ُشم٤ءג⩝מظ٭ذ燯Ⳃ ˝ ظ٭ذס㚺䬵 ˝ ❆㵸鐄ס鋗嫎ֿ二仾بتطّꝴך㚺זיַ
i 20 > >
ظ٭ذꝴס❣㰆꞊➟כ⭚杼סꯂ樑 -> ->
גַ׆כ
גַ׆כ ⾒
StepFunctions + AWS Batch + S AWS StepFunctions + AWS
Batch StepFunctions AWS Batch S JSON S
燯车ס⛼䡵 S S S
تط٭عُب٤
تط٭عُب٤ batch
Savepoint S / JSON S JSON batch_size
Savepoint S / / {$batch_type}/batch_id={$batch_id}/ status={$status}/{$uuid} batch_type: batch_id: ID status:
pending/succeeded/failed uuid: ID
Savepoint /batch_id={$batch_id}/status={$status} status / failed pending
磵冽 20 ⾒ 10h -> ->
磵冽 savepoint status pending
䷉״י◄❆־㰢שظ٭ذ燯车
燯车嶖⤓ /
燯车嶖⤓ ˝ ظ٭ذꄈ釤犉 ˝ ⪒⛮燯车侇ꝴס釤犉 ˝ ْ٤طػ٤تؗؕ٤غؗס吾鋀 ˝ 牊걉 ˝
⛰燯־ ˝ 䣽ַ亠ֿ㚺סע㚺䬵
燯车嶖⤓ bulk insert / )
ױכ״ AWS /
ֵֿכַׇֹױג