リクルートのデータ活用を支えるアマゾンウェブサービスネイティブな機械学習プラットフォーム / AWS_conference

マスタタイトルの書式設定 • マスターテキストの書式設定 • 第 2 レベル •
第 3 レベル • 第 4 レベル • 第 5 レベル 1 (C) Recruit □□□□□□□□ Co., Ltd. All rights reserved. リクルートのデータ活用を支えるアマゾンウェブサービスネイティブな機械学習プラットフォーム宮井康宏株式会社リクルートプロダクト統括本部プロダクト開発統括室データ推進室秋庭伸也株式会社リクルートプロダクト統括本部プロダクト開発統括室データ推進室

リクルートグループについて 4 創業 1960年3月31日「大学新聞広告社」としてスタートグループ従業員数 46,800名（2021年3月31日時点）連結売上収益
22,693億円（2020年4月1日～2021年3月31日）連結営業利益 1,628億円（2020年4月1日～2021年3月31日）グループ企業数連結子会社 351社関連会社8社（2021年3月31日時点）ビジョン・ミッション (C) Recruit Co., Ltd. All rights reserved.

リクルートグループのうちメディア＆ソリューション事業を推進する会社 ※2012/10 中核事業会社・機能会社に分社 → 2021/4「リクルート」として統合リクルートについて 5 リクルートホールディングスリクルートキャリア
リクルート住まいカンパニーリクルートライフスタイルリクルートジョブズリクルートマーケティングパートナーズリクルートスタッフィングスタッフサービス・ホールディングスメディア & ソリューション事業（株）リクルート人材派遣事業 Recruit Global Staffing B.V. HRテクノロジ― 事業 RGF OHR USA, Inc. その他海外派遣グループ会社 Indeed,Inc. Glassdoor,Inc. リクルートテクノロジーズリクルートコミュニケーションズ事業会社機能会社 (C) Recruit Co., Ltd. All rights reserved.

リクルートのビジネスモデルについて 6 リクルートには、ユーザーとクライアントという2つのお客様が存在します。企業と人（B to C）、企業と企業（B to B）、人と人（C to C）、すべての間に立ち双方にとって最適な
マッチングを図る「場」を提供しています。ユーザーとクライアントを新しい接点で結び、「まだ、ここにない、出会い。より速く、シンプルに、もっと近くに」の場を創造する (C) Recruit Co., Ltd. All rights reserved.

リクルートの事業内容について（主なサービス） 7 選択・意思決定を支援する情報サービスを提供し、「まだ、ここにない、出会い。より速く、シンプルに、もっと近くに」を実現するメディア＆ソリューションSBU HRテクノロジーSBU 人材派遣SBU 販促領域人材領域国内派遣
海外派遣 (C) Recruit Co., Ltd. All rights reserved.

第 3 レベル • 第 4 レベル • 第 5 レベル 8 8 自己紹介名前宮井康宏(MIYAI Yoshihiro) GitHub: @mia-0032 所属株式会社リクルートデータ推進室 (テクニカルリード) 経歴大阪大学大学院卒経営学修士 / 工学修士動画サービス提供会社などを経て現職趣味: 工作(電子工作, 木工など) 自作オーディオ(スピーカーなど) (C) Recruit Co., Ltd. All rights reserved.

第 3 レベル • 第 4 レベル • 第 5 レベル 12 12 (C) Recruit Co., Ltd. All rights reserved. 提供される価値プランナーデータサイエンティストエンジニア • データサイエンティストの作ったモデルを簡単に利用したい • 自由に定期実行などを設定したい • 対象の設定などはプランナーに任せたい • インフラやセキュリティの設定に時間を取られたくない • 同じような設定や記述を何度もしたくない • 適切なインフラを適切な権限で提供したい ✔ 利用者がコアな部分に注力することが可能（インフラやセキュリティの設定に時間を取らせない） ✔ ワークフロー管理によるデータ流通の可視化が可能（データガバナンスの強化） ✔ 似たようなデータ利活用基盤の乱発を防ぐことが可能（車輪の再発明の防止）

第 3 レベル • 第 4 レベル • 第 5 レベル 21 21 ジョブ • ワークフローを実行したもの • ダイアグラムで進捗を確認 • Amazon CloudWatch Logs を介したログ閲覧機能 • Amazon CloudWatch Metrics の Container Insights による各種メトリクスの確認が可能 (C) Recruit Co., Ltd. All rights reserved.

第 3 レベル • 第 4 レベル • 第 5 レベル 22 22 運用規模 (C) Recruit Co., Ltd. All rights reserved. • 1日あたり約600回ジョブ実行数 • 99.9%以上稼働率 • x1.32xlarge(128 vCPU, 1952GiB) • r5.4xlarge(16 vCPU, 128GiB) * 100台 • r5.16xlarge(64 vCPU, 512GiB) * 16台大規模な実行を複数同時に稼働

第 3 レベル • 第 4 レベル • 第 5 レベル 24 24 (C) Recruit Co., Ltd. All rights reserved. 必要とされるシステム要件高いスケーラビリティ使いたい分だけ自動的に拡張されて利用できる高いセキュリティチームを超えたアクセスができない仕組み中間ファイルやアクセスキー等の情報をすべて暗号化 Crois開発者であっても内容へのアクセスが不可社内横断で使われることを想定した設計

第 3 レベル • 第 4 レベル • 第 5 レベル 27 27 (C) Recruit Co., Ltd. All rights reserved. フロー制御 • 実行の制御を AWS Step Functions へ完全に移譲 • Crois本体が関与しないため低コストで高いスケーラビリティを実現 • 実行ステータス等は Amazon CloudWatch Events を経由して Amazon DynamoDB に記録 AWS Step Functions

第 3 レベル • 第 4 レベル • 第 5 レベル 29 29 (C) Recruit Co., Ltd. All rights reserved. コンテナ内のフロー 1. モジュールコンテナと一緒にエージェントコンテナが起動 2. 共有ボリュームにエージェントをコピー 3. モジュールコンテナのCommandを上書きしエージェントを実行 4. エージェントが必要なファイル・情報を揃えた上でモジュールの実行ファイルを実行モジュールに直接手を入れることなくCroisの処理を介在させている

第 3 レベル • 第 4 レベル • 第 5 レベル 31 31 (C) Recruit Co., Ltd. All rights reserved. ルートプロジェクト単位での権限制御 { "Sid": "DenyDecryption", "Effect": "Deny", "Principal": "*", "Action": "kms:Decrypt", "Resource": "*", "Condition": { "StringNotLike": { "aws:userid": [ "IAMROLENOID:*" ] } } } Role Key プロジェクト1 プロジェクト2 Role ルートプロジェクト単位でIAM Roleと対になるKMS Keyを発行 • Keyはポリシーによってペアとなる IAM Roleでのみ復号が許可

第 3 レベル • 第 4 レベル • 第 5 レベル 32 32 (C) Recruit Co., Ltd. All rights reserved. タスクの中間出力ファイルの暗号化エージェントが Amazon S3 経由のアップロード・ダウンロードを行う • S3 のサーバーサイド暗号化機能を使用 • 実行プロジェクトのIAMロール以外では復号できない Role モジュールコンテナ Agent Key Role モジュールコンテナ Agent モジュールコンテナ Bucket

第 3 レベル • 第 4 レベル • 第 5 レベル 33 33 (C) Recruit Co., Ltd. All rights reserved. 機密情報の暗号化 Role API Key モジュールコンテナ Agent AWS Secrets Manager Encrypted data アクセスキーなどの機密情報を保存する際も同様の仕組みで暗号化 • AWS Secrets Manager の暗号化キーをプロジェクトのキーにしている • 実行プロジェクトのIAMロール以外では復号できない

第 3 レベル • 第 4 レベル • 第 5 レベル 34 34 (C) Recruit Co., Ltd. All rights reserved. タスクの出力パラメータを安全に Step Functions 側へコピータスク内で出力された値をMapなどで利用するために Step Functions 側にコピーする仕組みを構築 1. AWS Lambda のみが復号できるキーで暗号化して DynamoDB へ保存 2. DynamoDB に書き込むアイテムにIAM RoleIDを必須とするポリシーを設定 3. Lambda から取得するときに RoleIDでの絞り込みを行う • 他のプロジェクトからのデータ混入を防止 Role モジュールコンテナ Agent パラメータファイル Amazon DynamoDB Table Key Role モジュールコンテナ AWS Step Functions workflow Lambda function

第 3 レベル • 第 4 レベル • 第 5 レベル 37 37 (C) Recruit Co., Ltd. All rights reserved. Step Functions の実行における最大入力サイズを乗り越える Step Functions のParallel実行の結果を取りまとめる部分で最大文字数の超過が起きてエラーこの部分でエラー AWS Step Functions workflow

第 3 レベル • 第 4 レベル • 第 5 レベル 38 38 (C) Recruit Co., Ltd. All rights reserved. Step Functions の実行における最大入力サイズを乗り越える S3 へイベントをロード・ストアすることで対策 Lambda function Lambda function イベントのロードイベントのストア S3 のパスが配列で流れるだけになったので文字数超過を回避 AWS Step Functions workflow AWS Step Functions workflow

第 3 レベル • 第 4 レベル • 第 5 レベル 39 39 (C) Recruit Co., Ltd. All rights reserved. Step Functions から起動するコンテナの起動エラーを乗り越える ecs:runTask.sync, batch:submitJob.sync でコンテナタスクを実行するときに発生することがある起動エラーに対処 • ネットワークインターフェースの初期化失敗 • APIのスロットリングエラー • 原因不明エラー(コンテナ内の処理失敗と見分けがつかない) • エージェントの起動を DynamoDB に記録 • 起動の記録がなければリトライする Table Amazon DynamoDB モジュールコンテナ Agent Lambda function AWS Step Functions workflow

第 3 レベル • 第 4 レベル • 第 5 レベル 40 40 (C) Recruit Co., Ltd. All rights reserved. Step Functions のMapの同時実行数制限を乗り越える Map状態でMaxConcurrency=0でも一定の並列数で頭打ちになる • 100並列を実現したい時に問題になった AWS Step Functions workflow Map (MaxConcurrency=0) 同時実行は一定数まで https://docs.aws.amazon.com/step-functions/latest/dg/amazon-states-language-map-state.html Concurrent iterations may be limited. When this occurs, some iterations will not begin until previous iterations have completed. The likelihood of this occurring increases when your input array has more than 40 items.

第 3 レベル • 第 4 レベル • 第 5 レベル 41 41 (C) Recruit Co., Ltd. All rights reserved. Step Functions のMapの同時実行数制限を乗り越える StateMachineを分割することで対処 • チャンク要素数*同時実行最大数まで増加 Mapを分割するだけでは以下の現象が起きたためStateMachine自体を分割 • 同時実行のタスク数が多くなるとStateの進みが遅くなる(原因未調査) AWS Step Functions workflow Map (全要素の配列) 同時実行は一定数まで AWS Step Functions workflow Map (チャンクされた配列) AWS Step Functions workflow Map (チャンクされた配列)

第 3 レベル • 第 4 レベル • 第 5 レベル 42 42 (C) Recruit Co., Ltd. All rights reserved. Step Functions の実行履歴の最大数を乗り越える AWS Step Functions workflow Map (全要素の配列) AWS Step Functions workflow Map (チャンクされた配列) AWS Step Functions workflow Map (チャンクされた配列) Step Functions の標準ワークフローでは実行履歴が25000イベントを超えるとエラー終了する • ループで大量のタスクを実行すると超えてしまうことがあった前述のStateMachineを分割する対応で解決 • StateMachineごとに25000イベントまで許容される

第 3 レベル • 第 4 レベル • 第 5 レベル 45 45 (C) Recruit Co., Ltd. All rights reserved. 概要・ Craftoは、機械学習の自動化プラットフォームです。・機械学習の深い専門知識がない方でも、簡単にモデル構築が可能になっています。・また、データセットの統計情報の計算や、モデルの理解に役立つ可視化、また、実運用に適した様々な予測機能を提供します。

第 3 レベル • 第 4 レベル • 第 5 レベル 47 47 (C) Recruit Co., Ltd. All rights reserved. Craftoが提供する機能 • モデル構築時には、線形モデルやTree系のモデルを複数実行。 • ハイパーパラメータサーチだけでなく、欠損値の補完やエンコードなどの前処理も実行。 • 機械学習のエキスパート向けには、詳細設定より、最適化指標やパーティション手法の選択が可能。モデル構築

第 3 レベル • 第 4 レベル • 第 5 レベル 48 48 (C) Recruit Co., Ltd. All rights reserved. Craftoが提供する機能 • 構築したモデルについて、精度の確認、様々な可視化機能による学習結果の解釈。 • 「特徴量インパクト」では、どのカラムが予測の精度に貢献していたかを表示。 • 「混同行列」では、二値分類、多値分類において、予測結果と実データを比較。モデル可視化

第 3 レベル • 第 4 レベル • 第 5 レベル 49 49 (C) Recruit Co., Ltd. All rights reserved. Craftoが提供する機能 • 学習済みモデルを利用した、複数の予測実行機能。 • アドホック予測では、ローカルファイルまたは Amazon S3 のファイルを入力に予測。 • crafto-client(Pythonライブラリ)を利用すると、Pythonから予測実行が可能。予測タスク

第 3 レベル • 第 4 レベル • 第 5 レベル 52 52 (C) Recruit Co., Ltd. All rights reserved. データ・ソリューション・キッチン Crois / Craftoは「データ・ソリューション・キッチン」となることを目指して開発されていますデータを食材に見立ててプランナー・データサイエンティスト・エンジニアが連携してデータを調理する場 = キッチンとなるということです三者がシェフとして料理に集中できるようにしますレストランのように管理の行き届いた場で適切なデータを適切に扱うことも意味しています

リクルートのデータ活用を支えるアマゾン ウェブ サービス ネイティブな機械学習プラットフォーム...

リクルートのデータ活用を支えるアマゾン ウェブ サービス ネイティブな機械学習プラットフォーム / AWS_conference

More Decks by Recruit

Other Decks in Technology

Featured

Transcript

リクルートのデータ活用を支えるアマゾンウェブサービスネイティブな機械学習プラットフォーム...

リクルートのデータ活用を支えるアマゾンウェブサービスネイティブな機械学習プラットフォーム / AWS_conference