リクルートテクノロジーズでAIを開発する意義

2017/12/05 日本印刷技術協会主催セミナー「AIはビジネスでどこまで役に立つか？～業務効率化、サービス向上などAI活用の「いま」を知る」での、松田の講演資料になります

Transcript

1. リクルートテクノロジーズで AIを開発する意義 リクルートテクノロジーズ　データテクノロジーラボ部 松田徹也
2. 松田 徹也 まつだ　てつや 2011.4 NTT Communications入社 ・NW ・クラウド 2015.8 リクルートテクノロジーズ入社 ・ビッグデータクラウド基盤 ・Hadoop運用 ・A3RT開発
3. 本日の内容 1. はじめに 2. A3RT開発経緯 3. A3RT活用事例 4. AI導入で大切なこと ※細かい技術の話、アルゴリズムの話はしません
4. はじめに
5. リクルートという会社
6. リクルートテクノロジーズの立ち位置 リクルートグループのIT・ネットマーケティング領域のテクノロジー開発を担う会社
8. データテクノロジーラボ部
9. データテクノロジーラボ部ミッション • 各事業のデータ活用施策の推進、 AI関連技術の正しい認知と導入の推進 • 次代のデータ活用用途の開拓 • 次代のデータテクノロジー、アルゴリズムの開拓
10. リクルートの機械学習によるソリューション活用の敷居を下げ、 事業のサービスの価値を高めるための汎用的な機械学習APIサービス群
11. A3RT開発経緯
12. 特徴量にフォーカス (0,0,1,0,0,0 ・・・・・・・・・・・・・・ ・・・・・・・・・・・・・) 無意識の 特徴抽出 predict カブトムシっぽい 例えば500枚以上 predict 似てるけど違う。 特徴と ラベルの 紐付け 足が6本 茶色い 角がある 光沢 カブトムシ 自動特徴抽出 ベクトル化 特徴と ラベルの 紐付け
13. 業務への適用 人の単純作業リプレイスを施策出口へ 属人ルール 感覚による判断 ルーチンワーク 単純作業 特徴量抽出 自動化
14. APIによる横展開効率化 リクルート内サービス モデル化 API API API モデル・技術共有 コール 再学習
15. 社内プロダクト化した背景 案件ごとのフルスクラッチ開発 時間・コストがかかり スグ使えない・導入まで至らない 外部のAPI群 汎用性が仇となり、そのまま使えない カスタマイズ性が低い • 活用への敷居が高く設計・開発・運用への工数が高い • データ活用・ロジック作成に気を取られ、ビジネス活用まで考えがいたらない 機械学習導入への敷居
16. A3RT特徴 リクルート向けに最適化 　ユースケースを絞って効果的なソリューションの開発・導入 最新技術・継続的改善 　隠蔽化することで、裏側は常に最新化 　パラメータ自動チューニングなどで継続的に改善
17. データテクノロジーラボ部におけるプロダクト
18. データテクノロジーラボ部におけるプロダクト
19. A3RT活用事例
20. A3RTに含まれる各機能 社内各サービスに対して機械学習ソリューションを提供 レコメンド・推薦システム、画像認識、原稿生成、原稿校閲、文章要約、 音声認識、対話ボット、ユーザ属性推定、 ……
21. 問合せ対応 自動化 チャットフレームワーク 利用可能機能 • 汎用日常会話モデル • Q&Aモデル
22. ゼクシィ恋結での事例 目的 CSに寄せられる問合せ件数の削減 （簡単な質問は事前に機械で答えてしまう。） 現状 • メール、電話での問合せ件数は増加傾向 • 一方で問合せの内容は、 ID忘れなど簡素化 • 内容は口語体文章化、短文化 • ナレッジの属人化 • コストセンターとして費用がかけられない状況
23. chatbotイメージ 日常会話 Q&A
24. システム構成図 S3 log Chat API EC2 Core 日常会話 API Q&A API redis Input Message Return Message learning 画像認識 API 音声認識 API Elasticsearch Q&A Master
25. お問合せ率推移 • 問合せ率が　34.1%削減 • 問合せの中にChatBotに対する苦情はなし
26. 時間帯別利用数
27. 画像で検索 画像処理解析技術 利用可能機能 • 画像自動タグ付け • 画像タグ学習 • 不適切画像検出
28. 車種判別 気になるクルマを写真撮影 アプリで判別 そのまま中古車検索
29. 名前が分からなくても調べるのは一般的なカスタマー行動 街角で見かけたクルマが候補になる 車に詳しくない人もターゲットに
30. 名前がわからず探すのは難しい • 実際のカスタマーの声 • 車種名を目を凝らしても見られなかったら、色味、フォルムの雰囲気で検索 • 調べられない。マークを見るようにしているけれど見損なう時もある • 少し調べて、わからなかったら諦めます ※ミルトークより抜粋・一部改変
31. 約40万台の画像を車種ごとに学習 入稿されている中古車の画像を 使い判別モデル作成 ジムニー 人気の上位500車種で 95% の正答率
32. FB機能 「利用されるほど精度が上がる自己学習システム」 正解・不正解を回答 不正解の場合 車種名を入力 No ◦ or ✕ 車種名 1 ◦ - 2 ✕ フィット 3 ✕ 入力なし 4 ✕ 入力なし 車種名の入力されない教師なしデータも VATを使うことで学習に利用できる ※自動での学習は設計段階のため未実装
33. 大きなPR効果 #カーセンサーチャレンジ Over 10k tweet
34. アプリDL数急増 リリース
35. 原稿不備率削減 ハイブリッド原稿校閲API 利用可能機能 • ルールベース校閲 • 機械学習ベース校閲 • カスタマイズ機能
36. 原稿内不一致/誤字脱字検出 • 複数の項目間での記述の矛盾や表記ゆれを検出できる 収容内容 2〜160人 キャッチコピー 300名まで貸し切りOK！ 写真キャッチ 贅沢な街並を堪能！ 写真キャプション …旭川の街並みが広がる景色を…. 矛盾 表記ゆれ 研修があるので 自身のない方も安心 数億円単位を金額の商談となる 自信 の • 間違い箇所を検出し、代替候補の文字/単語をサジェストできる
37. 導入効果 原稿不備率の低下
38. 口コミ審査 文章分類API 利用可能機能 • ルールベース校閲 • 機械学習ベース校閲 • カスタマイズ機能
39. 口コミ審査の需要拡大（リクルートライフスタイル　ホットペッパービューティー） • 口コミ投稿件数が150%推移で上昇 • 審査コストのキャップによる施策制限 • 口コミ審査の複雑化
40. 文章分類で口コミ審査
41. 継続的な精度向上 秘
42. APIの真髄 機能融合による新価値創出 　「個」で有用 　「群」ならもっと有用 サービスへの 機能提供 作業の代替 Solution MIX
43. 掲載可能な 文章自動作成 文章自動作成　✕　文章分類 文章を自動で作成し その文章が掲載可能かを判別し 使える文章のみを自動生成
44. ✓ 文章を自動生成するAPIであるneonと文章をラベル分類するAPIであるLinneをミックス • neonで自動作成した文章を掲載してOKなものかNGなものかを判別し候補をフィルタ neonで自動作成された文章が 掲載OKかを判断 第一候補: 掲載OK 第二候補: 掲載NG 第三候補: 掲載OK 第四候補: 掲載OK 第五候補: 掲載OK NGになったものを除外して表示
45. 議事録自動生成 文字起こし　✕　文章要約 音声から文章（文字）を作り その文章を要約し、 会話のポイントを作り出す
46. ✓ 音声から文字を書き起こすAPI muzeと文章を要約するAPI SAMARAIをミックス • 音声ファイルで話されている内容を要約した状態で得ることができる 音声ファイル テキストファイル テキスト要約
47. AI導入で大切なこと
48. 前提 • 問題を解決するものでなければいけない ◦ 「とりあえず試してみた」だけではビジネスとは言えない • 実際に使ってもらわなければ価値がない ◦ ソリューションとして提供し、導入するところまでやり抜く ◦ 顧客にコストをかけるだけの価値があると納得してもらう • ビジネスとしてスケールしなければいけない ◦ 限られた人材/時間で、より多くの利用者を獲得する
49. コツだと思っていること 検討フェーズ 1. 問題を正しく見極める 2. 期待値を調整する 3. 長期的な伴走を覚悟する 実装フェーズ 4. 機械学習部分をシステム本体から分離させる 5. シンプルな方法から試していく 6. 結果を正しく測る
50. 1.問題を正しく見極める • 機械学習によって何をしなければいけないのか？を問い続ける ◦ 最終的な目的に至るために、どのような問題を解くのか？を考える ◦ 現場では問題は常に変わり続ける（市場やニーズの変化） • 問題を解決するために新たな問題を生み出してはいけない ◦ 安易な機械学習の乱用は、必ず後の負債に繋がる • 複数の問題を一度に解こうとしてはいけない ◦ 二兎追うものは一兎をも得ず ◦ 例：コスト削減しつつ利益も最大化する人工知能 /AI
51. 2. 期待値を調整する • 精度への期待 ◦ 人間が完璧にできないように、機械が 100%の精度を出すことは不可能 ◦ 人間に近づけることは可能 • 成果への期待 ◦ 最近のAIは自動でxxができる → 人間の仕事が無くなる……？ ◦ 将来的な可能性も含めつつ、現時点での可能不可能を明確にする • 評価の方法をあらかじめ決めておく ◦ 目標の定量化をして、間違った方向の努力をしない ◦ ビジネス側の人間と技術者が、共通した数字で議論することが大事
52. 3. 長期的な伴走を覚悟する • 精度面で継続的な改善が必要 ◦ 最初から精度が理想値まで上がるわけではない ▪ 精度を上げていく地道な作業が必要 ◦ 精度を常に評価しモニタリングし続ける必要がある • 長期的伴走のポジティブな側面 ◦ データが蓄積していくことで精度は向上していく • 「木こりのジレンマ」に陥らない ◦ 目の前の課題も大事だが、先を見越して投資をするのも大事
53. 4. 機械学習部分をシステム本体から分離する • 関係性を疎にする ◦ 適する開発スタイルがそもそも違う ▪ ウォーターフォール型開発 vs. アジャイル型開発 ◦ 本体システムの開発が終了しても機械学習部分の管理は続く • 独立して開発 ◦ インプット/アウトプットを決めておけば、中身の精度向上は本体システムに影響さ れずに実施できる ◦ マイクロサービス的な考え方
54. 5. シンプルな方法から試していく • 簡単な方法から試して、徐々に複雑な手法に深掘る ◦ すべてにおける評価の基準を作る ◦ 基準が無ければ精度や品質の良し悪しを判断できない • 複雑なことに時間をかけてしまうことによる手戻りを無くす “ある問題を解くとき、その問題よりも難しい問題を途中で解いてはならない ” by Vapnik's Principle
55. ６. 結果を正しく測る • 構築した機械学習がビジネスとして価値があるかどうか ◦ やって意味があるの？あったの？に答える ◦ 施策の前後でどのKPIがどう変わったのかを測定 ◦ A/Bテストによる確認も重要 • ロジックがブラックボックスであることの不安を取り除く ◦ 人間の感覚と機械の精度が一致しないことがある ◦ 例：レコメンド・推薦システム
56. AI案件を回すために必要な資質 技術力 情報力 施策接続 コミット力 ✕ ✕
57. AIとの付き合い方
58. 目指すところ
59. AIを流行で終わらせない AIだけでは完結しない 地に足をつけて、AIを活用しこなす