m3 ai team - Speaker Deck

m3 ai team

by nishiba

Slide 1

Slide 1 text

エムスリーにおけるAI・機械学習チームの立ち上げと機械学習プロダクト開発  エムスリー／エンジニアリンググループリーダー／ AI・機械学習チームリーダー   西場正浩  2019年11月21日更新(Version 1.1)     

Slide 2

Slide 2 text

この登壇について  2

Slide 3

Slide 3 text

エムスリー株式会社  2019年11月20日現在   発表中のお願い  3 写真・SNSへ投稿OK    感想、コメント、ツッコミを  SNSに投稿してほしい！    ※ 発表後でエゴサする！ 

Slide 4

Slide 4 text

エムスリー株式会社  2019年11月20日現在   発表中のお願い  4 資料は公開済み！     

Slide 5

Slide 5 text

エムスリー株式会社  2019年11月20日現在   発表中のお願い  5 この発表について    ● 私個人から見たエムスリーや私の考え方    ● 気になったら、ぜひカジュアル面談に来てください。  エンジニア、VPoE、CTOがカジュアルに対応します。   

Slide 6

Slide 6 text

エムスリー株式会社  2019年11月20日現在   話すこと  1. 登壇者について  2. エムスリーについて  3. エンジニアリンググループについて  4. AI・機械学習チームについて  a. 組織  b. プロダクト  5. 今後、実現したいこと  6

Slide 7

Slide 7 text

登壇者、会社、組織紹介  7

Slide 8

Slide 8 text

登壇者  8

Slide 9

Slide 9 text

エムスリー株式会社  2019年11月20日現在   自己紹介  9 西場正浩 @m_nishiba         機械学習の勉強を始めてもうすぐ3年   最近、プロダクトマネージャー(PdM)の勉強とチャレンジ   38歳くらいで起業したい(あと4年半）   趣味は「ビジネスで新しい挑戦をすること」負荷かけたい   本・論文(ビジネスやML)はたくさん読む。巨人の肩にのりたい。   毎月続けるか辞めるかを考えている。  

Slide 10

Slide 10 text

エムスリー株式会社  2019年11月20日現在   自己紹介経歴  2017年3月入社（もうすぐ3年）       10 ● 学部で経営に関わる科目を学べたのは今となっては良かった。必要になったとき調べるきっかけになっている。  ● 数学を勉強した数年間があったことは非常に大きい。機械学習の勉強するときに数学で困ったことはほとんどない。  学部  ・経営、会計、組織論、マーケティングを学ぶ。   ・Webエンジニア(Perl, PHPなど）  ・戦略コンサルを目指すが「彼には勝てない...」     修士、博士  ・数理ファイナンスを学ぶ。集合位相から勉強をし直す。 Ph.D.を取得。  ・C++による数値計算やLisp による代数計算を通して、プログラミングやCSを学ぶ。   メガバンクでクオンツ   ・金融派生商品のリスク評価のための計算ライブラリの開発。  ・既存ライブラリのリファクタリング・  ・新ライブラリの設計／開発。   エムスリー入社 

Slide 11

Slide 11 text

エムスリー株式会社  11

Slide 12

Slide 12 text

エムスリー株式会社  2019年11月20日現在   12 日本における65歳以上の人口比率  3人に１人 

Slide 13

Slide 13 text

エムスリー株式会社  2019年11月20日現在   13 増え続ける日本の医療費  40兆円超 

Slide 14

Slide 14 text

エムスリー株式会社  2019年11月20日現在   エムスリーのミッション  インターネットを活用し、  健康で楽しく長生きする人を一人でも増やし、  不必要な医療コストを一円でも減らすこと  14

Slide 15

Slide 15 text

エムスリー株式会社  2019年11月20日現在   m3.com 医療従事者向けポータルサイトを運営  15 日本の医師の約90%（28万人以上）が登録   20以上の医療系のサービスを展開   日経225に採用された大企業   （AI関連のスタートアップではないです）   ❌ 医療業界の人がITにチャレンジ   ⭕ IT業界の人が医療にチャレンジ   グローバル展開。エンジニアも数ヶ月NY出張。   2018年、営業利益が300億円を突破  

Slide 16

Slide 16 text

エムスリー株式会社  2019年11月20日現在   医療界の変革をテーマに事業創造  16

Slide 17

Slide 17 text

エムスリー株式会社  2019年11月20日現在   エムスリーは非常にフラットな組織  17 経営会議メンバー  エンジニアリングG    グループ  A  グループ  B  AI・機械学習チーム  チーム A  チーム B  階層を最小化  意思決定のスピードも超高速  経営メンバー  リーダー  メンバー 

Slide 18

Slide 18 text

エムスリー株式会社  2019年11月20日現在   エムスリーの3つの行動指針  18 クライアント・いい仕事に   対する執着心  「世のため人のため」の大原則は顧客が満足する事だ。  「知恵を使って」顧客満足度を最大化を目指す    「まぁ、これくらいでいいよね」と思わず、相手にとってどういう状況が理想かを考えてやり抜く  社長意識を持って仕事に挑む   成果を出す事に集中し、上司を使う (アイデアを出させる、課題解決のヒントをもらう、顧客に連れて行くことを強化するなど)くらいの気概で仕事に取り組む    リーダーシップとは、自分がいなければ起きなかった変化を作ること。そういった意味では新入社員であってもリーダーシップを発揮できる      みなをプロフェッショナル   として尊重  「あの人はレベルが低い」「あのチームはダメだ」というようなことを仮に思うことがあれば、陰で言うのではなく、本人に改善点を率直に伝えてみることにより言われた方にも改善チャンスが生まれる。  表面的な人間関係を取り繕う「優しく冷たい」態度ではなく、本質的にお互いを高めていく「厳しく暖かい」関係が理想 

Slide 19

Slide 19 text

エンジニアリングG  19

Slide 20

Slide 20 text

エムスリー株式会社  2019年11月20日現在   エンジニアリングGの概要  人数  20 84  ● 少数精鋭な組織を目指す  ○ 営業利益規模に比べ少ない。  ○ エンジニア採用中 

Slide 21

Slide 21 text

エムスリー株式会社  2019年11月20日現在   エンジニアリングGの概要  チーム数  21 16  ● 平均メンバー数が5人 

Slide 22

Slide 22 text

エムスリー株式会社  2019年11月20日現在   目指す組織    ビジネスインパクトの  出せるエンジニア集団      市場でCTOになれるレベルの人材が全体の70%以上  採用基準  エンジニアリングGの採用基準と評価基準  22 技術力＝ギーク  思考力＝スマート  入社後評価基準  技術貢献  ビジネス貢献  組織貢献 

Slide 23

Slide 23 text

エムスリー株式会社  2019年11月20日現在   事業チーム  エンジニアリングGの紹介  23 Unit1 MRF  Unit3 新領域  Unit4 サイトプロモ  Unit6 キャリア  Unit9 治験  Unit5 コンシューマ  Unit7 BIR  電子カルテ  横断チーム  SRE  基盤  マルデバ  セキュリティ  グローバル支援  AI・機械学習  QA  新規プロダクト支援  ● チーム間の異動も容易に可能。  ● チームによって使用技術も全然違うことも。 

Slide 24

Slide 24 text

エムスリー株式会社  2019年11月20日現在   エンジニアリングGのミッション  24 インターネットを活用し、  健康で楽しく長生きする人を一人でも増やし、  不必要な医療コストを一円でも減らすこと  テクノロジー導入やプロダクト開発で  会社のミッションを支援促進する 

Slide 25

Slide 25 text

エムスリー株式会社  2019年11月20日現在   エンジニアリングGの3つの特徴  エンジニアが裁量をもってチームで自由に技術選定    100人の中の1人ではなく、5人の中の1として活躍    グレード制ではなくOutput重視のプロ野球的報酬制度  25 1  2  3 

Slide 26

Slide 26 text

エムスリー株式会社  2019年11月20日現在   エンジニアリングGの各チームが使っている技術例1  26 チーム名  言語など  利用技術／フレームワークなど  Unit1:MR君  Facebook広告のような事業  Java、Kotlin、Python、TypeScript  Vue.js、Spring Boot  Unit3:新領域  開業支援、ECなど  Java、Kotlin、TypeScript  Spring、Nuxt.js、SpringBoot  Unit4:m3.com  医療ニュース、医療版2チャンネル  Java、Kotlin、Scala、JS  Vue.js、Play2、Spring Boot  Unit5:コンシューマ  医療版Yahoo!知恵袋、ゲノム  Ruby、Java、JS、Elixir  Rails、Spring Boot、Vue.js、Phoenix  Unit6:キャリア  医療従事者向けキャリア支援  Ruby、Kotlin、Java、JS  Vue.js、Rails、Spring Boot  Unit7:BIR  医療版GoogleForms、調査事業  Go、Kotlin、Java、JS  React、Spring Boot、GCP  Unit9:治験  治験、臨床研究のIT化推進  Ruby、Java、 Kotlin、 Scala、JS  Rails、Spring Boot、Play、React、Vue.js  電カル  クラウド電子カルテ販売数No1  JS、Ruby、Scala、Swift、Java  React、Rails、Cats 

Slide 27

Slide 27 text

エムスリー株式会社  2019年11月20日現在   エンジニアリングGの各チームが使っている技術例2  27 チーム名  言語など  利用技術／フレームワークなど  SRE  オンプレ＋クラウドインフラ改善  Ruby、Python、Go、Perl、Bash  AWS、GCP、Terraform、Ansible  基盤  共通サービス、ライブラリ、DX  Ruby、Scala、Java、Python、Kotlin、JS  Rails、Play2、Spring、React、Vue.js  マルデバ  Android / iOS / サーバサイド  Java、Kotlin、Swift、Objective-C  Rx{Swift,Java} 、Spring Boot、 GraphQL  AI・機械学習  医療情報の最適化、AI画像診断  Python、Ruby、Go  AWS、GCP、Terraform、Kubernetes  セキュリティ  脆弱性検査や技術的対応  Java、Kotlin、Ruby、JS  QA  プロセスも含めた品質改善活動  Ruby、Java  Selenium、xUnit、TestRail、JIRA  新規プロダクト支援  多数生まれる新規事業の支援など  Ruby  Rails  グローバル支援  海外グループ会社の技術支援など  TypeScript  Express、GraphQL 

Slide 28

Slide 28 text

エムスリー株式会社  2019年11月20日現在   28 エムスリーエンジニアリングGの  働き方の一例として  AI・機械学習チームの取り組みと  私の働き方を紹介します   

Slide 29

Slide 29 text

AI・機械学習チーム  29

Slide 30

Slide 30 text

エムスリー株式会社  2019年11月20日現在   チームのミッション  目標: 年換算利益貢献XX億円(秘密)を達成する。  ※ 利益貢献とする理由として、医療分野には解決すべき課題が多くあるが、まだまだ組織の人数が少ないため、効率的なものから解決していきたいから。    30 データとアルゴリズムを活用して  医療の質を向上させ、健康寿命を伸ばし、  不必要な医療コストを減らす 

Slide 31

Slide 31 text

エムスリー株式会社  2019年11月20日現在   31 立ち上げて約2年半  いい感じに活躍しながら成長   

Slide 32

Slide 32 text

エムスリー株式会社  2019年11月20日現在   AIチームが活躍できた理由  32 AIチーム(Eng)  事業チーム(Eng他)  事業チーム(ビジネスサイド)       ● データを活用した施策・PDCA  ● ABテストを盛んに行なっている  ● AIなど新しい技術を好きな人が多い  ● サービス自体も大きい  ● エンジニアとして実力が高い  ● 担当事業への理解  ● アルゴリズムやデータへの理解  ● 高い社長意識によるAI導入の支援    ● 機械学習に関する知識  ● ビジネスニーズドリブンの開発体制  ● データ基盤も整備できる(2年目から)  ● MLエンジニアバックグラウンドのPdM(3年目から)  ● 立ち上げ当初から3つの組織が互いに理解・協力できた ● さらに経営陣は今後のビジネスにおいて AI活用は必須と考えていた

Slide 33

Slide 33 text

エムスリー株式会社  2019年11月20日現在   エムスリー／エンジニアリングG／AI・機械学習チームの概略  33 15人  私が入社  2017年3月  2019年11月  データEng  笹川さん入社  ML Eng  河合さん入社  23個  MVP賞  INV賞(イノベーション)  INV賞  メンバーは15人まで増え、チームリーダー2人制   まだ開発中のプロダクトも含め23個  

Slide 34

Slide 34 text

エムスリー株式会社  2019年11月20日現在   AI・機械学習チームメンバー  34

Slide 35

Slide 35 text

1年目(2017年3月〜)  組織  35

Slide 36

Slide 36 text

エムスリー株式会社  2019年11月20日現在   1年目(2017年3月〜)の組織  ● 上手く立ち上がったのは多くの人の積極的な協力のおかげ  ○ 何かをするとは、何かをしないということ   ○ 協力の陰で行われなかったプロジェクトが存在する     ● 前述の通り、環境や状況面で好条件が整っていた  ○ 偶然ではなく、日々多くの人が良い環境を作るために頑張っている   ○ 立ち上げの採用面では、人事の友永さんの協力も大きい     ● フラットな組織で入社直後の私の意見も通る  ○ リーダーシップを期待してくれる＝今までにない変化を期待してくれる   36 ゼロからの立ち上げ 

Slide 37

Slide 37 text

エムスリー株式会社  2019年11月20日現在   1年目(2017年3月〜)の組織  37 それでも大変だったこと  私自身がML素人。レコメンド(最初のプロダクト)についてのアドバイスをくれる人が社内にいなかった   ● モデルの数式やパラメータを最終的なアウトプット(レコメンド結果)に紐付けて徹底的に考える   ○ 例えば「どのパラメータを動かしたらアウトプットがどう変わるか」など。   ○ これは前職のクオンツ時代に凄い先輩たちに徹底的に鍛えられた。   ● サービス担当者に全面的に協力してもらう。   ○ レコメンド結果がどういうのになれば嬉しいか?   ○ "こういう人にはこれが出て欲しい"、"こういう状況ではこういうのが出て欲しい"   ● インプット量を圧倒的に増やす   ○ MLの広い範囲は難しいが、テキストのレコメンドという分野に絞って徹底的に論文サーベイ   ○ 勉強会に参加し、詳しい人に質問する。当時はGunosyさんの輪読会に参加し、関さんに質問していた。(本当にありがとうございます。)  

Slide 38

Slide 38 text

エムスリー株式会社  2019年11月20日現在   1年目(2017年3月〜)の組織  取り組むべき課題が社内に多く存在するメンバーを増やす取り組みを行う   38 採用戦略  ほしい人物像を考える   ● 他社のジョブ・ディスクリプションを研究   ● 他社の失敗を集める。機械学習チームが解散になった例など。  ● 他社のイベントに行き、エンジニアだけでなくビジネスサイドに組織について聞く   ● 私自身がこの環境で活躍するために必要な人を考える  必要なメンバー  ● データエンジニア。他チームや他グループとも協力してデータ基盤を作れる人。     ● MLエンジニア。MLのアルゴリズムだけでなく周辺のプロダクションコードを書ける人。  

Slide 39

Slide 39 text

エムスリー株式会社  2019年11月20日現在   1年目(2017年3月〜)の組織  39 ● データエンジニア。他チームや他グループとも協力してデータ基盤を作れる人   ○ 創業してから20年近く経過し、データ基盤が整っているとは言えない状況   ○ 多くのエンジニアやビジネスサイドと協力してデータ基盤を整備する必要がある   ○ MLを行うにもデータが手に入らないと何もできない     ● MLエンジニア。MLのアルゴリズムだけでなく周辺のプロダクションコードを書ける人   ○ MLだけを開発してもリリースできない。リリースに必要な開発を自ら行う必要がある。   ○ 他人がJupyter Notebookで書いた汚いコードを読み解いてバッチ処理化するのは辛い。   ○ プロダクトを改善するためにも開発と運用の両方を担当するべき。   必要なメンバーの条件の理由 

Slide 40

Slide 40 text

1年目(2017年3月〜)  プロダクト  40

Slide 41

Slide 41 text

エムスリー株式会社  2019年11月20日現在   1年目(2017年3月〜)のプロダクト  ● Archimedes: ニュースのレコメンドエンジン     ● Google Newsの論文をベースにアルゴリズムを開発   ○ Personalized News Recommendation Based on Click Behavior ( link)  ● 過去のABテストを通して社内で蓄積された知見もモデルに取り込んだ。   ● リリース後に何度もバージョンアップを続けた。   ○ 実際のログを見ながらモデルの挙動を分析し、次のバージョンに活かした。   ○ 毎日、Ctrl群で表示された記事とTest群で表示された記事を見比べた。上手く出なかった理由を分析した。    ● 今では大きいプロダクトに育っており、様々なサービスに横展開されている。   ● 社内表彰のINV賞を受賞   41 最初のプロダクトはニュース推薦 

Slide 42

Slide 42 text

エムスリー株式会社  2019年11月20日現在   1年目(2017年3月〜)のプロダクト  ● アルゴリズム部分だけを作ればABテストができる環境にある。   ○ できる限り工数を小さくしたい。自分が管理できるところに限定したい。     ● 今までルールベースで頑張っていて結果がでている   ○ ちゃんとMLですれば最悪ルールベースは作れるのでは?     ● 他社で成功事例があり、論文等が多くでている。   ○ 素人なんで自分で新しい何かを作ろうとするのではなく、既存のものを使えることが大事   ○ 論文の事例と状況が似ている。前提となっているデータの特徴が似ている     ● ビジネスインパクトが大きい   ○ 現状の利益貢献額×改善率   ○ MLが役に立つことをアピールしたい。ただし素人なので改善率は高くは望めない   42 最初のプロダクトの選び方 

Slide 43

Slide 43 text

エムスリー株式会社  2019年11月20日現在   1年目(2017年3月〜)のプロダクト  ● ポータルサイトのアクセスログを解析。   ○ ビジネスサイドに今までの想定とは異なるデータを見せることができた。     ● しかし、非常に時間がかかった。ビジネスインパクトという意味では不十分。   ○ 私は分析結果から企画を作れなかった。   ○ 分析はレコメンドや自然言語処理とぜんぜん違うスキルが必要だと感じている。     ● 社内にデータ分析グループが存在するので、彼らに任せたほうがよさそう。餅は餅屋。   ○ この記事での説明は分かりやすいと思った。   ○ “職種の壁がなくなる時代の到来。データアナリストの進化系とは” ( link)    ● 今ではビジネスの意思決定のための深い分析にはチャレンジしない。   （ただし、そういうメンバーが増えたら行う。）   43 分析プロジェクト 

Slide 44

Slide 44 text

エムスリー株式会社  2019年11月20日現在   1年目(2017年3月〜)のプロダクト  ● Bourbaki: バナーデザインをContextual Banditで最適化する。     ● 1つ目と同様、これもビジネスインパクトが大きいところを狙う。他社での成功事例も多い。     ● 失敗、全然だめだった。   ○ シンプルなベンチマークに全然勝てない。   ■ 複数のデザインを一定期間表示してその後一番強かったものを出す。   ○ オンライン評価での結果を分析したら、クリックにコンテキストが効いていない。     ● 反省  ○ 最初の分析が雑。現在出ているデザインに関する知識も、クリックに影響するユーザー属性等もわかっていなかった。  44 2つ目のプロダクト 

Slide 45

Slide 45 text

2年目(2018年4月〜)  組織  45

Slide 46

Slide 46 text

エムスリー株式会社  2019年11月20日現在   ● 1つ目のプロダクトのArchimedesで社内表彰のINV賞受賞    ● チームメンバーが自分を含め4人になる    ● 待望のDataEngの笹川さん(現チームリーダー、ツートップ制)が入社    ● 山崎さん(現VPoE)から私(西場)にチームリーダーを交代    2年目(2018年4月〜)の組織  46 2年目に突入 

Slide 47

Slide 47 text

エムスリー株式会社  2019年11月20日現在   2年目(2018年4月〜)の組織  47 マネジメントに再挑戦、そして失敗  行なったこと  ● リーダーシップはエンジニアリングマネジメントの本を読んで実践した  ● 毎週30分1on1を行なった  ○ プロジェクトの進捗以外の話を聞いた  ○ 不満や課題も聞いたし、解決できる問題であれば解決した  ○ たまに2人でランチに行くようにした  ● 選択肢をすべて提示して、本人が「やりたい」といったものを極力アサインした  ● 積極的に成長を支援しようとした  結果  ● チームのパフォーマンスが上がらなかった  ● 新卒メンバーが他チームに異動   ● 互いにストレスが大きかった。少なくとも私はもう二度と経験したくない  

Slide 48

Slide 48 text

エムスリー株式会社  2019年11月20日現在   2年目(2018年4月〜)の組織  48 失敗に対する自分なりの理解  そもそも教育には色んなタイプがあるし、私自身のスキルも認識できていなかった。     ● 代理で電話に出たら相手の名前をちゃんと聞いてメモする(基本出なくていい）   ● リーダブルコードを読んで、それを守る   ● 担当プロダクトに関連する論文は一通りサーベイする   ● それなりに妥当な(他の人に説明できる)工数見積りを行い、基本は締切を守る   遅れそうだと思ったときに関係者に報告と状況を共有する   ● 足りない知識は自ら本などを読んで勉強する。分からなければ周りに質問する   ● ML Engが伸ばしたい方向のスキルが必要なプロジェクトを担当する   ● 効率的に働き、完了までの工数を少なくする。   私は指摘はできる。  それ以上はできない。  私はサポートできる。 

Slide 49

Slide 49 text

エムスリー株式会社  2019年11月20日現在   2年目(2018年4月〜)の組織  ● やり方が私とメンバーに合っていなかった。   ○ 私の言い方は世間一般的にはきついらしい。いわゆる理詰めに近い？数学の証明間違えていたら相手が誰であれストレートに「そこ間違っていますよ」と指摘する感覚   ○ 「やりたい」と言っていることをアサインする（ホールケーキ問題、コラム参照）     ● 他者と自分との分離ができていなかった。   ○ アドラー心理学”嫌われる勇気”     ● マイナスをゼロにすることよりもプラスをさらに大きくすることのほうが私は楽しい   ○ 強い仲間と面白いプロダクトやインパクトの大きいプロダクトを作ろうよ!   ○ “会社からウェットティッシュが支給されないのが不満”とか心の底からどうでもいい   49 失敗に対する自分なりの理解 

Slide 50

Slide 50 text

エムスリー株式会社  2019年11月20日現在   ● 強い人がいる、強い人の濃度が高い     2年目(2018年4月〜)の組織  50 採用戦略  やっぱり強い人と面白い仕事をしたい強い人が働きたいと思う環境を作る   行っていること  ● 自分自身が強くなろう。もっと勉強する。成果にこだわる。  ● 採用基準を厳しく。ミスマッチは双方にとって不幸。  ● アルゴリズムや実績を公開可能にする。 GitHubや外部勉強会。   ● バイネームでスカウト   ● …   強い人が働きたいと思う環境(更新中)   ● 面白い案件が多くある。その中から自分で選べる  ● 強い人がいる。強い人の濃度が高い   ● 会社のミッションに共感できる   ● 魅力的なメンバーが多い   ● キャリアアップに繋がる   ● 成果が評価(給料)に繋がる   ● …  

Slide 51

Slide 51 text

2年目(2018年4月〜)  プロダクト  51

Slide 52

Slide 52 text

エムスリー株式会社  2019年11月20日現在   2年目(2018年4月〜)のプロダクト  ● ユーザー行動とテキスト情報に基づいたアイテムの類似度計算   ○ “CNNと協調フィルタリングを使った日本語文書のリコメンド”( link)  ○ “医療用語に注目した文書の類似度計算(SCDV+XGBoost)” ( link)    ● input: userとitemのペア, output: itemのリスト。   ○ ANNにアルゴリズムも基盤も対応しておらず、かなり厳しい。   ○ 今はアルゴリズムはANNに対応できるが、チームでANNの使用実績はない。     ● 失敗、最近クローズした。   ● アルゴリズム、基盤、企画ともに”あと一歩”という感じになり、いったん中止。   ○ もろもろ改良を検討中。   ○ 大きいビジネスインパクトが出そうな企画が見つかり次第、再開。   52 Cantor 

Slide 53

Slide 53 text

エムスリー株式会社  2019年11月20日現在   2年目(2018年4月〜)のプロダクト  ● クローラー。今後の布石。1年経ってようやく。     ● 医療情報に特化した検索エンジンを作りたい。   ○ 例: 医師が「このサイト/アカウントは非科学的な記述が多いな」と思ったら報告できる仕組みとか。検索順位を下げる or 非表示することができる   ○ 医師向け、患者向けで分けたり   ○ グローバルで行いたい   53 Feynman 

Slide 54

Slide 54 text

エムスリー株式会社  2019年11月20日現在   2年目(2018年4月〜)のプロダクト  54 ● サービス横断で記事にタグ付けを行う   ○ 今までサービス横断で共通のタグ付けを行なっていなかった  ○ 約10サービスに対応。今後も拡大予定  ○ キーワードのほうが分析やちょっとした施策に使いやすい    ● 大きなビジネスインパクトを生み出すプロダクトに成長   ○ 社内表彰のINV賞を受賞    ● 外部データを活用し正式な薬剤名・疾患名をキーワードマッチング(少し工夫)   ○ ビジネスニーズ。MLで重要そうな単語のタグ付けを行いたいわけではない  ○ アイテムの特徴量として、重要そうなキーワードを抽出することは非常に重要  ○ ”重要そう”の定義ができないし、闇雲にキーワードを増やすのは非効率  ○ そこで、Isaacsが重要な役割を果たす  Gauss 

Slide 55

Slide 55 text

エムスリー株式会社  2019年11月20日現在   2年目(2018年4月〜)のプロダクト  ● ML系のバッチ処理の開発を効率化   ○ SpotifyのOSSのluigiをラップしたモジュール   ○ OSSとして公開 “pip install gokart”   ○ “機械学習プロジェクト向け Pipelineライブラリgokartを用いた開発と運用 ” (link)    ● 共通化によりプロダクトを跨いだ開発が効率的に   ○ BigQueryからのデータ取得などは共通Task化   ○ luigi.Taskを継承したgokart.TaskOnKartを継承することによりコード量を削減   ○ データの前処理などを共通化することにより開発を効率化   ○ どのプロダクトのクラスも同じ設計になるのでコードレビューが容易に。   ○ 自分が担当していないプロダクトの開発も容易に。   55 gokart  私自身の生産性を爆上げさせるために開発  

Slide 56

Slide 56 text

3年目(2019年4月〜)の組織  56

Slide 57

Slide 57 text

エムスリー株式会社  2019年11月20日現在   3年目(2019年4月〜)の組織  ● チームメンバーが倍増し自分を含め9人になる  ○ 新卒、第2新卒が合わせて4人。半数近くを占める。 ● twitterやnoteで話題になった河合さんも入社  ○ “ヤフーを退職しエムスリーに入社しました”(link) ● それなりに知名度も上がってきたと感じる ● 飛躍の1年になりそう!! 57 3年目に突入 

Slide 58

Slide 58 text

エムスリー株式会社  2019年11月20日現在   ● 上司の優位性は幅広い情報を多く持っている   ● メンバーはプロダクトに関して深い情報を多く持っている     ● 双方向の情報共有と細かなタスク管理の共通認識を持つ   ○ 1on1はメンバーの担当するプロダクトについて議論する   ○ 私はリクエストするが必須ではない     ● メンタルケアやその他の悩み相談の1on1は私からはしない   ○ 私が全員と均等にコミュニケーションを行う必要はない   ○ 私が何か察知したら他のチームリーダーなどに依頼する   ○ リクエストがあればもちろん行う     3年目(2019年4月〜)の組織  58 チームマネジメントの方法を刷新! 

Slide 59

Slide 59 text

エムスリー株式会社  2019年11月20日現在   3年目(2019年4月〜)の組織  ● リファラルの強化    ● さらに採用選考を厳しくする  ○ 常に現チームの平均以上と思える人を採りたい  59 採用戦略 

Slide 60

Slide 60 text

3年目(2019年4月〜)  プロダクト  60

Slide 61

Slide 61 text

エムスリー株式会社  2019年11月20日現在   3年目(2019年4月〜)のプロダクト  ● 記事内の重要単語に関連コンテンツ一覧ページへのリンクを貼る。   ○ サービス間の回遊性を上げることが目的   ○ Gaussを活用している     ● 各記事をチェックし、本来付いていてほしいキーワードにリンクが貼られるようにGaussを拡張していく  ○ Gaussの改善とサービス改善を同時に行う   ○ ニーズが先、開発が後     61 Isaacs 

Slide 62

Slide 62 text

エムスリー株式会社  2019年11月20日現在   ● ユーザーとキーワードのペアに対するスコアリング   ○ “エムスリーにおけるグラフ構造を用いたユーザ興味のタグ付け”( link)  ○ Gaussによって付けられたタグとアクセスログを入力データとしている   ○ さらに、属性データやアンケート等のデータも活用することができる     ● かなり汎用的なアルゴリズムとなっている   ○ 実際はアイテムとキーワードのペアのスコアリングも行える   ○ 今後様々なプロダクト／プロジェクトで活用予定     3年目(2019年4月〜)のプロダクト  62 Maxwell 

Slide 63

Slide 63 text

エムスリー株式会社  2019年11月20日現在   3年目(2019年4月〜)のプロダクト  ● Nielsen … 様々なランキングAPI   ● Ohm … 医師のQ&AサービスにおけるQ&Aのレコメンドエンジン   ● Pauli … 論文のレコメンドエンジン   ● Quinn … 配信時間や記事タイトルの出し分けエンジン   ● Ricatti … ToDo（というサービス）の基盤   ● Shannon … 掲示板のレコメンドエンジン   ● Vapnik … 医療論文のアブストラクトの構造化&翻訳   ● Weil … 順序があるコンテンツ表示のログ基盤   ● Xenocrates … 様々な箇所で利用できるRankingモデル     63 多くのプロダクトが生まれる 

Slide 64

Slide 64 text

現在(2019年11月)  64

Slide 65

Slide 65 text

エムスリー株式会社  2019年11月20日現在   現在(2019年11月)  ● メンバーは15人。めっちゃ増えた。  ○ Leader 2人、DataEng 5人、MLEng 6人、Almighty 2人    ● 新メンバーのオンボーディングも概ね終わってきた。  ○ 圧倒的な成果を狙う。    ● まだまだ採用はする。  ○ 特に一人でプロダクトの担当（企画、開発、運用）できるエンジニア  65 今のチーム 

Slide 66

Slide 66 text

エムスリー株式会社  2019年11月20日現在   現在(2019年11月)  ● 情報伝達  ○ 既存の情報や医療関係者の知見をグローバルに共有できるようにしたい   ○ 自然言語処理、検索、レコメンドなど     ● 臨床現場  ○ 今まであまり取り組めていなかったが、モチベーションとスキルがあるメンバーが増えたので、今後はチームとして強化していく   ○ AIチームという立場で７P(IR資料参照)を推進する     66 これから実現したいこと1  データやアルゴリズムを活用し、医療を良くしたい、医療に貢献したい

Slide 67

Slide 67 text

エムスリー株式会社  2019年11月20日現在   現在(2019年11月)  ● チームとして大きな成果を出す  ○ 狙い場所(企画)が大事  ○ 1億円より10億円、10億円より100億円の企画    ● 一人あたりの成果も大きくする  ○ 私自身も含めメンバー全員の成長  ○ “High Output Management”を高いレベルで実践      67 これから実現したいこと2  圧倒的な成果を出すチームにしたい

Slide 68

Slide 68 text

まとめ  68

Slide 69

Slide 69 text

エムスリー株式会社  2019年11月20日現在   まとめ  ROIを高めるために相互に依存したりプロダクトの改善が他のプロダクトの改善にもなるように設計している   69 相互に依存し合うプロダクト  Gauss  Maxwell  Isaacs  Feynman  Vapnic  Item  Tag  Access Log  Profile  User Features  Item Features  Archimedes  Other Products  Other Products  検索したい！検索基盤&アルゴリズムを作りたい人、ぜひ！！ 

Slide 70

Slide 70 text

エムスリー株式会社  2019年11月20日現在   まとめ  ● 双方向の情報共有と細かなタスク管理の共通認識を持つ   ○ 1on1はメンバーの担当するプロダクトについて議論する     ● メンタルケアやその他の悩み相談の1on1は私からはしない   ○ 私が全員と均等にコミュニケーションを行う必要はない   ○ 私が何か察知したら他のチームリーダーなどに依頼する     ● 基本動作については指摘はするが、それ以上のことはしない   ○ 守れる締切は守りましょう   ○ リーダブルコードを読みましょう     ● スキルアップ・キャリアアップのための支援をする   ○ 面白い企画を作る・持ってくる   ○ 一緒に働いて刺激になる人を採用する   70 チームマネジメント 

Slide 71

Slide 71 text

エムスリー株式会社  2019年11月20日現在   まとめ  71 チームマネジメント  Leader  Member  Member  Member  Member  過去の  プロジェクト  他チームや  他グループの  情報  チームや  プロダクトの  方向性  知識や  経験など  Slack、定例MTG、雑談などで情報共有   1on1を通じて、互いに情報共有   LeaderはMemberの生産量を最大化させるためのサポート（Not やる気の最大化）  

Slide 72

Slide 72 text

エムスリー株式会社  2019年11月20日現在   まとめ  20以上のサービスのコンテンツとリアルタイムのログデータを活用し、   リアルタイムにコンテンツのレコメンドなどを通じてUXを向上させたい   72 私が実現したい世界  Service A  Service B  共通基盤  コンテンツなど  コンテンツなど  リアルタイムのログ  リアルタイムのログ  最適化ロジック 

Slide 73

Slide 73 text

エムスリー株式会社  2019年11月20日現在   まとめ  ● オンプレからのクラウド化  ○ オンプレで動いているシステムをクラウドに移行する  ● 各サービスのSREの強化  ○ リアルタイムのログを活用した最適化APIを活用できるようにする  ● 各サービスの開発スピードの向上  ○ 各種ABテストや新機能の開発スピードを上げる  ● 共通基盤システムの拡張  ○ サービス間での連動を高いレベルでサポートする  ● リアルタイムに活用する最適化ロジック  ○ 様々なMLをアルゴリズム  ● これらに対する投資に見合う収益のあるプロダクト  ○ PdM！  73 そのために必要なエンジニア(抜粋)  https://jobs.m3.com/engineer/  カジュアル面談しましょう！！ 

Slide 74

Slide 74 text

チーム紹介（抜粋）  徐々に増やしていきます  74

Slide 75

Slide 75 text

エムスリー株式会社  2019年11月20日現在   チーム紹介  生産性の高いQAエンジニアとは？   「低コストで高品質の製品を創り、高速リリースが可能な開発チームを創る人」  ● 盲目的にバグの削減を目指すのではなく、顧客利益の最大化を目指す   ● 開発プロセスに上流から関わり、顧客が真に必要とする製品を提供する   ● テストでバグを検出するだけではなく、バグを埋め込まない仕組みを作る   ● 個人の作業の最適化を目指すのではなく、開発チーム全体の最適化を目指す   ● QAエンジニアとしての役割を越えて、開発チームの課題解決に全力を尽くす   テストだけではない品質保証活動をしたい方、是非一緒に仕事をしませんか？    75 QAチーム 

Slide 76

Slide 76 text

エムスリー株式会社  2019年11月20日現在   チーム紹介  エムスリーのマルチデバイスチームのエンジニアとは？   「エムスリーを支えるAndroid/iOS/サーバーサイド全てに責任を持つ集団」  ● m3.comアプリの開発を中心にエムスリーのマルチデバイス戦略全てに責任を持つ集団   ● Androidエンジニア数名、iOSエンジニア数名、サーバーサイドエンジニア数名に加えて、プロダクトマネージャー数名、デザイナ数名、QA数名で構成されるプロダクトチーム   ● 製薬プロモーション、医療従事者のキャリア支援、医療ニュース配信など、エムスリーの多くのサービスを横断的に支援  ● スマホ時代において、エムスリーの今後の10年の成長を支える特に重要なチーム   Android、iOS、サーバーサイドに加えてPdM、デザイナ、QAを絶賛募集中！    76 マルチデバイスチーム 

Slide 77

Slide 77 text

エムスリー株式会社  2019年11月20日現在   チーム紹介  電子カルテのエンジニアとは？   「テクノロジーを活用して医師の診療を楽にするクラウド電子カルテを開発」  ● クラウド電子カルテシェアNo1、クリニック向けAI搭載電子カルテ、エムスリーデジカルを開発   ● 使いやすいインターフェイスと優れた自動学習によって医師の手間を大きく削減   ● レセプトコンピュータも自社開発   ● 日本に存在する10万クリニック中、5万クリニック導入を目標に   ● ビジネスサイド数名、エンジニア数名、QA数名、サポート、セールス多数で構成   電子カルテで医療を変えたいPdM、エンジニア、デザイナ、QAを絶賛募集中！  77 電子カルテチーム 

Slide 78

Slide 78 text

エムスリー株式会社  2019年11月20日現在   チーム紹介  プロダクト支援チームとは？   「プロダクトマネジメントの力でエムスリーのプロダクト開発を支援する」  ● プロダクトマネージャー数名、プロトタイプが得意なエンジニアで構成   ● エンジニアリンググループVPoE兼プロダクトマネージャーの山崎直轄チーム   ● 事業チームや横断チームに落下傘して新規、既存のプロダクト開発を積極的に支援する   ● 正しい製品を見つけてから、正しく製品を開発するなど、プロダクトマネジメントの基本に忠実   ● 毎月のように新規事業が生み出され、仮説検証を潜り抜けて事業化されるプロダクト年間数本以上   実績のあるプロダクトマネージャー、実績のあるプロトタイパーを絶賛募集中！  78 プロダクト支援チーム 

Slide 79

Slide 79 text

メンバー紹介（抜粋）  79

Slide 80

Slide 80 text

エムスリー株式会社  2019年11月20日現在   星川貴樹  Androidエンジニア。2017年新卒入社。  2010年にIS01と出会って以来、モバイルOSはAndroid一筋で生きてます。  主要事業であるm3.comのAndroidアプリ主担当の他、フロントエンド・サーバーサイドの開発も行っています。  また、社内のセキュリティ教育・啓蒙に関する活動、バグハントも行っています。  趣味はCTF、野球観戦。社外での主な活動に、DroidKaigi 2018, 2019登壇、Kotlin Festスタッフなど。  80 弊社マルチデバイスチーム期待のホープ！と思っているうちにメキメキ成長し、今ではチームの主力プレイヤーとして、日本、世界の医療を前進させる頼もしい仲間に成長しています。セキュリティに強いのも素晴らしい！ 

Slide 81

Slide 81 text

エムスリー株式会社  2019年11月20日現在   冨岡純  大手web系企業、スタートアップを経て2015年にエムスリーに入社し、現在はグループ会社でCTOを務めています。  Scala/Ruby/JavaScriptなど幅広い技術を使って、新規サービスの開発・運用を行っています。スタートアップのようなスピード感と、負債にならない設計・実装のバランスをとって、効果が高い開発を心がけています。社外での主な活動に、ScalaMatsuri 2018, 2019登壇など。プライベートでは第一子が生まれ、最近まで育休を取得していました。毎日子どもを膝にのせてご飯を食べています。  81 入社当初よりその高い技術力でエムスリーデジカルの成長を大きく支えてくれていますが、特にデジカル成長のレバーとなったレセコン開発では驚異的なパフォーマンスを発揮。さすが、エムスリーグループ内最年少CTO。 

Slide 82

Slide 82 text

エムスリー株式会社  2019年11月20日現在   堀田有哉   2019年4月にエムスリーに中途入社しました。マルチデバイスチームで主に新規サービスの iOSアプリ開発をしています。  最近は趣味でRustの勉強をしています。社外での主な活動は、iOSDC 2018登壇等です。  82 2019年度上期にマルチデバイスチームに参画して頂いた期待の星。医療業界におけるiOS/Android等のスマートフォンネイティブアプリは医師のユーザ体験を大きく前進させる可能性があるので今後の活躍が今から楽しみ。 

Slide 83

Slide 83 text

エムスリー株式会社  2019年11月20日現在   岩月海人  大学院修士1年で中退に成功。  遊ぶかね欲しさから、仮想通貨トレードをするために開発を学びはじめる。  2019年新卒入社。AI・機械学習チームでバックエンド、クラウドインフラを担当しています。  GCPなどのクラウド技術を活用し、チームのデータ基盤や社内横断のログ基盤を構築しています。  大学ではネットワークの研究をしていました。趣味はクラウド技術の調査。CNCFの Landscapeを眺めるのが日課。    83 この春、大学院を思わず中退して飛び込んでくれたAI・機械学習チーム期待のホープ。新卒とは思えないクラウドネイティブな技術力で、アプリケーションからデータ基盤、インフラ整備まで何でもこなしてびっくりです。 

Slide 84

Slide 84 text

エムスリー株式会社  2019年11月20日現在   岩田彬広  2019年7月にエムスリーへ入社。デジカルというクラウド電子カルテのプロダクトマネージャーとして開業医の負担を圧倒的に削減するチャレンジ中。日本の保険制度の複雑さと格闘する日々。  前職はITコンサルティングで、主にシステム開発等に従事しつつ、2019年3月に産業技術大学院大学を卒業。好きなプロダクトはマネーフォワードと1Password。  84 弊社伝統のテックトークをiPhoneで録画しておいてと頼んだら、勢い余ってブラウザ連携の画面録画システムをサクッと作ってしまったほどのギーク。エンジニアバックグラウンドのプロダクトマネージャーとして期待。 

Slide 85

Slide 85 text

エムスリー株式会社  2019年11月20日現在   荒谷光   HT-03AでAndroidに出会い、今もAndroidエンジニアとして生き続けている。2015年初頭から KotlinでAndroid開発を始めて以来ずっとKotlinと共に過ごしてきた。  最近はKotlin Multiplatform Projectの夢を追いかけて日々過ごしている。  2019年7月にエムスリーへ入社。  趣味はテニスと写真と旅行(25カ国行った)  85 弊社開催のどこでもKotlinに来ているうちに社員になってくれたマルチデバイスチーム期待の星。自宅を改造してAndroid端末をスマートキーにしたら、まさかのルーター不調で自宅から締め出されるなど頼もしい一面も。 

Slide 86

Slide 86 text

エムスリー株式会社  2019年11月20日現在   河合俊典  様々な企業で機械学習や統計モデルのサービス導入を経験。2019年2月にエムスリー中途入社。ユーザの分析や医療コンテンツのリコメンドエンジン開発を行っています。専門的なドメイン知識を取り入れ、ユーザにとって便利な機能、サービス作りを心がけています。趣味はOSS開発とTwitter。  86 入社数ヶ月で早くも成果を出している点はさすがです。Twitter フォロワー2万人超えは伊達ではなく、弊社採用面接時に希望すれば「ばんくしさんデスク案内ツアー」が開催されるほどの人気。キーボードにもこだわり有。 

Slide 87

Slide 87 text

エムスリー株式会社  2019年11月20日現在   中村奏子  「Lean Startup」に出会い感銘を受けて以来、プロダクトマネジメントを学習・実践しています。顧客に必要とされるプロダクトを見つける力/作る力を磨くために、新規事業の立ち上げスピードが速いエムスリーに2019年5月に中途入社しました。現在は、医師向け新規サービスの立ち上げ、コンシューマ向けプロダクトのプロダクトマネジメントを担当しています。趣味はキャンプで、最近登山も始めました。  87 新規プロダクト支援チーム所属のプロダクトマネージャー。入社早々、多数のプロダクトを担当してもらっていて超絶助かっています。弊社では日夜新しいプロダクトが生まれるので、今日もまた新たなプロダクトがアサインされましたw。 

Slide 88

Slide 88 text

エムスリー株式会社  2019年11月20日現在   笹川裕人  2018年4月にエムスリー中途入社。AIチームでデータ基盤周りの整備と、バックエンド、クラウドインフラを担当しています。  機械学習エンジニアと協力して、データを活用した施策が高速に進むような基盤の開発に取り組んでいます。  大学院でコンピュータサイエンスの博士号を取得。趣味は筋トレとバスケ。  88 弊社AI・機械学習チームのエースデータエンジニア。勉強会に来てもらったところを迷わずスカウト。諸事情ありオファーから入社まで半年以上かけたのはどんなツンデレプレイかと悶ましたがそれもまた良い思い出です。 

Slide 89

Slide 89 text

エムスリー株式会社  2019年11月20日現在   高島亮祐  長らくSIerでシステム構築をしており、2019年にエムスリーに入社しました。  10年以上継続しているサービスの、歴史の積み重なったコードを紐解いて、改善したり置き換えたりしています。  サービスが健康でいられるよう様子をみて対応するというところが、動物園の飼育係のようだなと思ったりします。  関数型LOVE。  89 基盤チームで弊社主力プロダクトMR君の改善をしてくれているエースエンジニア。入社時のオンラインテストがHaskellで面接チームが大盛りあがり。ぶっちゃけあのコードを見た瞬間この人と働きたいと心に決めました。 

Slide 90

Slide 90 text

エムスリー株式会社  2019年11月20日現在   西場正浩  主に自然言語処理関連を行っています。医療コンテンツのリコメンドや動画へのタグ付け、ユーザー特性の分析に挑戦しています。最近はPdMに挑戦中です。  生産性向上のため、自分が担当するプロジェクトではアルゴリズムのモジュール化を積極的に行っています。  大学時代に数理ファイナンスでPh.Dを取得し、前職は金融機関でクオンツをしていました。深層学習の理論が金融のようにもっと数学的に発展すればいいなと思っています。    90 言わずとしれた弊社AI・機械学習チームのエース。入社後1週間で弊社代表取締役の秘伝のタレに物申すなど、伝説は数しれず。彼の存在が日本、世界の医療の前進に大きなインパクトを与えているのは間違いないでしょう。 

Slide 91

Slide 91 text

エムスリー株式会社  2019年11月20日現在   矢崎聖也（CTO）  各種アルバイト、大学発ベンチャー、小規模SIer、楽天、リクルートを経て2018年にエムスリーに入社し、現在CTO。過去に、大小様々な立ち上げ・拡張・作り直しプロジェクトを経て、RPC やトランザクショナルな KVS のフルスクラッチ実装、XHTML サブセットのレンダラー、RDBMS のマルチマスター冗長化、各種webフレームワーク・ライブラリ設計実装、インフラや専用線の構築運用などに携わる。  まとまった業務経歴としてはバックエンド系が多いが、実は最初に使ったプログラム言語は JavaScript (昔の Dynamic HTML)。  コンピューティング技術への広い興味と雑多な経験を活かすべく普段から社内 Slack の各所に出没しつつも「権威ではなく1技術者のロールの CTO」として手を動かして開発している。    91 弊社を代表するようなギークエンジニア。バックエンドからフロントエンドまで、とにかく知識の幅と深さが半端じゃない。自宅のルーターもなぜか業務用。社内外問わず多くのエンジニアの尊敬を集めている姿はさすが。 

Slide 92

Slide 92 text

エムスリー株式会社  2019年11月20日現在   山崎聡（業務執行役員VPoE）  エムスリーのミッションを達成するために、日本、世界の医療を前進させるようなプロダクトを生み出すべく、それに必要なこと全てを推進しています。  そのために重要なのがエンジニアリングGの採用とマネジメント。  VPoEとして、CTO、複数のグループリーダー、エンジニア採用担当人事で構成されるマネジメントチームを結成し、個性あふれるチームリーダーやメンバーそれぞれの強みを発揮してもらえる個別対応型のマネジメントを実践しています。  また、自らプロダクトマネージャーとして現場の指揮を取ったり、プロダクトマネージャーの採用、育成にも貢献しています。  ちなみにプログラミングは8歳から。グループ会社ではCTOも兼務。今でも土日はエンジニアとして自作サービスの開発や運用を行っています。  好きな言語はRubyとC#。  好きな言葉は「やっちゃいましょう」と「なんとかします」。  92

Slide 93

Slide 93 text

コラム  93

Slide 94

Slide 94 text

エムスリー株式会社  2019年11月20日現在   コラム  ● 話したかったけど、話せなかったちょっとした小ネタや工夫の紹介   ● 普段、業務をしていくなかで考えていることや周りと議論になった話も誰かの何かの役に立つのでは？と思う  ● 変なことや意味がよくわからないことも書いてあるほうが人間味があって面白いかなと。   94 コラムを書く理由 

Slide 95

Slide 95 text

エムスリー株式会社  2019年11月20日現在   コラム by 山崎  ● 基本に忠実な正しいプロダクトマネジメントをおこなっている会社は案外少ないように思う   ● ここで言う、基本に忠実な正しいプロダクトマネジメントとは、製品発見をしてから、プロトタイプによる検証を経て、最低限の製品開発及び市場投入が行われ、製品を市場に合わせて進化させるプロセス及びそのマネジメント全般  ● 個人的にも起業の相談を受けるが、前提仮説が弱かったり、全く検証されていないのに、本格的な開発に着手している会社が山のようにある   ● エムスリーは421名（2019年3月末現在）で、20以上の事業、50以上のサービスを開発している   ● この限られた人数で、日本、世界の医療にインパクトのあるプロダクトを開発するためにも、基本に忠実な正しいプロダクトマネジメントがとても重要   95 基本に忠実な正しいプロダクトマネジメントを行う 

Slide 96

Slide 96 text

エムスリー株式会社  2019年11月20日現在   コラム by 山崎  ● 良いプロダクトの裏には必ず良いプロダクトチームがあり、良いプロダクトマネージャーがいる   ● 正しいプロダクトマネジメントで良いプロダクトを作るのはもちろんだが、それらを生み出すプロダクトチームを作るのはもっと重要   ● その為にエンジニアバックグラウンドのプロダクトマネージャーである私がVPoEをやっている   ● VPoEとして良いプロダクトチームをたくさん作って、日本、世界の医療を前進させるようなプロダクトをたくさん生み出したい  96 VPoEとして良いプロダクトチームをたくさん作る 

Slide 97

Slide 97 text

エムスリー株式会社  2019年11月20日現在   コラム by 山崎  ● 良いプロダクトの裏には必ず良いプロダクトチームがあり、良いプロダクトマネージャーがいる   ● プロダクトチームの役割の中でも、プロダクトマネージャーは特に重要なポジション   ● いかに優秀なエンジニア、デザイナ、QAを採用しても、プロダクトマネージャー次第で、面白くなったり、つまらなくなったりする（最悪優秀な人達がやめてしまう）   ● また、プロダクトマネージャーは経営陣からもチームからも信頼、尊敬されていなければならない   ● そのためにはプロダクトマネージャーとしての実績が重要   ● 実績のある強いプロダクトマネージャーを積極的に採用していきたい   97 実績のある強いプロダクトマネージャーを採用したい 

Slide 98

Slide 98 text

エムスリー株式会社  2019年11月20日現在   コラム by 山崎  ● エムスリーではギークかつスマートな人材を採用している   ● ギークさとは、プロダクトマネージャー、エンジニア、デザイナ、QAそれぞれのスペシャリティの中で圧倒的に尖った存在であること   ● スマートさとは、ロジカルシンキングが得意で、数値感覚がある＝ビジネスインパクトを考えられること   ● プロダクト開発において、カウンターパートとなるビジネスサイドには、マッキンゼーのような有名企業出身の優秀人材が山ほどいる   ● それらの人材と切磋琢磨して日本、世界の医療を前進させるようなプロダクトを開発していくためには、ギークかつスマートが求められる   98 ギークかつスマートな人材を採用する 

Slide 99

Slide 99 text

エムスリー株式会社  2019年11月20日現在   コラム by 山崎  ● エムスリーのミッションは、インターネットを活用し、健康で楽しく長生きする人を一人でも増やし、不必要な医療コストを一円でも減らすこと   ● 端的に言えば、プロダクトの力で、日本、世界の医療を前進させること   ● 親の影響で1986年(8歳)の時からプログラミングをしており、パソコン通信やインターネットがもたらした世界の変革を目の当たりにしてきた   ● 医療の世界にはまだ埋められていないギャップが多くあり、皆がそれを待っている   ● 優秀な仲間とともに、医療の世界を大きく変えるような画期的なプロダクトを提供したい   ● むしろエムスリーのエンジニアリング組織のトップとして、やらねばならない   99 プロダクトの力で、日本、世界の医療を前進させる 

Slide 100

Slide 100 text

エムスリー株式会社  2019年11月20日現在   コラム by 山崎  ● UXとUIは一緒に語られることが多いが、本質は大きく異る   ● UXは現実世界での体験そのものであり、それで達成される課題や解決されるときの感情を含む   （例：スマホで改札をピッと通れて気持ちいい、知りたい情報がプッシュされて超便利、など）   ● UIはそれを解決するプロダクトと人間の間のインターフェイスに過ぎない   （例：スマホの画面のこのアプリのこのボタンを操作して定期を買う、など）   ● 良いプロダクトを生み出すためには、UIに閉じるのではなく、UXを設計することが重要   ● 良いプロダクトを生み出すためには、プロダクトマネージャーやプロダクトデザイナーだけでなく、プロダクトチームの全員がUXにこだわりを持って、プロダクトを開発する必要がある   100 UXとUIの違いと捉え方 

Slide 101

Slide 101 text

エムスリー株式会社  2019年11月20日現在   コラム by 山崎  ● エムスリーの問題解決の基本は、まだ埋められていないギャップを見つけてそれをITの力で1000倍、1万倍効率よくしていくこと   ● 医療業界はIT化が遅れており、まだまだ埋められていないギャップが山のようにある   ● それを優秀なプロダクトマネージャー、エンジニア、デザイナー、QAが力を合わせて、ITの力で埋めていく   ● 社会問題となっているリアルな課題を、自ら手を動かして解決できる手応えのある仕事   ● 社会に対して大きな影響を与えれば、大きなリターン（利益、やりがい）が得られるのも特徴的   ● 日本、世界の医療を自らの手で前進させたい   101 医療業界でITを活用するやりがい 

Slide 102

Slide 102 text

エムスリー株式会社  2019年11月20日現在   コラム by 山崎  ● 新規プロダクトチーム立ち上げは、最初の一人目の採用より前に始まっている   ● 解決すべき課題を特定し、どんなチームで、どのように解決するか、最初の1人が現れる前から検討しておく事が重要  ● つまり、新規プロダクトチームの立ち上げそのものが、ある意味でプロダクト開発に似ている   ● 仮説を作り、必要な人材を見極め、1人目の採用を通じてプロダクトチームを育てていく   ● 1人目が現れてから、それらを考えているようでは遅すぎる   ● 新規プロダクトチーム立ち上げの極意は、1人目が現れる前から、プロダクトチームを立ち上げることにある  102 新規プロダクトチーム立ち上げの極意 

Slide 103

Slide 103 text

エムスリー株式会社  2019年11月20日現在   コラム by 山崎  ● 良いプロダクトの裏には必ず良いプロダクトチームがあり、良いプロダクトマネージャーがいる   ● そしてその裏には良い人事（＝優秀な採用担当者）が必ず存在する   ● 優秀な採用担当者は、ビジネスの状況やプロダクト開発のために必要なスキルを理解し、市場からなんとかして必要な人材を見つけてくる   ● また、プロダクトチームやプロダクトの素晴らしさを伝え、チームへの参加を促してくれる   ● 昨今の優秀人材の不足を鑑みると、優秀な採用担当者を巻き込み、解決したい課題、どのように解決するか、プロダクトチームに足りない人材を共有しなければ、優秀な人材が採用できる筈がない   ● つまり、良いプロダクトチーム作りには、良い人事が必須   103 良いプロダクトチーム作りには、良い人事が必須 

Slide 104

Slide 104 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● エムスリーの “フラットさ” や “社長意識を持って仕事に挑む” がよく分かる出来事   ● 私が入社して1週間くらいのときに、最初のプロダクトであるArchimedesを提案   ● このサービスは毎週定例を行なっており、社長や役員が参加していた   ● サービス担当者に企画を見せたら、会議で提案するように促された   ● 結果、「おもしろい！」ということになり、そのまま開発スタート   ● ちゃんと調査して適切な提案をすればプロフェッショナルとして尊重され企画が通る   ● (前職だとそういう雰囲気ではなかったと思う)   104 入社1週間で社長や役員にArchimedesを提案 

Slide 105

Slide 105 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● AIチームとしたほうが、社内外のビジネスサイドにアピールできる（山崎さん現VPoE）   ● 機械学習チームのほうが、私個人は誇れる。同じ気持ちのエンジニアも多いはずだ（西場）   ● という２つの意見が対立し、互いに譲らずAI・機械学習チームになった。   ● 山崎さんの言う通りAIという名前を入れたほうがビジネス側がイメージしやすいと思う。   ● 一般的なニュース等でAIという単語はよく見かけるが、機械学習という単語はあまり見ない。   105 AI・機械学習チームという名前 

Slide 106

Slide 106 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● カーネギーの“人を動かす”で命名すると(正確にはその人の名前を入れると)感情的にオーナーシップを持つ話があった  ● なので、そのプロダクトのメイン担当者がプロダクトの命名を行う。   ● ただ、何も制約もなく「名前つけてもいいよ」と言われても戸惑うと思う & 順番がわかりやすいということでアルファベット順に学者の名前をプロダクト名にしている   ● プロダクトの特徴とその学者の功績の間に意味はない。   ● （またBourbakiは人じゃないよね？というツッコミはいらない。）   106 アルファベット順の学者のプロダクト名 

Slide 107

Slide 107 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● たまに半年後も自分がエムスリーにいるかどうかを考える。最近も考えたけどやっぱり50%くらいかなと思う  ● 90%や10%でない理由は、現状にすごく満足でも不満でもないし、環境は相対的なものだと思っている。もっといい環境も探せばあるだろうし、私にとって悪い環境はいっぱいある   ● ここでなんとなく50%と思って終わりではなく、真剣に「半年後にどういう状況だったら、エムスリーで継続してコミットメント高く働くか？」というのを具体的に書き出している   ● チームの状況や始まっているプロジェクト、自分が主担当の業務などを具体的にイメージしている(ときにはバイネームで）  ● とりあえず書き出した理想を実現させるために全力で働こうと思っている   ● 理想の全体を今まで他の人に見せたことはない、なんとなく話すだけ。自分でやりたい。   107 半年後も私がエムスリーに残っている可能性は50% 

Slide 108

Slide 108 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● 新しいことにチャレンジすることは得意。社内で誰もやっていないこととかも実現できると思う   ● こういった外部イベントの登壇や外部向けイベントの企画も得意   ● 採用マーケティングにおけるプロモーションとかも戦略を考え実行する、まわりを巻き込むことも比較的できていると思う。  ● しかし、圧倒的にメンタルケア的なコミュニケーションや本人に気づかせるコミュニケーションは苦手。   ● いわゆるボトムアップ的な教育も苦手。妻に子育てしない宣言をしているくらい。   ● またエンジニアスキルの偏りも大きい。   ● ただ、それで良いと思える環境でメンバーや他のチームリーダーたちが助けてくれる   ● なので、自分の得意な部分を活かして貢献できたらいいかなと思う   108 私ができること、できないこと 

Slide 109

Slide 109 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● 私自身も含めて、そのうち会社は辞める。エンジニアは2年から3年で辞める人が多いと思う   ● その事実を無視してチーム運営やマネジメントや採用をするのは良くないと思う   ● 基本、何をしようがチームメンバーは辞めるんだから、在職中は少しでもキャリアアップに繋がることに協力したい。  ● だから、できるだけ本人のキャリアアップと業務が重なるようにしてあげたい。   ● もちろん「研究開発したい」とか「MLのアルゴリズム部分の開発のみをしたい」と言われてもスルーする。   ● 現状、そういう事ができる状態でもないし、そういうことを行うことを目指していない   ● 例えば、業務で開発したものを外部登壇で発表したり、論文書いたり、GitHubで公開したりできるようにしている。  ● また、スキルも広く深くを達成できるようにサポートしている（主にアサインを通して）   109 メンバーは2年から3年で辞めることを前提 

Slide 110

Slide 110 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● 周りに迷惑をかけないこと、期待されている成果を出すことができれば、勤怠は自由   ● 会議等の調整は必要だけど、突発的に熱海に行ったり、朝の9時過ぎに退社しても問題にはならない   ● また、20%ルール(自分が会社にとって大事と思うことをしていい）なども検討したが、結局自由にすれば良い、という感じでチーム内では特にルール化はいらないかなと思っている   ● 最近、朝早く来て夕方早く帰りたい人もいるので夕会の時間を17時から16時に変更した   110 裁量労働 

Slide 111

Slide 111 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● 私がリクエストする意思決定についての議論のお作法がある   ● 新しく入ってきた人によく言っているが、実践するためにちょっと慣れが必要みたい   ● NG例「Aをやるべきです。Aには1,000円の価値があり、コストは100円です。ROIは10.0です」   ● OK例「Aをやるべきです。他にもB、Cという方法もありますが、少なくともこの3つの中ではAが一番ROIが高いです。また、Aは他と比べて◯ ◯というリスクもありますが、事前に対策を行うことでそのリスクは許容できるまで小さくなります」  ● 上のOK例のように他の手法をちゃんと考えて、それらと何かしらの指標で比較し優位なことを言う。また他の手法と比べてメリット・デメリットなどを検討する。どの方法にもリスクやデメリットはあり、それが許容できるのか？許容できるようにするために必要な対策を言う     111 意思決定のコミュニケーション 

Slide 112

Slide 112 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● ハーバード・ビジネス・レビューで読んで面白かったのが、「心理的安全性とは、相手に対して歯に衣着せぬ物言いをするだけでなく、相手からそれをされてもそれを受け入れる覚悟の話である」というような内容   ● 私は一部の人から見たら上司にあたるが、私の意見に対して直接的な言い方で(ときには感情的に)反論しても、その人をクビにしたり、不公平に評価をさげたりはしない。受け入れる覚悟が必要   ● また、反論がある人は相手が上司であろうがちゃんと反論する覚悟が必要   ● 普段から少しでも反論とかがしやすい環境にしようと思って、私は上司である執行役員をいじったり、私もメンバーからいじられたりしている。   ● 私自身はメンバーからいじられたりネタにされると嬉しい   112 心理的安全性 

Slide 113

Slide 113 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● 同僚と話していて表現が色々面白いなと思ったので紹介。業務でこういう問題に直面する     ● 筋トレ問題  ○ 世の中には多少の負荷がないと成長できないものもあるが、負荷をかけたくない     ● 英会話問題  ○ 効率とかではなく圧倒的に勉強時間が足りないのに、効率の話をしている。     ● ホールケーキ問題  ○ 小さい子が「ホールケーキを食べたい」というが食べられないことを経験的に／客観的に知っている。  113 筋トレ・英会話・ホールケーキ問題 

Slide 114

Slide 114 text

エムスリー株式会社  2019年11月20日現在   ● たまに忘れることがあるが “生産性が上がる ≠ 生産量が上がる”   ● 例えば、10億円を工場に投資してネジを今までの10倍作れるようにしても今までの10倍の受注があるわけではない。  コラム by 西場  114 生産性 

Slide 115

Slide 115 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● “心理的安全性”のコラムでも書いたとおり   ● フラットな組織にするためには、上司が部下に対してフラットに接するだけでなく、部下が上司に対してフラットに接する必要がある   115 フラットな組織を維持するために工夫が必要 

Slide 116

Slide 116 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  116 ● たまに開発合宿を行う。本当にずっと開発している。BBQや海、ボードゲームなどはしない。   ● ただ、誰かがしたくて企画することはオーケー。したい人はしましょう。   ● 個人開発でもチーム開発でもよい。   ● 私自身はストイックに開発するほうが好き。通常より集中できるし、新しい技術を勉強できる。前回は React。分からないことがあれば色んな人が教えてくれる。   ストイックな開発合宿 

Slide 117

Slide 117 text

エムスリー株式会社  2019年11月20日現在   コラム by 西場  ● エムスリーエンジニアリングGは勉強会の支援に積極的   ● 少人数であれば会場提供も行うし、懇親会スポンサーも積極的にしている   ● Machine Learning Pitch( https://machine-learning-pitch.connpass.com/)の画像スポンサーもしている   ● ぜひM3 Engineer(https://m3-engineer.connpass.com/)へ登録お願いします！   117 勉強会コミュニティの支援 

Slide 118

Slide 118 text

エムスリー株式会社  2019年11月20日現在   コラム by 友永   ● レジュメを見た時、意思の強さみたいなものを感じた。自分で物事を推進してきた力強さがあった。いわゆる「ビビッときた」というやつだ。   ● 選考プロセスが進むなかで「エムスリーにとって必要な人材だ」という思いがどんどん膨らんでいった。  ● 選考当時、AI・機械学習チームはまだなかった（概念だけ存在していた？）。はてさて受け入れはどうしよう？と考えながらも、採用に向けてできることを全てやろうという思いでいた。   ● 既存の枠組みでなく、思い切り活躍できる場所＝チームを新しく作る必要があるんだろうなと感じていた。そしてAI・機械学習チームができた。   ● 西場さんがいるエムスリーといないエムスリーでは医療業界に与えるインパクトは大きく違うだろう。   ● 大きなインパクトを出し続けられる人材を今後も採用していきたいと思っている。   人事からみた「西場さん採用エピソード」 

Slide 119

Slide 119 text

エムスリー株式会社  2019年11月20日現在   コラム by 友永   ● 医療業界のイノベーションを推進するために、優秀な人材の採用がとても重要だ。   ● それ故、エムスリーは採用に対して強いこだわりがある。   ● その中の一つは「2000年の創業当時から、最終面接は代表取締役の谷村さんが対応している」ことだ。中途採用・新卒採用全ての最終面接を対応している。   ● 候補者にとってもメリットがある。創業者の考えを直接聞くことができる。自分にとってエムスリーがフィットする企業なのか判断する情報が増えることになる。   最終面接は全て代表取締役の谷村さんが会う 

Slide 120

Slide 120 text

エムスリー株式会社  2019年11月20日現在   コラム by 友永   ● VPoEの山崎さんから「自由にやっていい」と言われている。   ● その理由は、私のパフォーマンスが最大になるマネジメント方法が自由にやらせることだからだ。   ● 要は「成果を出してください、そのためのやり方はどうぞご自由に」というメッセージ。   ● 自由にやる＝相談や共有をしないことではなく、自分が必要だと思うタイミングで相談や共有をさせてもらっている。  ● 周りに迷惑をかけない、結果や説明責任が求められるのは当然のこと。   ● 人それぞれスタイルが違うので、必ずしも自由にやることがパフォーマンス最大化に繋がるわけではなく、今の私に合っているだけ。   ● 成果最大化のために、個性を理解して良さを生かそうとしてくれる対応が気に入っているという話。   自由にやっていい 