20200630_tokyobishbash_hylable

Slide 1

Slide 1 text

Slide 2

Slide 2 text

自己紹介、の前に会社紹介ミッション: 音環境分析でコミュニケーションを豊かにする会社名ハイラブル株式会社 (Hylable Inc.) 代表代表取締役:水本武志博士(情報学)、取締役:菅原哲也設立 2016年11月21日事業内容メディア信号処理やコミュニケーションに関する商品やサービスの企画・製品・運用・販売・情報提供・コンサルティング等ニホンアマガエルの学名 Hyla japonica 接尾辞「可能」 (C) 2020 Hylable Inc.

Slide 3

Slide 3 text

自己紹介 ◼安良岡直希やすらおかなおき ◼ NMF, LPC, ハーモニッククラスタリングを同時利用した1ch 音楽音響信号分離&分析 ◼ レトロゲームのバグ動画好き ◼ 子供にminecraftやらせようとして苦戦中 ◼柳楽浩平なぎらこうへい ◼ ノンパラメトリックベイズに基づくinfinite ICAによる周波数領域ブラインド音源分離 ◼ ラジオ好き（特にFM・アニラジ） ◼ 落ち着いたらGo Toキャンペーンで遠くに行きたい (designed by Michiko Kato) (C) 2020 Hylable Inc.

Slide 4

Slide 4 text

Slide 5

Slide 5 text

千葉県市川市の実証実験

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

EdTechという業界 https://www.ntt.com/bizon/glossary/j-a/edtech.html EdTechは、Education（教育）とTechnology（技術）を組み合わせた造語で、テクノロジーを用いて教育を支援する仕組みやサービスを指します。生徒向けの学習支援システムや教師のための授業支援システム、英会話やプログラミングなどをインターネット上で学習することができるサービス、学校での利用を主眼に置いたSNSなど、EdTechに分類できるサービスは数多く登場しています。 https://reseed.resemom.jp/article/2020/06/11/345.html (C) 2020 Hylable Inc.

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

どこでも・簡単に・安定して使ってもらうために ◼ 音声信号処理技術の選定 ◼ 会話の「定量化」に専念 ◼ マイクロホンアレイの利用 ◼ マイクのIoT化 ◼ システム設計：Webサービス ◼ パブリッククラウドの利用 ◼ マイクロサービス構成 ◼ システム更新の仕組み化・管理コストの削減どこでも簡単に安定して ✅ ✅ ✅ ✅ ✅ ✅ ✅ どこでも簡単に安定して ✅ ✅ (C) 2020 Hylable Inc.

Slide 28

Slide 28 text

1.会話の「定量化」に専念 ◼ 最近の音源分離・強調は性能いいので認識時に使えば性能上がるのでは？ ◼ DNN-basedな手法 / ILRMA / etc... →チューニングなしで実用に耐えうる性能が出ないとユーザは喜ばないフェーズ遷移声の大きさ発話バランス盛り上がりいつ話した？誰が話した？音環境分析（定量化）・小学生から大人まで理解しやすい・言語によらない応用の広がり音声音声認識・自然会話では性能不十分・前後に多くの処理が必要テキストよくある質問 (C) 2020 Hylable Inc.

Slide 29

Slide 29 text

2.マイクロホンアレイの利用 ◼ マイクロホンアレイ：複数のマイクで構成される録音装置異なる位置にあるマイクで同期して音声を収録マイク間の位相差を利用して音源到来方向を推定（音源定位）単一のマイクよりも安定した結果 ↓ 後段の音環境分析も安定した性能に TAMAGO-Pi • システムインフロンティア製 • Raspberry Pi搭載 • 見た目が可愛くてウケがいい (C) 2020 Hylable Inc.

Slide 30

Slide 30 text

3.マイクのIoT化 ◼ マイクにハイラブル製のファームウェアを導入 ◼ Raspberry Pi上で動作 ◼ 単体で録音が可能 ◼ 単体でHylable Discussionに直接接続安定した録音環境を実現 ◼ PC接続のマイクデバイス（USBなど）でもいいのでは？ ◼ 「なぜかシステムに繋がらないんですけど…？」 ◼ 収録音声の質がばらつく・音声の同期が困難 →環境依存の要因が増えて分析時の性能に影響が出るよくある質問 (C) 2020 Hylable Inc.

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Vue.js Raspberry Pi クラウドローカルユーザ管理 SNS SQS RDS IoT Core Amplify API Gateway Cognito EC2 ELB DynamoDB Lambda 分析セッション管理 DynamoDB Lambda AppSync レコーダ操作 DynamoDB Lambda AppSync S3 レポート生成 API Gateway Lambda S3 Hylable Discussion システム構成分析ワーカー Lambda S3 HARK Route53 Serverless Architected by Tetsuya Sugawara (C) 2020 Hylable Inc.

Slide 33

Slide 33 text

1.パブリッククラウド（AWS）の利用 ◼ IoT Core ◼ マイクとクラウドの容易な連携 ◼ 大量のマイクの同時使用も耐える ◼ Lambda / Auto Scaling ◼ 必要なときに必要なだけ動かす ◼ マネージドサービスの積極的活用 ◼ 音声処理と直接関係ないがサービス化には必要不可欠 ◼ クラウド側に任せて管理コストを削減 Cognito （アカウント管理） RDS DynamoDB （データベース） Route53 （ルーティング） S3 （ストレージ） SNS （通知サービス） SQS （イベントキュー） IoT Core Hylable Discussion ELB （ロードバランサ） Lambda （サーバレス計算） (C) 2020 Hylable Inc.

Slide 34

Slide 34 text

2.マイクロサービス構成 ◼ 技術の適材適所 ◼ 明確な役割分担 ◼ 他システムとの部分連携も可能 ◼ 更新したい部分だけ更新可能 Vue.js Raspberry Pi Vuetify (デザインコンポーネント) フロントエンド API（マイクロサービス）マイク（組み込み） Golang GraphQL REST MQTT Node.js 分析ワーカー Python レコーダ操作ユーザ管理レポート生成分析セッション管理 (C) 2020 Hylable Inc.

Slide 35

Slide 35 text

3.システム更新の仕組み化・管理コストの削減 ◼ CI/CD：継続的インテグレーション/デリバリー ◼ プログラム変更→サービスに自動反映 ◼ ヒューマンエラーを減らす ◼ システムの自動テスト ◼ 定期自動テストで稼働状況を監視 ◼ スクラム開発・定期リリース ◼ 毎回その時点でできているものをリリース ◼ IoTマイクのファームウェアのリモートアップデート ◼ 「マイクを全回収して更新」が不要に CircleCI GitHub (自動テストフレームワーク) (C) 2020 Hylable Inc.

Slide 36

Slide 36 text

音系スタートアップとしての成果 ◼ Hylable Discussion ◼ のべ17,000人/1,800時間以上の議論を収録&分析 ◼ 1つ1つの会議の参加人数をすべて合計 ◼ 小学生から社会人までの幅広い自然会話データは希少 ◼ Hylable Discussionを利用した共同研究・共同開発 ◼ Web会議の定量化サービスHylableの開発 ◼ 音声系クラウドサービスの開発支援 (C) 2020 Hylable Inc.

Slide 37

Slide 37 text

Slide 38

Slide 38 text