HMCC2019 Emoji SANPO - Speaker Deck

HMCC2019 Emoji SANPO

by Takuya Mukohira

Slide 1

Slide 1 text

Emoji SANPO 直感で絵文字を選ぶとお出かけ先を提案してくれるアプリケーション苫小牧高専ソフトウェアテクノロジー部向平卓矢水野琴未 2019/02/22 北海道学生アプリコンテスト2019

Slide 2

Slide 2 text

検索

Slide 3

Slide 3 text

検索 • キーワードなどを条件に設定し、  それに合ったデータを探し出すこと。 ※出典： ASCIIデジタル用語辞典

Slide 4

Slide 4 text

テキスト検索

Slide 5

Slide 5 text

音声検索

Slide 6

Slide 6 text

画像検索

Slide 7

Slide 7 text

いろいろな検索 • テキスト検索  ・ユーザが入力したキーワードで検索 • 音声検索  ・ユーザの音声を認識して、キーワードで検索 • 画像検索  ・ユーザの画像を認識して似た画像を検索

Slide 8

Slide 8 text

Slide 9

Slide 9 text

絵文字検索

Slide 10

Slide 10 text

絵文字検索 • 私たちが提案する、新しい検索方法 • ユーザが今の気分を絵文字で表現し、  その絵文字をもとに検索できる • 既存のものとは一味違った  検索UIを提供する

Slide 11

Slide 11 text

世界共通語 Emoji • 日本のケータイ絵文字から始まり、  世界共通語「Emoji」へ • 言葉では表しにくい感情の表現や、  単体で意味を持つ文字として便利

Slide 12

Slide 12 text

世界共通語 Emoji • 日本のケータイ絵文字から始まり、  世界共通語「Emoji」へ • 言葉では表しにくい感情の表現や、  単体で意味を持つ文字として便利「絵文字で何かおもしろいことをしたい！」という思いから絵文字検索が生まれました

Slide 13

Slide 13 text

絵文字検索絵文字検索ユーザの感情気分に合った  コンテンツ絵文字で入力提供

Slide 14

Slide 14 text

絵文字検索絵文字検索ユーザの感情気分に合った  コンテンツ絵文字で入力提供言葉の壁を超えた直感での検索が可能に

Slide 15

Slide 15 text

絵文字検索の仕組み • コンテンツの感情を分析、絵文字でタグ付け • 感情分析システムにはDeepMojiと  Google Cloudを使用しRubyでAPI化入力絵文字登録コンテンツ感情分析システム絵文字検索エンジン

Slide 16

Slide 16 text

感情で検索キーワードで検索

Slide 17

Slide 17 text

Emoji SANPO

Slide 18

Slide 18 text

Emoji SANPO 【コンセプト】直感で絵文字を選ぶと  お出かけ先を提案してくれるアプリケーション

Slide 19

Slide 19 text

絵文字検索 • TOP画面には絵文字の一覧が表示 • 絵文字を選択し場所を検索

Slide 20

Slide 20 text

絵文字を地図に表示 • 検索した絵文字に関連した場所を地図上に絵文字で表示 • 場所の詳細画面では、その場所に関連した他の絵文字も見ることができる

Slide 21

Slide 21 text

地図アプリと連携 • 「この場所に行く」  のボタンから地図アプリに飛べる

Slide 22

Slide 22 text

絵文字レビュー • 訪れた場所に絵文字でレビューをつける • 絵文字レビューで集めたデータで検索の精度が高まる絵文字レビューする

Slide 23

Slide 23 text

絵文字コレクション • レビューをした絵文字はコレクション機能で確認できる • ユーザの継続利用のためにゲーム性を付加

Slide 24

Slide 24 text

Demo

Slide 25

Slide 25 text

絵文字タグ付けの仕組み DeepMojiを利用して、レビュー文から絵文字を出力、場所と紐付け Google Translation APIを利用し、レビューを英訳 Google Maps Platformを利用し、場所情報を取得 Google Places APIを利用して、場所に紐づくレビューを取得ユーザからの絵文字レビューを利用し、データを強化する

Slide 26

Slide 26 text

絵文字検索で場所を探す！

Slide 27

Slide 27 text

絵文字検索で場所を探す！実際に場所に行く！

Slide 28

Slide 28 text

絵文字検索で場所を探す！実際に場所に行く！絵文字レビューで検索精度向上！

Slide 29

Slide 29 text

絵文字検索で場所を探す！実際に場所に行く！絵文字レビューで検索精度向上！

Slide 30

Slide 30 text

利用した技術 • サーバサイド  ・Ruby 2.5 / Ruby on Rails 5.2.1 • クライアントサイド  ・Swift 4.1 / UIKit • その他使用したAPIやライブラリ  ・Google Maps Platform  ・DeepMoji

Slide 31

Slide 31 text

絵文字検索の未来 • Emoji SANPOでは、場所の絵文字検索を  可能にした • テキストや音声、動画に関する感情分析の  研究も盛んに行われている • 将来的には、テキストや画像に次ぐ  第三の検索として利用されていく

Slide 32

Slide 32 text

絵文字検索の未来

Slide 33

Slide 33 text

絵文字検索の未来様々なコンテンツに対応可能！

Slide 34

Slide 34 text

Emoji SANPO 直感で絵文字を選ぶとお出かけ先を提案してくれるアプリケーション苫小牧高専ソフトウェアテクノロジー部向平卓矢水野琴未

Slide 35

Slide 35 text

END○