Upgrade to Pro — share decks privately, control downloads, hide ads and more …

HMCC2019 Emoji SANPO

HMCC2019 Emoji SANPO

Takuya Mukohira

February 22, 2019
Tweet

More Decks by Takuya Mukohira

Other Decks in Programming

Transcript

  1. Emoji SANPO
    直感で絵文字を選ぶと
    お出かけ先を提案してくれるアプリケーション
    苫小牧高専 ソフトウェアテクノロジー部
    向平 卓矢
    水野 琴未
    2019/02/22
    北海道学生アプリコンテスト2019

    View Slide

  2. 検索

    View Slide

  3. 検索
    • キーワードなどを条件に設定し、

    それに合ったデータを探し出すこと。
    ※出典: ASCIIデジタル用語辞典

    View Slide

  4. テキスト検索

    View Slide

  5. 音声検索

    View Slide

  6. 画像検索

    View Slide

  7. いろいろな検索
    • テキスト検索

    ・ユーザが入力したキーワードで検索
    • 音声検索

    ・ユーザの音声を認識して、キーワードで検索
    • 画像検索

    ・ユーザの画像を認識して似た画像を検索

    View Slide

  8. いろいろな検索
    • テキスト検索

    ・ユーザが入力したキーワードで検索
    • 音声検索

    ・ユーザの音声を認識して、キーワードで検索
    • 画像検索

    ・ユーザの画像を認識して似た画像を検索

    View Slide

  9. 絵文字検索

    View Slide

  10. 絵文字検索
    • 私たちが提案する、新しい検索方法
    • ユーザが今の気分を絵文字で表現し、

    その絵文字をもとに検索できる
    • 既存のものとは一味違った

    検索UIを提供する

    View Slide

  11. 世界共通語 Emoji
    • 日本のケータイ絵文字から始まり、

    世界共通語「Emoji」へ
    • 言葉では表しにくい感情の表現や、

    単体で意味を持つ文字として便利

    View Slide

  12. 世界共通語 Emoji
    • 日本のケータイ絵文字から始まり、

    世界共通語「Emoji」へ
    • 言葉では表しにくい感情の表現や、

    単体で意味を持つ文字として便利
    「絵文字で何かおもしろいことをしたい!」
    という思いから絵文字検索が生まれました

    View Slide

  13. 絵文字検索
    絵文字検索
    ユーザの感情
    気分に合った

    コンテンツ
    絵文字で入力 提供

    View Slide

  14. 絵文字検索
    絵文字検索
    ユーザの感情
    気分に合った

    コンテンツ
    絵文字で入力 提供
    言葉の壁を超えた直感での検索が可能に

    View Slide

  15. 絵文字検索の仕組み
    • コンテンツの感情を分析、絵文字でタグ付け
    • 感情分析システムにはDeepMojiと

    Google Cloudを使用しRubyでAPI化
    入力 絵文字登録
    コンテンツ 感情分析システム 絵文字検索エンジン

    View Slide

  16. 感情で検索
    キーワードで検索

    View Slide

  17. Emoji SANPO

    View Slide

  18. Emoji SANPO
    【コンセプト】
    直感で絵文字を選ぶと

    お出かけ先を提案してく
    れるアプリケーション

    View Slide

  19. 絵文字検索
    • TOP画面には絵文字の
    一覧が表示
    • 絵文字を選択し場所を
    検索

    View Slide

  20. 絵文字を地図に表示
    • 検索した絵文字に関連し
    た場所を地図上に絵文字
    で表示
    • 場所の詳細画面では、そ
    の場所に関連した他の絵
    文字も見ることができる

    View Slide

  21. 地図アプリと連携
    • 「この場所に行く」

    のボタンから地図アプ
    リに飛べる

    View Slide

  22. 絵文字レビュー
    • 訪れた場所に絵文字で
    レビューをつける
    • 絵文字レビューで集め
    たデータで検索の精度
    が高まる
    絵文字レビューする

    View Slide

  23. 絵文字コレクション
    • レビューをした絵文字
    はコレクション機能で
    確認できる
    • ユーザの継続利用のた
    めにゲーム性を付加

    View Slide

  24. Demo

    View Slide

  25. 絵文字タグ付けの仕組み
    DeepMojiを利用して、レビュー文から絵文字を出力、場所と紐付け
    Google Translation APIを利用し、レビューを英訳
    Google Maps Platformを利用し、場所情報を取得
    Google Places APIを利用して、場所に紐づくレビューを取得
    ユーザからの絵文字レビューを利用し、データを強化する

    View Slide

  26. 絵文字検索で
    場所を探す!

    View Slide

  27. 絵文字検索で
    場所を探す!
    実際に場所に
    行く!

    View Slide

  28. 絵文字検索で
    場所を探す!
    実際に場所に
    行く!
    絵文字レビュー
    で検索精度向上!

    View Slide

  29. 絵文字検索で
    場所を探す!
    実際に場所に
    行く!
    絵文字レビュー
    で検索精度向上!

    View Slide

  30. 利用した技術
    • サーバサイド

    ・Ruby 2.5 / Ruby on Rails 5.2.1
    • クライアントサイド

    ・Swift 4.1 / UIKit
    • その他使用したAPIやライブラリ

    ・Google Maps Platform

    ・DeepMoji

    View Slide

  31. 絵文字検索の未来
    • Emoji SANPOでは、場所の絵文字検索を

    可能にした
    • テキストや音声、動画に関する感情分析の

    研究も盛んに行われている
    • 将来的には、テキストや画像に次ぐ

    第三の検索として利用されていく

    View Slide

  32. 絵文字検索の未来

    View Slide

  33. 絵文字検索の未来
    様々なコンテンツに対応可能!

    View Slide

  34. Emoji SANPO
    直感で絵文字を選ぶと
    お出かけ先を提案してくれるアプリケーション
    苫小牧高専 ソフトウェアテクノロジー部
    向平 卓矢
    水野 琴未

    View Slide

  35. END○

    View Slide