Gyazoの最近の生成AI関連の研究開発を全部見せます

Transcript

1. Gyazoの最近のおもしろい機能 1
2. Gyazoの最近のおもしろい機能 2
3. Gyazoの最近の ⽣成AI関連の研究開発を 全部⾒せます 3
4. • 画⾯の右上にずっと注意書きをしておきます ◦ Helpfeel社員のみが使える状態 • 事前情報 ◦ LLM、VLM、マルチモーダル⽣成AIなどとは呼ばず、「⽣成AI」で統⼀します ◦ 早⼝なのは、このスライドが100ページあるからです 研究開発なので、リリースするとは⾔っていない ※画面は研究開発中のものです 4
5. • yuiseki • Gyazo プロダクトマネージャー ⾃⼰紹介 ※画面は研究開発中のものです 5
6. • いまからGyazoにおける⽣成AI応⽤の研究開発に関する話をしますが、 • Gyazoは、ユーザーのデータ‧コンテンツのプライバシーに細⼼の注意を払っ ており、プライバシーにリスクの⽣じるようなことは、試みすらしません • Gyazoは、ユーザーのアップロードした、いかなるデータ‧コンテンツも、⽣ 成AIの事前学習やファインチューニングには使っていませんし、今後も使いま せん • また、Gyazoが利⽤している⽣成AI APIプロバイダーも、Gyazoから送信され たいかなるデータ‧コンテンツも、⽣成AIの学習や改善には使わないという条 件で契約をしています • この点に関しては、有料ユーザーであろうと無料ユーザーであろうと同様です • ⽣成AIに関して懸念を感じている⽅であっても、安⼼してGyazoをお使いくだ さい 重要なお知らせ ※画面は研究開発中のものです 6
7. • プライバシー、⼤切 • ユーザーのデータ、⼤切 • ユーザーのコンテンツ、⼤切 • AIの学習には使わない、使わせない • 有料ユーザー、無料ユーザー関わらず • 安⼼してGyazoを使ってください 重要なお知らせ（SNSで拡散してください） ※画面は研究開発中のものです 7
8. Assistant for Gyazo ※画面は研究開発中のものです 本題：本⽇ご紹介する、研究開発中の機能 Alt Text Assistantの 超汎用バージョン 8
9. Assistant for Gyazo ※画面は研究開発中のものです Google Cloud Vertex AI Gemini 1.5 Pro Multimodal Embeddings 9
10. Assistant for Gyazo ※画面は研究開発中のものです 10
11. ※画面は研究開発中のものです ここにボタンが増えている 11
12. • ※画面は研究開発中のものです 12
13. ※画面は研究開発中のものです ボタンだらけのUI（私が使い込んでいる状態） 13
14. デフォルトはサンプルのタスクのみ ※画面は研究開発中のものです 14
15. マニュアルを書く ※画面は研究開発中のものです 15 タスク事例１
16. ※画面は研究開発中のものです 16 https://gyazo.com/625fdcb8eb0e5e110835aacf36ec9fc9
17. 「マニュアルを書く」ボタンをクリック ※画面は研究開発中のものです 17
18. • ※画面は研究開発中のものです 18
19. ※画面は研究開発中のものです 19 https://gyazo.com/910864f3553381def7465a31514ccded
20. 「マニュアルを書く」ボタンをクリック ※画面は研究開発中のものです 20
21. 静⽌画でも動画でも、マニュアルを書ける ※画面は研究開発中のものです 21 • 操作マニュアル • 作業⼿順書 • ヘルプ記事 • 叩き台があると捗る
22. おわかりいただけただろうか ※画面は研究開発中のものです 22 怪異発生 このプレゼンでは いくつかの怪異が 発生します 夏なので
23. • なぜGyazoだと分かっている……？ • なぜ背景除去機能だと分かっている……？ 怪異概要 ※画面は研究開発中のものです 23
24. • ⽣成AIにメタデータも与えています ◦ メタデータなし、動画のみだと、不正確なマニュアルを出⼒する 怪異解説 ※画面は研究開発中のものです 24
25. 翻訳する ※画面は研究開発中のものです 25 タスク事例２
26. ※画面は研究開発中のものです 26 https://gyazo.com/9071027494b2a78ece7288eea09d12ad
27. ※画面は研究開発中のものです 27
28. 「英語に翻訳する」ボタンをクリック ※画面は研究開発中のものです 28
29. 翻訳結果が出⼒される ※画面は研究開発中のものです 29
30. おわかりいただけただろうか ※画面は研究開発中のものです 30 怪異発生
31. 怪異概要 ※画面は研究開発中のものです 31 • ⾚枠で囲われた内側のテキストのみが、翻訳されている……
32. • ⾚枠や⾚⽮印で、⽣成AIのアテンションをコントロー ルできる • 画像全体のコンテキストやニュアンスを踏まえつつ、特定の部分のみを 翻訳可能 ◦ DeepLなどでセンテンスのみを翻訳するよりも⾃然な翻訳が可能 • アテンションのコントロールは他のタスクでも有効 怪異解説 ※画面は研究開発中のものです 32
33. SNSの投稿を書く ※画面は研究開発中のものです 33 タスク事例３
34. ※画面は研究開発中のものです 34 https://gyazo.com/d2d0884f90f7f4775cf2864720e01645
35. 「SNSの投稿を書く」ボタンをクリック ※画面は研究開発中のものです 35
36. ※画面は研究開発中のものです ⼟⽤の丑の⽇に関するSNSの投稿が出⼒される 36
37. • ※画面は研究開発中のものです 37
38. ⾚枠を書き込んだうえで改めてボタンをクリック ※画面は研究開発中のものです 38
39. ⾚枠の中⾝に着⽬したSNSの投稿が出⼒される ※画面は研究開発中のものです 39
40. Assistant for Gyazo ※画面は研究開発中のものです 40
41. プロンプト書くの⾯倒くさい ※画面は研究開発中のものです yuisekiさん…… 41
42. デフォルトはサンプルのタスクのみ ※画面は研究開発中のものです 42 • ここにないタスクは結局⾃分でプロンプトを書かないといけないってこ とじゃん💢
43. おわかりいただけただろうか ※画面は研究開発中のものです 43 怪異発生
44. 怪異概要 ※画面は研究開発中のものです 44 • 「⽣成」というボタンがある……
45. • 「⽣成」ボタンは、「メタプロンプト」を実⾏するボタン • メタプロンプト＝⽣成AIにプロンプトを⽣成させるプロンプト • キャプチャとメタデータに基づいて、⽣成AI⾃⾝が、プロンプトを⽣成 する 怪異解説 ※画面は研究開発中のものです 45
46. ※画面は研究開発中のものです 46 楽天証券の投資信託ランキングのキャプチャ
47. メタプロンプトを実⾏ ※画面は研究開発中のものです 47
48. メタプロンプトの実⾏結果 ※画面は研究開発中のものです 48
49. より汎⽤的なプロンプトに書き直す（⼈⼒） ※画面は研究開発中のものです 49
50. 実際に実⾏してみて結果を確認（⼈⼒） ※画面は研究開発中のものです 50
51. 良さそうだったら名前をつけて保存（⼈⼒） ※画面は研究開発中のものです 51
52. 再利⽤可能になる ※画面は研究開発中のものです 52
53. 再利⽤可能になる ※画面は研究開発中のものです 53
54. メタプロンプトすら⾯倒くさい ※画面は研究開発中のものです yuisekiさん…… 54
55. ※画面は研究開発中のものです 55
56. ※画面は研究開発中のものです 56
57. プロンプトごとに、推測不能なURLが発⾏される ※画面は研究開発中のものです 57
58. 他のGyazoユーザーにURLを送ると、こう⾒える ※画面は研究開発中のものです 58
59. • プロンプトを書くのは、得意な⼈に任せればいい • ⾃分が書いた超絶技巧‧超便利プロンプトを、他のユーザーに共有でき る • 他のユーザーが書いてくれた超絶技巧‧超便利プロンプトを⾃分のアカ ウントにコピーできる プロンプトをリンクで共有できる ※画面は研究開発中のものです 59
60. You are an excellent technical writer. Your role is to write a manual that describes the operations of the functions shown in the capture. You will always output the manual according to the following rules: - The manual MUST describes only the operations of the functions shown in the capture. - The manual MUST NEVER include any content not shown in the capture. - The manual MUST describe operations in as much detail as possible on a step-by-step. - The manual MUST properly describe mouse operation, keyboard operation, form input, or screen transitions. - The manual MUST NOT be generate description that is not shown in the capture. - Be sure that your manual is easy to understand for the user who will read it and operate the software. - When you find red arrow or red frame in the capture, you MUST only write the manual about the content that is pointed by the red arrow or covered by the red frame. - The manual SHOULD be based on the context of the entire capture. - Output MUST be use Markdown notation. - Output MUST be start the title of the manual. 唐突超お得情報：「マニュアルを書く」のプロンプト ※画面は研究開発中のものです 60
61. ChatGPTでもできませんか？ ※画面は研究開発中のものです yuisekiさん…… 61
62. Claudeにスクリーンショット 機能ついたらしいですよ ※画面は研究開発中のものです yuisekiさん…… 62
63. • スクリーンショットを撮影 • ペイントツールを起動して、赤枠を書き込 み • ファイルに保存するか、クリップボードにコ ピー • ブラウザを起動して、ChatGPTのサイトを 開く • ファイルをアップロード、またはクリップ ボードをペースト • プロンプトを頑張って書く • $20 / month 「ChatGPT」 vs 「Assistant for Gyazo」 ※画面は研究開発中のものです • Gyazoをクリックして起動 • ドラッグして範囲を選択 ◦ アップロードされる • Gyazoの書き込み機能でドラッグして赤枠 を書き込み • 保存ボタンをクリック • Assistantボタンをクリック • 実行したいタスクをクリック 63 • 高性能 ◦ 生成AIはコンテキストが豊富なほど正確かつ期 待通りの出力をする ▪ Assistant for Gyazoでは、各種メタデー タを付与 ◦ 生成AIのOCR性能は高くない ▪ Google Cloud Vision APIによる超高性 能なOCRの結果も付与 ChatGPT Assistant for Gyazo
64. ※画面は研究開発中のものです Assistant for Gyazoに聞いてみた 64 https://gyazo.com/347a40e898d9f580c7fcf031d21b1964
65. Assistant for Gyazo ※画面は研究開発中のものです 65 https://gyazo.com/collections/164ea1c38917e40edb3e1bfac295b058 デモします
66. Assistant for Gyazo ※画面は研究開発中のものです ご清聴ありがとうございました 66
67. One more thing…… ※画面は研究開発中のものです 67 というのは冗談で……
68. コレクション内の キャプチャに対する 質問応答チャットAI ※画面は研究開発中のものです 68 Assistant for Gyazoのもう⼀つの機能
69. • 複数のキャプチャをアルバムのようにまとめる機能 • 複数のユーザーが協働でコレクションにキャプチャを追加できる Gyazoのコレクション機能 ※画面は研究開発中のものです 69 https://gyazo.com/collections/5f37145163199e91c33036cfbd8c28a6
70. ※画面は研究開発中のものです 70 https://gyazo.com/collections/5f37145163199e91c33036cfbd8c28a6
71. （いかにも研究開発中っぽい画⾯） ※画面は研究開発中のものです 71
72. • ※画面は研究開発中のものです 72
73. ※画面は研究開発中のものです 73
74. おわかりいただけただろうか ※画面は研究開発中のものです 74 怪異発生
75. • ⼤抵の⽣成AIモデルなら確実に知っているはずの常識問題への回答を拒 否した…… 怪異概要 ※画面は研究開発中のものです 75
76. • コレクション内のキャプチャに含まれる情報に基づいてしか返答しない ◦ 本来、⽣成AIモデル内部にあるはずの、⽣成AIモデルが常識（だと思いこんでいる情 報）を、意図的に封印している • ハルシネーションしにくい ◦ （ハルシネーションを完全に防ぐのは難しい） 怪異解説 ※画面は研究開発中のものです 76
77. 質問を書くのが⾯倒くさい ※画面は研究開発中のものです yuisekiさん…… 77
78. 「画像で質問」ボタン ※画面は研究開発中のものです 78 https://gyazo.com/collections/5f37145163199e91c33036cfbd8c28a6
79. ※画面は研究開発中のものです 79
80. ※画面は研究開発中のものです 80
81. ※画面は研究開発中のものです 81
82. • キーボードで⽂字を⼊⼒する必要なし ⽣成AIが、画像から質問を⽣成 ※画面は研究開発中のものです 82
83. NotebookLMでもできませんか？ ※画面は研究開発中のものです yuisekiさん…… 83
84. • Gyazoでスクリーンショットを撮影してコレクションに追加するだけ で、Assistant for Gyazoの知識を増やせる • コレクションには他のユーザーを招待して、共同編集することもできる Gyazoのほうが簡単、仲間と協⼒も可能 ※画面は研究開発中のものです 84 https://gyazo.com/collections/5f37145163199e91c33036cfbd8c28a6
85. まとめ ※画面は研究開発中のものです 85
86. • Gyazoは⽣成AIと⼈間のインターフェイスとして相性が良い • Gyazoなら⽣成AIの性能を最⼤限に引き出せる ◦ GenAI Empowerment Technology ◦ メタデータによるコンテキストの付与 ◦ ⾼性能なOCRの付与 ◦ 書き込み機能によるアテンションのコントロール • Gyazoなら⼈間の可能性を拡張できる ◦ Human Empowerment Technology ◦ ⽣成AIを活⽤した定型的なタスクを素早く、かつ⾼性能に実⾏できる ◦ キーボード⼊⼒がほとんど不要で⽣成AIを操れる ▪ 必要なのはマウスのクリック、ドラッグのみ まとめ１ ※画面は研究開発中のものです 86
87. • Gyazoチームは⼤規模なサービスを安定して提供することはもちろん、⾼ い技術⼒と瞬発⼒で機能を研究開発をすることができます ◦ チームのみなさんの助⾔、⽀えがあってこそ • こんな⼈がGyazoのプロダクトマネージャーです ◦ プロダクトがどう使われているか、ユーザーの観察 ◦ 汎⽤的でありながら、特定の使い⽅にバッチリ刺さる機能の構想 ◦ バグがなく、使いやすいインターフェイスの探求 ◦ スケーラビリティやパフォーマンスを考慮したバックエンドの開発 ◦ プライバシーやコストを考慮したクラウドプロバイダーとの連携 ◦ ⽣成AIの性質、挙動、扱い⽅や性能の引き出し⽅の深い理解 まとめ２ ※画面は研究開発中のものです 87
88. ⾃慢ポイント ※画面は研究開発中のものです 88
89. 研究開発期間：3週間 ※画面は研究開発中のものです 残業なし、休日出勤なし お盆に連休もあった なんなら有給も取った 通常業務もやっていた つまり、まだ本気出してない ⾃慢ポイントその１ 89
90. Ruby on Railsで オンメモリで ベクトル検索を実現 ※画面は研究開発中のものです 外部のベクトル検索プロバイダーは使っ ていない つまり、まだ本気出してない ⾃慢ポイントその２ 90
91. 10年以上の歴史がある 超⼤規模な Ruby on Railsシステムの 本番環境で動いている ※画面は研究開発中のものです master branchにマージしてます ⾃慢ポイントその３ 91
92. ⼀般リリース時期未定 ※画面は研究開発中のものです あくまでも研究開発なので…… 92
93. • 本当にニーズがあるのか不明…… • UIとUXも、もっと洗練させられる…… ◦ ボタンだらけのUIはない…… • プロンプトインジェクション対策してない…… • もっとさらに便利にもできるはず…… • プライシングも考えないといけない…… ◦ ⽉額590円でGemini 1.5 ProとMultimodal Embedding呼び出し放題は太っ腹すぎる • etc… ⼀般リリース時期未定の事情 ※画面は研究開発中のものです 93
94. 本⾳ ※画面は研究開発中のものです 94
95. Assistant for Gyazoを いますぐ使う⽅法 ※画面は研究開発中のものです ⼀般リリース時期未定の 95
96. あんまり 確実ではない⽅法 ※画面は研究開発中のものです 96 Assistant for Gyazoをいますぐ使う⽅法
97. このあとの懇親会で CEOとCTOとGyazo開発チームに Assistant for Gyazo いますぐにでも使いたいです！ とみんなで⾔う ※画面は研究開発中のものです （私に⾔っても無駄です） 97 Assistant for Gyazoをいますぐ使う⽅法
98. 確実に使える⽅法が ⼀つだけあります ※画面は研究開発中のものです 98 Assistant for Gyazoをいますぐ使う⽅法
99. 株式会社Helpfeelに ⼊社する ※画面は研究開発中のものです 99 Assistant for Gyazoをいますぐ使う⽅法 Helpfeel社員は Gyazo Pro永久無料 研究開発中の機能も 使い放題
100. 採⽤情報 100 サービスの急成⻑に伴い、 私たちは新しい仲間を必要としています！ Helpfeel wants Teammates! 開発チームX 開発チームBlog 採⽤情報 https://scrapbox.io/ helpfeel-dev-careers/ https://blog.notainc.com/ @Helpfeeltech