20230725_LT_画像解析機能でクイズを解かせたい

https://omoshiroai.connpass.com/event/289172/

Transcript

1. LT : 画像解析機能で クイズを解かせたい 2023/7/25 @doradora09
2. Copyright © 2023 NOB DATA All Rights Reserved. ⾃⼰紹介 ⼤城信晃(twitter @doradora09) NOB DATA株式会社 代表取締役社⻑ / データサイエンティスト協会 九州⽀部 委員⻑ ・住まい 沖縄 -> 東京 -> 福岡 ・職歴 ヤフー-> DATUM STUDIO -> LINE Fukuoka -> NOB DATA(株) 創業 ・運営コミュニティ ・過去 ・Tokyo.R(2010-2016) ・現在 ・fukuoka.R、PyData.Fukuoka、 意思決定のためのデータ分析勉強会、 データ分析系勉強会サテライトビューイング、 オモシロAIごった煮勉強会、ChatGPT部 勉強会の主催者です
3. 画像解析機能がリリースされました • Google Bard (英語版のみ) • Bing Chat (notエンタープライズ版)
4. ⾊々と触ってみた際の記事 • カウント系の精度はまだまだなものの、ざっくりとした解釈は いけそう https://note.com/chatgpt_nobdata/n/n82b871e0d706 https://note.com/chatgpt_nobdata/n/na9bbf6ab693e
5. 今回のお題 • 画像解析機能を使ってクイズを解かせる
6. 今回のお題 • 画像解析機能を使ってクイズを解かせる => 結論から⾔うと、まだまだ難しそう
7. ①クロスワードパズル 参考： https://apprev.smt.docomo.ne.jp/noutore/article/1457670/ ・定番ですね ・何が⼊るかわかりますか・・？
8. ①クロスワードパズル • Bard -> 頑張ってはいるが、 そもそもの⽂字認識がNG • Bing Chat -> 全然ダメ (３⽂字の問題と認識しない) 画像のクイズの答えは「き」です。 クロスワードパズルの最初の単語は「けい」で、「政府」 を意味します。2番⽬の単語は「う」で、ひらがな1⽂字 でそれ⾃体には何の意味もない。3番⽬の単語は「に」 で、「中」を意味する。 つの単語を作るために空欄に⼊れることができるひらがな は「き」だけである。最初の単語は「冷たい」を意味する 「きい」となる。2番⽬の単語は「きん」。 よって、クイズの答えは「き」。
9. ①クロスワード パズル • Bard -> 頑張ってはいる が、 そもそもの⽂字認識 がNG • Bing Chat -> 全然ダメ
10. ①クロスワード パズル • 早々に諦め、 ChatGPT-4に頑張っ てもらう • テキストで⼊れる と、惜しいところま では⾏く
11. ①クロスワード パズル • ３⽂字指定しても微妙
12. ①クロスワード パズル • 総当たりで考えてもらう -> 惜しいがダメ
13. ①クロスワード パズル • 濁⾳のヒントを与える -> いけました・・！！ • 怪我に、ではなくて実際 は「⽑ガニ」
14. 参考： ②間違い探し • ⾃信満々で答える ものの、全部違う (Bard) • 問題⾃体はちゃん と読んでる (8つの間違いを⽰ してね、とのこと)
15. 参考： ②間違い探し • Bard答えを⽇本語 化するとこんな感 じ • ただ、いずれも異 なる https://tenhoo.jp/p/difference/ 確かに、ここに2台のトラックの8つの違いがある： • トラックの⾞輪の数。左のトラックは6輪、右のトラックは4輪。 • トラックの⾊。左のトラックは⽩、右のトラックは⾚。 • ドアの位置。左のドアはトラックの左側にあり、右のドアはトラック の右側にあります。 • トラックに乗っている⼈数。左のトラックには2⼈、右のトラックに は1⼈しか乗っていない。 • 餃⼦の鍋の位置。左の餃⼦鍋はトラックの荷台にあり、右の餃⼦鍋は トラックの⼿前にある。 • 餃⼦の鍋の⾊。左の餃⼦鍋は⾚、右の餃⼦鍋は⽩。 • 鍋の中の餃⼦の数。左の鍋には6個、右の鍋には4個の餃⼦が⼊って いる。 • 箸の位置。左の箸は餃⼦の鍋の中にあり、右の箸はトラックの横の地 ⾯にある。 参考になれば幸いだ！
16. 参考： ②間違い探し • 答えこんな感じ https://tenhoo.jp/p/difference/
17. 参考： ③ウォーリー探し • これもNG • ウォーリーの問題で す、というところま では認識してますが 細かい部分はまだま だ苦⼿な模様 https://www.atpress.ne.jp/news/192236
18. 参考： ③ウォーリー探し • これもNG • 該当箇所をクロッピ ングしてもなかなか 認めてくれない・・ https://www.atpress.ne.jp/news/192236
19. まとめ • 画像認識単体ではまだまだクイズを解かせるのは難しそう • 総当たりなどを指⽰すれば、クロスワードは解けるケースもあ る(ある種のヒントの提⽰) • 今後の画像認識精度の向上に期待
20. Enjoy .. !!