20230725_LT_画像解析機能でクイズを解かせたい

LT : 画像解析機能でクイズを解かせたい 2023/7/25 @doradora09

Copyright © 2023 NOB DATA All Rights Reserved. ⾃⼰紹介⼤城信晃(twitter
@doradora09) NOB DATA株式会社代表取締役社⻑ / データサイエンティスト協会九州⽀部委員⻑・住まい沖縄 -> 東京 -> 福岡・職歴ヤフー-> DATUM STUDIO -> LINE Fukuoka -> NOB DATA(株) 創業・運営コミュニティ・過去・Tokyo.R(2010-2016) ・現在・fukuoka.R、PyData.Fukuoka、意思決定のためのデータ分析勉強会、データ分析系勉強会サテライトビューイング、オモシロAIごった煮勉強会、ChatGPT部勉強会の主催者です

画像解析機能がリリースされました • Google Bard (英語版のみ) • Bing Chat (notエンタープライズ版)

⾊々と触ってみた際の記事 • カウント系の精度はまだまだなものの、ざっくりとした解釈はいけそう https://note.com/chatgpt_nobdata/n/n82b871e0d706 https://note.com/chatgpt_nobdata/n/na9bbf6ab693e

今回のお題 • 画像解析機能を使ってクイズを解かせる

今回のお題 • 画像解析機能を使ってクイズを解かせる => 結論から⾔うと、まだまだ難しそう

①クロスワードパズル参考： https://apprev.smt.docomo.ne.jp/noutore/article/1457670/ ・定番ですね・何が⼊るかわかりますか・・？

①クロスワードパズル • Bard -> 頑張ってはいるが、そもそもの⽂字認識がNG • Bing Chat ->
全然ダメ (３⽂字の問題と認識しない) 画像のクイズの答えは「き」です。クロスワードパズルの最初の単語は「けい」で、「政府」を意味します。2番⽬の単語は「う」で、ひらがな1⽂字でそれ⾃体には何の意味もない。3番⽬の単語は「に」で、「中」を意味する。つの単語を作るために空欄に⼊れることができるひらがなは「き」だけである。最初の単語は「冷たい」を意味する「きい」となる。2番⽬の単語は「きん」。よって、クイズの答えは「き」。

①クロスワードパズル • Bard -> 頑張ってはいるが、そもそもの⽂字認識がNG •
Bing Chat -> 全然ダメ

①クロスワードパズル • 早々に諦め、 ChatGPT-4に頑張ってもらう • テキストで⼊れると、惜しいところまでは⾏く

①クロスワードパズル • ３⽂字指定しても微妙

①クロスワードパズル • 総当たりで考えてもらう -> 惜しいがダメ

①クロスワードパズル • 濁⾳のヒントを与える -> いけました・・！！ • 怪我に、ではなくて実際は「⽑ガニ」

参考： ②間違い探し • ⾃信満々で答えるものの、全部違う (Bard) • 問題⾃体はちゃんと読んでる (8つの間違いを⽰
してね、とのこと)

参考： ②間違い探し • Bard答えを⽇本語化するとこんな感じ • ただ、いずれも異なる https://tenhoo.jp/p/diﬀerence/
確かに、ここに2台のトラックの8つの違いがある： • トラックの⾞輪の数。左のトラックは6輪、右のトラックは4輪。 • トラックの⾊。左のトラックは⽩、右のトラックは⾚。 • ドアの位置。左のドアはトラックの左側にあり、右のドアはトラックの右側にあります。 • トラックに乗っている⼈数。左のトラックには2⼈、右のトラックには1⼈しか乗っていない。 • 餃⼦の鍋の位置。左の餃⼦鍋はトラックの荷台にあり、右の餃⼦鍋はトラックの⼿前にある。 • 餃⼦の鍋の⾊。左の餃⼦鍋は⾚、右の餃⼦鍋は⽩。 • 鍋の中の餃⼦の数。左の鍋には6個、右の鍋には4個の餃⼦が⼊っている。 • 箸の位置。左の箸は餃⼦の鍋の中にあり、右の箸はトラックの横の地⾯にある。参考になれば幸いだ！

参考： ②間違い探し • 答えこんな感じ https://tenhoo.jp/p/difference/

参考： ③ウォーリー探し • これもNG • ウォーリーの問題です、というところまでは認識してますが細かい部分はまだまだ苦⼿な模様
https://www.atpress.ne.jp/news/192236

参考： ③ウォーリー探し • これもNG • 該当箇所をクロッピングしてもなかなか認めてくれない・・ https://www.atpress.ne.jp/news/192236

まとめ • 画像認識単体ではまだまだクイズを解かせるのは難しそう • 総当たりなどを指⽰すれば、クロスワードは解けるケースもある(ある種のヒントの提⽰) • 今後の画像認識精度の向上に期待

Enjoy .. !!

20230725_LT_画像解析機能でクイズを解かせたい

20230725_LT_画像解析機能でクイズを解かせたい

NobuakiOshiro PRO

More Decks by NobuakiOshiro

Other Decks in Technology

Featured

Transcript

LT : 画像解析機能でクイズを解かせたい 2023/7/25 @doradora09

Copyright © 2023 NOB DATA All Rights Reserved. ⾃⼰紹介⼤城信晃(twitter

画像解析機能がリリースされました • Google Bard (英語版のみ) • Bing Chat (notエンタープライズ版)

⾊々と触ってみた際の記事 • カウント系の精度はまだまだなものの、ざっくりとした解釈はいけそう https://note.com/chatgpt_nobdata/n/n82b871e0d706 https://note.com/chatgpt_nobdata/n/na9bbf6ab693e

今回のお題 • 画像解析機能を使ってクイズを解かせる

今回のお題 • 画像解析機能を使ってクイズを解かせる => 結論から⾔うと、まだまだ難しそう

①クロスワードパズル参考： https://apprev.smt.docomo.ne.jp/noutore/article/1457670/ ・定番ですね・何が⼊るかわかりますか・・？

①クロスワードパズル • Bard -> 頑張ってはいるが、そもそもの⽂字認識がNG • Bing Chat ->

①クロスワードパズル • Bard -> 頑張ってはいるが、そもそもの⽂字認識がNG •

①クロスワードパズル • 早々に諦め、 ChatGPT-4に頑張ってもらう • テキストで⼊れると、惜しいところまでは⾏く

①クロスワードパズル • ３⽂字指定しても微妙

①クロスワードパズル • 総当たりで考えてもらう -> 惜しいがダメ

①クロスワードパズル • 濁⾳のヒントを与える -> いけました・・！！ • 怪我に、ではなくて実際は「⽑ガニ」

参考： ②間違い探し • ⾃信満々で答えるものの、全部違う (Bard) • 問題⾃体はちゃんと読んでる (8つの間違いを⽰

参考： ②間違い探し • Bard答えを⽇本語化するとこんな感じ • ただ、いずれも異なる https://tenhoo.jp/p/diﬀerence/

参考： ②間違い探し • 答えこんな感じ https://tenhoo.jp/p/difference/

参考： ③ウォーリー探し • これもNG • ウォーリーの問題です、というところまでは認識してますが細かい部分はまだまだ苦⼿な模様

参考： ③ウォーリー探し • これもNG • 該当箇所をクロッピングしてもなかなか認めてくれない・・ https://www.atpress.ne.jp/news/192236

まとめ • 画像認識単体ではまだまだクイズを解かせるのは難しそう • 総当たりなどを指⽰すれば、クロスワードは解けるケースもある(ある種のヒントの提⽰) • 今後の画像認識精度の向上に期待

Enjoy .. !!