Sechack365修了生招待講演_20251114

Transcript

1. 「すれ違いの無いSNS世界」を目指した 思索駆動の一年 + Edge AIシステムの社会実装（苦戦中） Sechack365 2期生 思索駆動コース 秋田 賢 2025/11/14-11/16 Sechack2025 大阪会 修了生講演 @fox_aki310ooooo
2. アジェンダ • 自己紹介（1分） • Sechack365で取り組んだ内容（9分） ◦ 作品紹介 ◦ スケジュールで振り返る思索駆動の 1年 ◦ 振り返り • EdgeAIの社会実装と苦労談（7分） ◦ Edge AIとは ◦ ソニーが展開するEdge AI Solution ▪ 画素チップを推論チップを積層させた「 IMX500」 ◦ 社会実装の実例と技術要素 ◦ 苦労しているところ ◦ 有意義な社会実装をするために
3. アジェンダ • 自己紹介（ 1分） • Sechack365で取り組んだ内容（9分） ◦ 作品紹介 ◦ スケジュールで振り返る思索駆動の 1年 ◦ 振り返り • EdgeAIの社会実装と苦労談（7分） ◦ Edge AIとは ◦ ソニーが展開するEdge AI Solution ▪ 画素チップを推論チップを積層させた「 IMX500」 ◦ 社会実装の実例と技術要素 ◦ 苦労しているところ ◦ 有意義な社会実装をするために
4. 秋田 賢 Akita Satoru @akita_fox @fox_aki310ooooo 🦊経歴 • 2018年度 思索駆動コース、SXSW海外派遣 （テーマ：SNS上のすれ違いを無くす） • 東北大学大学院ロボティクス専攻（当時） • ソニーセミコンダクタソリューションズ株式会社（現在） 🦊最近の関心 • コミュニティやカンファレンスへの参加 • 楽しい運動で健康生活（スキー、マラソン、ゴルフ） • 仕事しながらのアカデミック的な活動、事業活動 • ふるさと（土地 or コミュニティ）を沢山作りたい！ Edge AI + System Engineer +筋肉駆動コース ? AI/IoTシステム設計、画像・動画処理、半導体、 OSS化活動、HW品質保 証、システム保守など 分子ロボティクス DNA折り紙 半導体センサ（MEMS） Edge AI Systemの社会実装 🦊語れそうなこと 宇宙（ロケット、人工衛星）
5. SPAJAM (スマホアプリのハッカソン） SRE NEXT2025 NOCスタッフ 2020年度修了生 FQCさん 2022年度修了生 voidさん 2025年12月に「Open Source Summit Japan」のスタッフをやる予定で、参加 される方いたらよろしくお願いします！
6. アジェンダ • 自己紹介（1分） • Sechack365で取り組んだ内容（ 9分） ◦ 作品紹介 ◦ スケジュールで振り返る思索駆動の 1年 ◦ 振り返り • EdgeAIの社会実装と苦労談（7分） ◦ Edge AIとは ◦ ソニーが展開するEdge AI Solution ▪ 画素チップを推論チップを積層させた「 IMX500」 ◦ 社会実装の実例と技術要素 ◦ 苦労しているところ ◦ 有意義な社会実装をするために
7. テーマと作品 ・感情推移図作成サービス （twitter投稿文から感情値推定） ・セリフ付き画像作成サービス （自己表現を楽に，伝えやすくする） with nanophateくん 「SNS上のすれ違いを無くしたい」⇒相手の情報把握，言語化の支援
8. スケジュールで振り返る一年 4月 「すれ違いを無く したい」 5－6月 思索オンラインゼミ ・漫画村 ・ブロックチェーン ・自動運転 ・マルウェア（Mirai) 7－9月 心の可視化に ついての調査 10-11月 感情推移図作成 サービスの開発 12-1月 セリフ付き画像作成 サービスの開発 2月 成果発表会 3月 終了回 SXSW派遣
9. スケジュールで振り返る一年 4月 「すれ違いを無く したい」 5－6月 思索オンラインゼミ ・漫画村 ・ブロックチェーン ・自動運転 ・マルウェア（Mirai) 7－9月 心の可視化に ついての調査 10-11月 感情推移図作成 サービスの開発 12-1月 セリフ付き画像作成 サービスの開発 2月 成果発表会 3月 終了回 SXSW派遣
10. ・育った環境 ・時代ごとの価値観 ・経験した事柄 ・前提知識 なぜすれ違いが起こるのか？ 一人ひとり， 物事の感じ方 （喜び，悲しみ）が 異なること が要因 応募時点のテーマ：すれ違いを無くしたい
11. スケジュールで振り返る一年 4月 「すれ違いを無く したい」 5－6月 思索オンラインゼミ ・漫画村 ・ブロックチェーン ・自動運転 ・マルウェア（Mirai) 7－9月 心の可視化に ついての調査 10-11月 感情推移図作成 サービスの開発 12-1月 セリフ付き画像作成 サービスの開発 2月 成果発表会 3月 終了回 SXSW派遣
13. 心理学的知見の調査例 好まれる会話とは • 質問を上手にする →ドーパミンが出る • 相手が楽しく話せること，興味があることを質問する （2017ハーバード大学お見合い実験 110人より） • 15分で9回以上（ニューヨーク州立大学 15分オンラインチャット 300人より） • 短期的関係では，外見は褒めるほど逆効果になる（アリゾナ州立大学） • 付き合いが短い場合（ 16ヶ月以内）→心や性格を褒めると良い • ブランディングや自慢はマイナス（アリゾナ州立大学） その他 • 遺伝子でおおよその内向性 or外向性が決まる • ネガティブは人を引き付ける • ポジティブな人の周りでポジティブな事が起こり，また長生きになる
14. スケジュールで振り返る一年 4月 「すれ違いを無く したい」 5－6月 思索オンラインゼミ ・漫画村 ・ブロックチェーン ・自動運転 ・マルウェア（Mirai) 7－9月 心の可視化に ついての調査 10-11月 感情推移図作成 サービスの開発 12-1月 セリフ付き画像作成 サービスの開発 2月 成果発表会 3月 終了回 SXSW派遣
16. 一部は別の人の作品へ 心を見守るアプリ “tete-AR-tete”：小山 凌弥 ＋AR=
18. 文章の感情推定手法の調査 ・フリーの日本語評価極性辞書を使い ，文章中の単語感情値を足し合わせ て判定 18 ・APIを叩くだけで文章の 感情値が得られる 単語感情辞典による作成 東北大 乾鈴木研究室公開「日本語評価極性辞書」 http://www.cl.ecei.tohoku.ac.jp/index.php?Open%20Resources%2FJapanese%20Sentim ent%20Polarity%20Dictionary https://azure.microsoft.com/ja-jp/services/cognitive-services/text-analytics/ 〇 × ・コストが高く，大量の文章の推定 が困難 （無料取得回数に制限があり） ・APIの送信時間がネック ・辞書の検索に時間がかかる （4秒/1文章） ・単語ラベルの感情値が主観的 例：楽しい→1.0, 疲れ→-0.7 楽しいが疲れた→0.3 〇 × Azureの TextanalyzeAPIによる推定
19. 感情推移図作成サービスの概要 Fasttextによる文章の感情推定 ・Facebookが発表した自然言語処理ライブラリ ・文章への類似度を判定 ・APIや感情辞書判定と比べ非常に高速（100文/秒） ・ポジティブ教師データ (＋1） bot10586321, heart_meign, kami_positive, maemukikotoba1, Plus_bot, posi_sibe_sp_, positive_bot3, positivekk_bot ・ネガティブ教師データ (－1） Antinatalismbot, cynicalbot, lewyfDanf, Mostnegative, n_siko, mega_bot, positive_act_me, unluckyBot 19 感情値(-1~1)＝Positive類似度(0~1) - Negative類似度(0~1) 構成
20. 実験結果： 感情値を「週，月平均」にすると本人にとってある 程度納得できる判定となった 20 実線：週平均 点線：月平均 仕事大変時期
21. スケジュールで振り返る一年 4月 「すれ違いを無く したい」 5－6月 思索オンラインゼミ ・漫画村 ・ブロックチェーン ・自動運転 ・マルウェア（Mirai) 7－9月 心の可視化に ついての調査 10-11月 感情推移図作成 サービスの開発 12-1月 セリフ付き画像作成 サービスの開発 2月 成果発表会 3月 終了回 SXSW派遣
22. より多くの情報を，人に伝えられる手段の発展 音⇒文字⇒写真⇒動画 ネットコミュニケーションの歴史 22
23. 各メディアの特徴 動画 〇表情や抑揚などが理解を促す ×時間対情報密度が低い ×情報を検索，共有しづらく作成のコストが 大きい 文章 〇情報を作りやすい ×筆者の顔や感情，詳しい情景が見え ないため，誤解が生じやすい 漫画（セリフ付き画像） 〇自分の伝えたい事を図＋文章により精密に表現でき，言語化を楽にしてくれる 〇ラインやSlackのスタンプ，インスタのストーリー機能などで使用 ×作成コストがやや高い→セリフ付き画像作成サービス 23
24. セリフ画像作成サービス ・構成 ・使用例
25. スケジュールで振り返る一年 4月 「すれ違いを無く したい」 5－6月 思索オンラインゼミ ・漫画村 ・ブロックチェーン ・自動運転 ・マルウェア（Mirai) 7－9月 心の可視化に ついての調査 10-11月 感情推移図作成 サービスの開発 12-1月 セリフ付き画像作成 サービスの開発 2月 成果発表会 3月 終了回 SXSW派遣
26. 一年を通して • 落としどころを見つけるには →アイディアを沢山出す（僕は75個目と81個目のアイディアを採用） ただし，「先行例の調査」「自分の技術力とのすり合わせ」を同時並行でやる必要あり．ここは難し いので大人や周りの力を借りると良いです． ・どうしても迷ったら →自分の望む進路に活きる形に。なるべく論文やOSS発表できると次に繋がる。 • ハッカソンは挑戦の場で，上手くいかない結果になることもあります。成果を焦る気持ちは持ちつ つも、やりたいことを見つけやり切って欲しいと思います。 • 同期には、最終成果発表の１週間前にテーマを変えた人もいました。 • その後彼は社会人博士をとり、現在特任助教をやっています • 自分のやりたいことを見つけて，今後も創作活動を続けて欲しい．
27. アジェンダ • 自己紹介（1分） • Sechack365で取り組んだ内容（9分） ◦ 作品紹介 ◦ スケジュールで振り返る思索駆動の 1年 ◦ 振り返り • EdgeAIの社会実装と苦労談（ 7分） ◦ Edge AIとは ◦ ソニーが展開するEdge AI Solution ▪ 画素チップを推論チップを積層させた「 IMX500」 ◦ 社会実装の実例と技術要素 ◦ 苦労しているところ ◦ 意義のある社会実装をするために
28. Edge AIとは クラウド上のサーバで処理しない、ローカル環境で処理するAIのこと Cloud AI Edge AI 動画 画像 音声 推論結果のみをCloudに送信 データをクラウドに送信して推論 認識対象A 認識対象B 認識対象C 認識対象A 認識対象B 認識対象C 推論結果 推論結果 推論結果 〇：高火力な推論処理が可能、実装が容易 ✖：通信のコスト高、セキュリティ性 〇：通信コスト低、データを送信せず安全 ✖：高度な推論処理は難しい、実装難易度 推論 推論 推論 推論
29. ソニーが展開するEdge AI Solution エッジAIプラットフォーム「AITRIOS」 （デバイス管理、AIモデル開発などが可能なクラウドサービス ) 画素チップとAI処理チップを組み合わせたセンサ 「IMX500」（＝半導体製造＠九州）、 独自チップから一気通貫して自社でカメラを製造
30. エッジAIチップ（IMX500）の構成 https://qiita.com/SSS-satoruakita/items/512b9a2e7978ee517e27 推論結果 画像 （選択出力） 後 段 マ イ コ ン 画素チップとCNN Processorが接続しており、後 段APには推論のみ（×画像）送信可能 →セキュアな処理、後段に負荷をかけない qiitaに論文の解説記事書きました
31. 関わる技術要素 IMX500 エッジAIカメラ SPI ESP32 Binning AI model （量子化） Crop ISP処理 後段処理 （WASM） NuttX (RTOS) シリアライズ （Flatbuffer） MQTT Client 推論結果 （＋画像） 撮像 推論結果 OTA eFuse フラッシュ暗 号化 顧客アプリ Rest API デシリアライズ （Flatbuffer） Basic認証 推論データ 処理 データベース AIモデル 学習 デバイス管 理 Azure Kubernetes Service AIモデル変換 （量子化、パッケージ化） パラメータ更新 購入処理 可視化（WEBやアプリ） 設置ガイド 半導体プロセス 幅広い分野を理解して性能を引き出すのがキモ！ （Sechackのおおよその作品が関わりあるはず）
32. Edge AI 社会実装の事例 サイネージ広告の視聴効果測定 @セブンイレブン トラック車番を検知して、入退室の記録を自動化 カメラ デジタルサイネージ 視線 性別 プレート 検出 文字認識 年齢 カメラ トラック
33. • IMX500の特徴を活かせるユースケースが少なく、相談やPoCで終わる事例が多い ◦ Edgeで処理はわかるが、画素チップで処理する必要性はあるか。 ▪ NPU搭載したマイコンで良いケース、 GPUあれば良いケースが多い。 ◦ 8MBメモリ制約があり、小さなAIモデルしか載せられない。 ▪ 製造側で決まっており、簡単には変えられない ▪ CNN系モデルの小型化（量子化）は進みつつあるが、精度や FPSが課題 • Classification、Object Detection、OCR、骨格推定で解決出来るソリューションに限定 • 通信コストの低下とLLMの台頭 ◦ 通信料金の下落（菅総理 👏） ▪ LTE、Starlinkなど送り放題プランが低額で可能になってきている ◦ エッジ処理するにしても、LAN内でgpt-ossやdeepseek等OSSのLLMに食わせれば良さそなケースも ▪ 自社商材を使う制約がない分、 SE系会社の方が柔軟かも。。？ 現在苦労している箇所 国産半導体を支えていきたいし、エッジ AIの意義は理解してい るが、取り組みを思索しなければいけない段階 事業部がなくなる！！ （Edge AI事業を辞めたわけではなく、規模を縮小し再編）
34. • 技術的には面白いことと、世の中に実用されるかは別の話 ◦ 実際に役に立ち、コミュニティに受けいられ、お金を払ってもらえるものが社会実装される ▪ 社会実装を見据えるなら「良いね」というコメントだけで満足してはいけない ◦ 起業論的には、「先に需要を確かめよ」が鉄則 ▪ パルワールド、LangCoreの資料や記事がおすすめ • 一方で、技術的に尖ったことが世界を大きく変えるのも事実 ◦ 時勢を読みながら、情熱を尖らせて欲しい。世界への一歩として、個人の実績は必要。 • Sechackで色んな分野を学んでいてよかった！！ ◦ 素早いキャッチアップ力、システム構築力の基礎になっている ▪ 「なるはやで！」に対応する力 ◦ 参加中に理解できなくても、分野の存在を知りアンテナを貼ることで理解出来る時が来る ▪ ぜひ、色んな人の作品に顔を出してほしい。 有意義な社会実装をするために
35. まとめ • 自己紹介（1分） ◦ カンファレンスとかハッカソンであったらよろしくお願いします！ • Sechack365で取り組んだ内容（9分） ◦ 「SNS上のすれ違いを無くしたい」⇒相手の情報把握，言語化の支援 • EdgeAIの社会実装と苦労談（7分） ◦ 画素と推論チップを積層させた IMX500の紹介 ◦ エッジAIの社会実装の紹介