サービス終了で文鎮化したLINE CLOVER を改造してChatGPTを仕組むといい感じに！

2023/07/20（木）19:30〜
に開催された、『VoiceLunchJP #34』でのLT発表資料です。
イベントページ：
https://voicelunchjp.connpass.com/event/290119/
改造方法記事：
https://elchika.com/article/1c5edcc4-701c-4a10-9e71-435ded8ba2be/
https://elchika.com/article/38d8127b-7cb4-44b9-ae63-ece591d777f9/
アプリを公開したGitHub：
https://github.com/TakSan0/CLOVA_RasPi

Transcript

1. 2023/7/20 #34 発表作品 サ終で文鎮化したLINE CLOVER を改造して ChatGPTを仕組むといい感じに！ by TakSan
2. 自己紹介 本職：組み込みＳＥ 名前：TakSan (佐野) 拠点：東大阪 https://elchika.com/user/TakSan0/ https://protopedia.net/prototyper/taksan 作品をこの辺で ⇐ 公開中 ⇒ 出現：ハッカソン・コンテスト・LT 特技：地雷ふみ
3. 変な作品ばかり⁉ 動いて画像処理で数字読み ながら計算するそろばん！ リモートで動かせる キーボード！ 温め方で生まれる キャラクタが決まる卵！ 黒電話を IP電話で 携帯電話化した！ 計測器をディスプレイに IoT 情報機器に！ 最新作！ 派手に光る球形LED 手に持ったステッキで 自分が時計になれる！
4. 同じ様な内容でLT ChatGPTの ハッカソンに 投入してみた！ LINE本家主催 開発コミュニティ にてゲリラ的LT！ ユーザー数が 多そうなとこで LTしてみた！
5. 3月末いよいよ文鎮化
6. 愛着ある人も多いはず
7. さっそく分解
8. CLOVA 構成部品 リチウム イオン電池 小型マイク ×２ 前面SW(口) スピーカー 底面 イルミ LED USBコネクタ スイッチ・ LEDパネル CPU+周辺回路(ARM) 電源＋充電回路 オーディオ回路
9. 徹底的に解析
10. 結構カオス ラズパイを 中に仕込む
11. 改造の仕方 https://elchika.com/article/1c5edcc4-701c-4a10-9e71-435ded8ba2be/ 公開中
12. 基板を設計 実は基板製造 初デビュー！
13. 基板完成⁉ オリジナル 改造基板
14. マイク基板 ・MEMSマイク(アナログ)×２ 改造内容と構成図 マイク基板 ・MEMSマイク(I2S) フロントスイッチ基板 ・タクトSW×１ リアスイッチ基板 ・タクトSW×４ ・３色(RGB) LED 電源コネクタ基板 ・USB type C コネクタ×１ メイン基板 ・CPU(ARM)及び周辺回路 ・音声関連回路 ・電源回路 他 メイン基板 ・ラズパイZero ・D級アンプ(I2S) ・電源回路 他 筐体+スピーカー ・スピーカー×１ バッテリー ・リチウムイオン×１ ラズパイがアナログを扱えないので デジタルマイクに置き換え 容量不足で嵩張るだけなので撤去 底面イルミLED基板 ・LED制御用IC ・電源分配回路 ・他…詳細不明 元ソフトのハックは不可能なので ラズパイで新たにシステム構築 流用 改造後 改造前
15. 改造の仕方 第二段 https://elchika.com/article/38d8127b-7cb4-44b9-ae63-ece591d777f9/ 公開中
16. BOOTHにて販売開始
17. GitHubで公開中のアプリ https://github.com/TakSan0/CLOVA_RasPi 現在絶賛 開発中 オープンソースで 自分で自由に カスタマイズ可⁉
18. ソフト構成 TextToSpeech SpeechToText 音声をテキストに テキストを音声に 自前プログラム (Python) Chat-GPT (OPENAI API) 機能選択 ニュース、天気、 日時、タイマー LINE 等 学習データ以外 上記以外 （自前プログラムで 実装していないもの） プログラムと AI の ハイブリッド構成 現在絶賛 実装中
19. 自前プログラムの場合 SpeechToText 音声をテキストに 機能選択 ニュース、天気、 日時、タイマー LINE 等 学習データ以外 自前プログラム (Python) TextToSpeech テキストを音声に
20. AIを使用する場合 SpeechToText 音声をテキストに 機能選択 上記以外 （自前プログラムで 実装していないもの） Chat-GPT (OPENAI API) TextToSpeech テキストを音声に
21. 実はMiniの方が所有者多い⁉ ちっちゃい方、ラズパイの 収まるスペースほぼ無し
22. Mini基板解析
23. Mini用基板試作
24. ・展示会 ・コンテスト ・各種LT ・ハッカソン参戦 等の外せない用事 ソフト開発 生産・販売 Mini用基板開発 その他活動 作者多忙で進捗悪化
25. のめりこむ方出現…
26. Githubプルリクの嵐にあたふた
27. 開発チーム爆誕 15歳ながらも 超優秀な協力者
28. 展示会で失敗⁉
29. ＮＴ金沢にも出展 ５個限定の 少量出品!!
30. 大阪での展示会でも出展
31. “CLOVA改造” でググると出てくる 関連記事が 1ページ目を独占⁉ 「CLOVA改造」 で検索！ いやいや、誰も やらないだけ！
32. 豊富な資源のラズパイは自由度高い 豊富な開発環境 (Python / C++ / nodejs/ Node-red etc.) 豊富なネット環境 (充実したプロトコル スタック) ハード拡張性 (センサーやアクチュエータ等 後付け可能) 開発情報 (様々な作成事例や ネット記事 etc.) CUIインタフェース コピペでコマンド 叩けば何でもできる UNIX系シンプルCUI 豊富なリソース メモリ・動作速度面
33. 動作デモ
34. ありがとうございました https://elchika.com/article/38d8127b-7cb4-44b9-ae63-ece591d777f9/ 公開中