Tweet
Tweet

Slide 1

Slide 1 text

2023/7/20 #34 発表作品 サ終で文鎮化したLINE CLOVER を改造して ChatGPTを仕組むといい感じに！ by TakSan

Slide 2

Slide 2 text

自己紹介 本職：組み込みＳＥ 名前：TakSan (佐野) 拠点：東大阪 https://elchika.com/user/TakSan0/ https://protopedia.net/prototyper/taksan 作品をこの辺で ⇐ 公開中 ⇒ 出現：ハッカソン・コンテスト・LT 特技：地雷ふみ

Slide 3

Slide 3 text

変な作品ばかり⁉ 動いて画像処理で数字読み ながら計算するそろばん！ リモートで動かせる キーボード！ 温め方で生まれる キャラクタが決まる卵！ 黒電話を IP電話で 携帯電話化した！ 計測器をディスプレイに IoT 情報機器に！ 最新作！ 派手に光る球形LED 手に持ったステッキで 自分が時計になれる！

Slide 4

Slide 4 text

同じ様な内容でLT ChatGPTの ハッカソンに 投入してみた！ LINE本家主催 開発コミュニティ にてゲリラ的LT！ ユーザー数が 多そうなとこで LTしてみた！

Slide 5

Slide 5 text

3月末いよいよ文鎮化

Slide 6

Slide 6 text

愛着ある人も多いはず

Slide 7

Slide 7 text

さっそく分解

Slide 8

Slide 8 text

CLOVA 構成部品 リチウム イオン電池 小型マイク ×２ 前面SW(口) スピーカー 底面 イルミ LED USBコネクタ スイッチ・ LEDパネル CPU+周辺回路(ARM) 電源＋充電回路 オーディオ回路

Slide 9

Slide 9 text

徹底的に解析

Slide 10

Slide 10 text

結構カオス ラズパイを 中に仕込む

Slide 11

Slide 11 text

改造の仕方 https://elchika.com/article/1c5edcc4-701c-4a10-9e71-435ded8ba2be/ 公開中

Slide 12

Slide 12 text

基板を設計 実は基板製造 初デビュー！

Slide 13

Slide 13 text

基板完成⁉ オリジナル 改造基板

Slide 14

Slide 14 text

マイク基板 ・MEMSマイク(アナログ)×２ 改造内容と構成図 マイク基板 ・MEMSマイク(I2S) フロントスイッチ基板 ・タクトSW×１ リアスイッチ基板 ・タクトSW×４ ・３色(RGB) LED 電源コネクタ基板 ・USB type C コネクタ×１ メイン基板 ・CPU(ARM)及び周辺回路 ・音声関連回路 ・電源回路 他 メイン基板 ・ラズパイZero ・D級アンプ(I2S) ・電源回路 他 筐体+スピーカー ・スピーカー×１ バッテリー ・リチウムイオン×１ ラズパイがアナログを扱えないので デジタルマイクに置き換え 容量不足で嵩張るだけなので撤去 底面イルミLED基板 ・LED制御用IC ・電源分配回路 ・他…詳細不明 元ソフトのハックは不可能なので ラズパイで新たにシステム構築 流用 改造後 改造前

Slide 15

Slide 15 text

改造の仕方 第二段 https://elchika.com/article/38d8127b-7cb4-44b9-ae63-ece591d777f9/ 公開中

Slide 16

Slide 16 text

BOOTHにて販売開始

Slide 17

Slide 17 text

GitHubで公開中のアプリ https://github.com/TakSan0/CLOVA_RasPi 現在絶賛 開発中 オープンソースで 自分で自由に カスタマイズ可⁉

Slide 18

Slide 18 text

ソフト構成 TextToSpeech SpeechToText 音声をテキストに テキストを音声に 自前プログラム (Python) Chat-GPT (OPENAI API) 機能選択 ニュース、天気、 日時、タイマー LINE 等 学習データ以外 上記以外 （自前プログラムで 実装していないもの） プログラムと AI の ハイブリッド構成 現在絶賛 実装中

Slide 19

Slide 19 text

自前プログラムの場合 SpeechToText 音声をテキストに 機能選択 ニュース、天気、 日時、タイマー LINE 等 学習データ以外 自前プログラム (Python) TextToSpeech テキストを音声に

Slide 20

Slide 20 text

AIを使用する場合 SpeechToText 音声をテキストに 機能選択 上記以外 （自前プログラムで 実装していないもの） Chat-GPT (OPENAI API) TextToSpeech テキストを音声に

Slide 21

Slide 21 text

実はMiniの方が所有者多い⁉ ちっちゃい方、ラズパイの 収まるスペースほぼ無し

Slide 22

Slide 22 text

Mini基板解析

Slide 23

Slide 23 text

Mini用基板試作

Slide 24

Slide 24 text

・展示会 ・コンテスト ・各種LT ・ハッカソン参戦 等の外せない用事 ソフト開発 生産・販売 Mini用基板開発 その他活動 作者多忙で進捗悪化

Slide 25

Slide 25 text

のめりこむ方出現…

Slide 26

Slide 26 text

Githubプルリクの嵐にあたふた

Slide 27

Slide 27 text

開発チーム爆誕 15歳ながらも 超優秀な協力者

Slide 28

Slide 28 text

展示会で失敗⁉

Slide 29

Slide 29 text

ＮＴ金沢にも出展 ５個限定の 少量出品!!

Slide 30

Slide 30 text

大阪での展示会でも出展

Slide 31

Slide 31 text

“CLOVA改造” でググると出てくる 関連記事が 1ページ目を独占⁉ 「CLOVA改造」 で検索！ いやいや、誰も やらないだけ！

Slide 32

Slide 32 text

豊富な資源のラズパイは自由度高い 豊富な開発環境 (Python / C++ / nodejs/ Node-red etc.) 豊富なネット環境 (充実したプロトコル スタック) ハード拡張性 (センサーやアクチュエータ等 後付け可能) 開発情報 (様々な作成事例や ネット記事 etc.) CUIインタフェース コピペでコマンド 叩けば何でもできる UNIX系シンプルCUI 豊富なリソース メモリ・動作速度面

Slide 33

Slide 33 text

動作デモ

Slide 34

Slide 34 text

ありがとうございました https://elchika.com/article/38d8127b-7cb4-44b9-ae63-ece591d777f9/ 公開中