イチから作る超軽量な音声合成

2026.7.11 DigiKeyM1 決勝審査会 での発表資料です。

Transcript

1. 2026.7.11 DigiKeyM1 決勝審査会 西村備山 (@lipoyang) イチから作る 超軽量な音声合成
2. 今回作ったもの
3. ワンチップマイコンで音声合成
4. ニューラル音声合成全盛の現代だが… 数ギガバイトのメモリ 数ギガバイトのストレージ ↓ ワンチップマイコンじゃ とうてい無理 立ち絵: 坂本アヒル 様
5. 今なお根強い人気のやつら AquesTalk 0.5～11キロバイトのRAM 23～134キロバイトのROM ※ ただし音声合成エンジンのみ。 言語処理エンジンは除く。 立ち絵: まそ 様 /ころボン 様
6. 最小構成にいたっては… AquesTalk pico LSI 8bitマイコン (AVR) で動作！ この謎に迫りたい！
7. 今回のテーマ 音声合成エンジンの自作 ワンチップマイコンで動作 イチから学んで作る
8. 音声合成の方式 方式 メモリ使用量 計算量 フォルマント音声合成 小 小 波形接続型音声合成 大 中 HMM音声合成 中 中 ニューラル音声合成 大 大
9. フォルマント合成
10. フォルマント合成
11. 母音のパラメータ たったこれだけ！ ちゃんと「あいうえお」に聞こえる！
12. 子音は母音より複雑 日本語の母音 日本語の子音
13. SNSで思わぬ反響が！
14. ありがたや！
15. アクセント制御
16. 3種類のマイコンで動作確認
17. デモ
18. メモリ使用量 (概算) マイコン RAM使用量 Flash使用量 XIAO nRF52840 (ARM Cortex-M4F) 1.2kB + バッファサイズ 13kB XIAO RP2040 (ARM Cortex-M0+) 1.2kB + バッファサイズ 9kB 【デモシステムの例】 サンプリング周波数 = 16kHz, 量子化ビット数 = 16ビット バッファサイズ = 512サンプル × 8段 = 8kB = 32msec × 8段 = 256msec
19. 処理時間 (概算) マイコン 処理時間 使用率 XIAO nRF52840 (ARM Cortex-M4F, 64MHz) 2msec / 32msec 6% XIAO RP2040 (ARM Cortex-M0+, 133MHz) 8msec / 32msec 25% ※ nRF52840 は Cortex-M4F なので FPU あり RP2040 は Cortex-M0+ なので FPU なし ＠ サンプリング周波数 = 16kHz 1フレーム = 512サンプル = 32msec
20. またね～ Twitter: @lipoyang GitHub: lipoyang http://lipoyang.net