Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Presc - 高校研究発表会
Search
Aokiti
August 22, 2022
Technology
0
1.6k
Presc - 高校研究発表会
全国専門学科情報科研究協議会2022 スライド資料
Aokiti
August 22, 2022
Tweet
Share
More Decks by Aokiti
See All by Aokiti
[d-hacks Docker講座] Dockerで動かすローカルLLM入門
sakusaku3939
0
10
[論文輪読会] A survey of model compression strategies for object detection
sakusaku3939
0
6
[論文輪読会] ViT-1.58b
sakusaku3939
0
81
d-hacks PyTorchモデル実装会 2024f
sakusaku3939
0
39
[論文輪読会] Binarized Neural Networks
sakusaku3939
0
41
一般物体検出とLSTMを用いた画像に基づく屋内位置推定 - IPSJ UBI82
sakusaku3939
0
290
MoodTune 東京AI祭ハッカソン決勝
sakusaku3939
0
380
d-hacks PyTorch実装会 2023f
sakusaku3939
0
25
[DL勉強会] 第5章 ディープラーニングを活用したアプリケーション 後半
sakusaku3939
0
15
Other Decks in Technology
See All in Technology
生成AIで小説を書くためにプロンプトの制約や原則について学ぶ / prompt-engineering-for-ai-fiction
nwiizo
4
2.6k
生まれ変わった AWS Security Hub (Preview) を紹介 #reInforce_osaka / reInforce New Security Hub
masahirokawahara
0
240
Navigation3でViewModelにデータを渡す方法
mikanichinose
0
220
25分で解説する「最小権限の原則」を実現するための AWS「ポリシー」大全 / 20250625-aws-summit-aws-policy
opelab
9
1.2k
How Community Opened Global Doors
hiroramos4
PRO
1
120
Github Copilot エージェントモードで試してみた
ochtum
0
110
Node-RED × MCP 勉強会 vol.1
1ftseabass
PRO
0
160
Claude Code Actionを使ったコード品質改善の取り組み
potix2
PRO
6
2.4k
rubygem開発で鍛える設計力
joker1007
2
220
米国国防総省のDevSecOpsライフサイクルをAWSのセキュリティサービスとOSSで実現
syoshie
2
1.2k
使いたいMCPサーバーはWeb APIをラップして自分で作る #QiitaBash
bengo4com
0
370
Witchcraft for Memory
pocke
1
470
Featured
See All Featured
VelocityConf: Rendering Performance Case Studies
addyosmani
331
24k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
60k
Building an army of robots
kneath
306
45k
The Language of Interfaces
destraynor
158
25k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
710
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Transcript
研究発表会 資料 プレゼンテーション用原稿表示アプリ
None
Google Keep (メモ帳アプリ)
✓ 緊張で頭が真っ白になり「どこまで読んだか」が分からなくなった ✓ 大きく時間を過ぎてしまい、最後まで話すことができなかった
プレゼンテーション用原稿表示アプリ
音声認識による自動スクロール
経過時間や声量の確認
経過時間や声量の確認
様々な用途に対応
None
メモ帳機能
メモ帳機能 + 文字数カウント
メモ帳機能 + 文字数カウント + 発表時間を計算
タグを付けて分類・整理
原稿の検索 + 原稿の追加・削除
研究の流れ
・アプリ設計 ・UI/UXデザイン作成 前期前半 (4月~6月) ・開発作業 ・コンテストへの応募 前期後半 (7月~9月) ・iOS対応 ・ストア公開
後期前半・後半 (10月~3月) 一年間の流れ(課題研究②)
前期前半(アプリ設計・UI/UXデザイン作成)
・アプリ設計 ・UI/UXデザイン作成 前期前半 (4月~6月) ・開発作業 ・コンテストへの応募 前期後半 (7月~9月) ・iOS対応 ・ストア公開
後期前半・後半 (10月~3月) 一年間の流れ(課題研究②)
コンテストへの応募(アプリ甲子園2021) 「アプリ甲子園」は、次世代を担う若手クリエー ターの発掘と健全な育成支援を目的として、 2011年より開催しているスマートフォン向けアプリ 開発コンテストです。 過去の応募総数は1,300作品を超えており、 全国の中学生と高校生が開発した、iPhoneや Android向けのスマートフォンアプリ(タブレット 向けも含む)から、優秀な作品を選出し表彰されま す。
コンテストへの応募(アプリ甲子園2021) 総合順位 3位 & 技術賞 を獲得! プレゼンの様子はYouTubeで見れます https://youtu.be/JblLFCS-Eqw
・アプリ設計 ・UI/UXデザイン作成 前期前半 (4月~6月) ・開発作業 ・コンテストへの応募 前期後半 (7月~9月) ・iOS対応 ・ストア公開
後期前半・後半 (10月~3月) 一年間の流れ(課題研究②)
後期前半 ~ 後半(iOS対応・ストアへの公開)
使用技術
None
MVVM Provider 5.0.0 sqflite 6.0.0 speech_to_text 4.2.1 GitHub Actions (CI/CD)
DB接続 音声認識 原稿を取得 変更を監視 テスト配布 配布を自動化 音声データ送信
GitHub Actions (CI/CD) テスト配布 配布を自動化
技術的課題① 音声認識における工夫
実際の文章 吾輩は猫である。名前はまだ無い。 認識した文章 吾輩はネコである。名はまだ無い。
1. 文章を区切る 形態素解析 吾輩は猫である。 N-gram (n=2) 吾輩は猫である。 吾輩 | は
| 猫 | で | ある | 。 吾輩 | 輩は | は猫 | 猫で | であ | ある | る。 吾輩 | は | ネコ | で | ある | 。 吾輩 | 輩は | はネ | ネコ | コで | であ | ある | る。 メリット: 精度が良い デメリット: 容量が大きい&速度の低下 メリット: 高速&お手軽 デメリット: 形態素解析に比べると精度低
2. 漢字をひらがなに変換 実際の文章 吾輩は猫である。 認識した文章 吾輩はネコである。 わがはいはねこである。 ルビ振りWeb API
技術的課題② 端末別の対応
Flutterについて(React Nativeと比較) iOSのモジュール呼び出し Androidのモジュール呼び出し Skia Graphics Engineで描画
吾輩は猫である。名前はまだ無い。どこで生れたかとんと見当がつかぬ。 吾輩は猫である。 名前はまだ無い。 どこで生れたかとんと見当がつ かぬ。 吾輩は猫である。名前は 吾輩は猫である。名前はまだ無い。 どこで生れ 吾輩は猫である。名前はまだ無い。 どこで生れたかとんと見当がつかぬ。
経過時間 (秒)
吾輩は猫である。名前はまだ無い。どこで生れたかとんと見当がつかぬ。 吾輩は猫である。 吾輩は猫である。
吾輩は猫である。名前はまだ無い。どこで生れたかとんと見当がつかぬ。 吾輩は猫である。名前は 吾輩は猫である。名前はまだ無い。ど こで生れ 吾輩は猫である。名前はまだ無い。ど こで生れたかとんと見当がつかぬ。 吾輩は猫である。名前は まだ無い。どこで生れ たかとんと見当がつかぬ。 話すときの間隔が0.5秒以上空いたら更新
話すときの間隔が0.5秒以上空いたら更新
音声認識アルゴリズム改善前
音声認識アルゴリズム改善後
技術的課題③ 原稿の縦書き
既存の縦書きプラグイン(mongol)
既存の縦書きプラグイン(mongol) mongolの概要 サードパーティ製の縦書きプラグイン。モンゴル語を想定 ただ日本語の場合だと... ・書式の方向が逆 ・CJK文字(中国語・日本語・韓国語)の記号に非対応 日本語の縦書きアルゴリズムを自作
縦書きアルゴリズムの自作 1. 縦と横の枠組みの数を求める 2. 文字の位置 × フォントサイズ から全体の座標を求める 3. 求めた座標上に1文字ずつ配置する
4. 縦書き時に回転する文字を置き換える 例) 「」, ー, 【】, <> Flutterで日本語の縦書きを実現する – Qiita https://qiita.com/sakusaku3939/items/64d453f4cf4be875aa67
その他の作業
アプリの英語対応 1. アプリ内のボタン 2. 説明文 3. サンプルテキストの変更 日本語の場合 ⇒『吾輩は猫である』 英語の場合
⇒『Lorem ipsum』
アプリの英語対応 言語別のファイルに分割
タブレット対応 発表画面 ⇒ 文字の大きさ、メニューの調整 原稿管理画面 ⇒ 縦3列に変更
まとめ 一年間の流れ プロトタイプ作成(Adobe XD) → 開発作業(Flutter) → ストア公開 技術的改善 ・音声認識精度の改善
例)N-gramによる文字の分割、ひらがなへの変換など ・端末別の対応(iOS・Android) ・縦書きアルゴリズムの自作
まとめ 今後の課題 ・プレゼンを行う場所よって上手く認識されないことがある 例)大きなホールでマイクをつけて喋る環境、雑音が多い環境 ・原稿の編集機能の充実 例)元に戻す / やり直し 機能、マークダウン記法による編集
ご清聴ありがとうございました Presc