Share
Embed
Transcript
23 slides
-
0. 自己紹介 自己紹介 松井遼 –Haruka Matsui - Willeder 株式会社 CTO
写真を貼り付け with -AI株式会社 執行役員CTO 他2社 2 -
2. 持たせたかった機能 勝手に記録してくれる 会議 → 議事録 → タスク 会議を自動検知して録音し、議事録を作ってローカルに保 存。承認するとタスクを拾ってくれる
作業ログの検索 PowerShell ・ CMD・ Git Bash ・ Tera Term のログをローカ ルDBに索引化。「いつどんな作業した?」「こういうコマ ンド打った実績ない?」から LLMが探す 稼働時間 PCの操作時間を検知して、稼働時間を記録する ブラウザ → ナレッジ 開いているブラウザの内容をナレッジとして クマークとしても使える RAG化。ブッ 7 -
2. 持たせたかった機能 忘れる前に教えてくれる 予定とメール 毎朝のIT ニュース 毎朝のクイズ カレンダー同期・メール同期 と、リマインダー IT系のニュースを
RSSから自動 収集。自分の好みで振り分け て、要約して集める 教材のURLやPDFを読み込ん で、毎朝クイズを出してくれ る 8 -
3. 技術スタック Ollama :ローカル LLM を選択できる Qwen 3.5 9b 対話・要約・クイズ・画像の読み取り
Gemma 4 e4b 切り替えて使えるモデル IBM Granite Speech 5 2b 文字起こし ベンチマークでは、 Qwen 3.5 9b が画像認識・文書認識 で GPT-5-nano や Gemini 2.5 flash より上。 高度な推論・多言語知識 で gpt -oss 120b より上。 ほんとかなぁ、でも実際にそれくらいの賢さの気がする 10 -
4. 皆さんにも再現性があるところ ローカル LLM がノート PCでも結構動く 6GB 9B 0円 VRAM(
RTX 4050 Laptop ) Qwen 3.5 9b を普段使い API の利用料 動かすための工夫 GPU は対話用モデルに譲る。検 索用の埋め込みはCPUで計算 録音中は、要約や索引づくりな どの重い処理を始めない 開発機: Core Ultra 7 155H / RAM 32GB / Windows 11 11 -
4. 皆さんにも再現性があるところ Tauri の凄さ 軽量 セキュア 8.9MB インストーラーの大きさ ( v0.11.0
) ブラウザのエンジンを同梱せず、 OSに入っている WebView2 で画面 を描く 参考: Tauri 公式ドキュメント( 開発体験 許可したことしかできない 画面はいつもの Web 技術 このアプリが画面に許可しているの は、基本機能・ウィンドウのドラッ グ・更新の確認だけ pnpm tauri dev で、保存するたび に画面が更新される OSの操作は、すべて Rust 側のコマ ンドを通る。 CSPで外部のスクリプ トも読ませない (仮に悪意ある Web ページを読み込んだり、メール本文 を読み込んだとしても実行しない ) Rust の関数に #[tauri::command] を付ければ、画面から invoke で呼 べる (画面から裏側のロジックに対 する処理を Tauri が自動で提供する ) インストーラー作成と署名付き自動 更新まで公式で揃う tauri.app ) 12 -
4. 皆さんにも再現性があるところ Rust の良さ メモリ安全 所有権と借用のルールで、 GCなしでもメモリの破壊を防ぐ。常駐させても軽く、落 ちにくい 並行処理 データ競合はコンパイルエラーになる。会議検知・録音・同期など約
理を 1つのアプリに同居できた 20 種の背景処 エラー処理 失敗は Result 型で返り、無視するとコンパイラに指摘される。エラーログがわかり やすい Cargo とクレート Windows API ・録音・ SQLite を、型の付いたクレートで扱える。コンパイラのエ ラーメッセージが直し方まで教えてくれる 参考: The Rust Programming Language (所有権・エラー処理・恐れるな!並行性) 13 -
5. 新しく知れたところ 会議検知・強制録音が意外と簡単だった 1 2 3 4 10 秒ごとに確認 会議中かを判定
自動で録音開始 自動で停止 アプリが常駐して、 PCの 状態を定期的に見に行く マイクが使用中か(レジ ストリを読むだけ)と、 Teams ・ Zoom ・ Meet の ウィンドウがあるか 自分のマイクと、 PCから 出ている相手の声を混ぜ て録る。 30 秒ごとにファ イルへ確定 60 秒途絶えたら止めて、 文字起こしと議事録づく りへ進む 会議ツールとの連携は不要。 OSが公開している状態を読むだけで検知できた 16 -
5. 新しく知れたところ ブラウザの同期ができ、すぐデータを取り込めた 閲覧履歴 表示中のページ Edge / Chrome の履歴の実体は SQLite
のファイル UI Automation でアドレスバーと本文を読む • 一時コピーを作って読むだけ • 直前に前面にあったブラウザを覚えておく • 5分ごとに、前回の続きから差分を取り込む • Ctrl+Alt+K で、 URL・タイトル・本文を取得 • URLに含まれる認証情報は除いて保存 • 確認してから保存し、 RAGで検索できるようにする ブラウザの拡張機能を作らずに実現できた 17 -
5. 新しく知れたところ PCの操作時間は Windows 標準の機能で取れた 稼働の区間にまとめる 15 秒ごとに 3つを確認 スリープしていた時間は除く。連続した操作を
の区間にする ログイン中のセッションが有効 1つ 画面がロックされていない 管理表にして同期 最後のキー・マウス操作から 10 分未満 キーロガーも画面キャプチャも使わない。 Windows 区間から稼働管理表の行を作り、 Google Sheets と 双方向に同期 の API に状態を聞くだけ 18 -
6. 頑張ったところ・今後の課題 描画パフォーマンスとアニメーション 初回コミット 画像や動画を使わない マスコットは SVGを直接描き、 CSSアニメーションで位置と 角度だけを動かす。 JavaScript
の描画ループは持たない 0.9.1 LLM の起動・スリープは Ollama に任せる LLMの常時起動は重たいのでプロセスの解放は Ollama の標 準(15 分?)に任せる。 コールドスタートは許容する 初回コミット 動かしすぎない 手を振るのは 8秒に1回。跳ねるのは処理の完了時や通知時 の3回だけ。 OSの「動きを減らす」設定では止まる 構成 小さな窓を別に持つ マスコットは 120 ×113 の透過ウィンドウ。チャット画面と は別のウィンドウにして、常に前面へ出す 19 -
6. 頑張ったところ・今後の課題 デスクトップアプリのデバッグが初めてだった 1 2 3 4 層が2つある 画面( WebView
)と本体( Rust )のどちらで起きたのかを、最初に切り分ける OSの状態が再現条件になる 会議中・ロック中・スリープ復帰など。テスト用の音声や固定データを用意し ておく 画面だけを切り出して試す 本体の呼び出しを偽物に差し替え、ブラウザで画面を自動チェックする 失敗を見える場所に出す Web アプリとの違い 見えない状態を、 見えるようにする これが仕事の大半だった 裏で動く処理のエラーは黙って消える。状態とエラー文を画面に表示する 20 -
6. 頑張ったところ・今後の課題 ストレージの容量:ローカルの性質上、、、今後どうしよう アプリのデータ容量(MB、2026 -11 -20 に実測) 録音(WAV) 1.4GB 970
使い始めて約 2週間の合計 作業ログのDB 教材 413 17 ナレッジ 8 その他 5 • 会議1時間で約 115MB ( WAVのまま保存) • ログ・ナレッジ・録音は自動では消さない • 議事録ができたら音声を消す? 圧縮する? • ログに保持期間を決める? 21 -
FDE 人材育成コミ ュニティ ~MUSUBI~ につ いて 7. 【宣伝】 地方で活躍するエンジニア、 地方で活躍する経営者・事業者を
ご紹介くださいm(__)m 23