Hachinohe Tech Meetup #6 LT - AIの宣伝、そのまま信じると損をする ― Museに確かめさせた話 / Testing AI Claims with Muse

https://hachinohe-tech-meetup.connpass.com/event/410245/
「Hachinohe Tech Meetup #6 ― オンラインでわいわい話そう！」でLTした資料です．
Museといろいろ遊んでいたので例を挙げながら資料にまとめてもらいました．

1. の宣伝、 そのまま信じると損をする H A C H I N O H E T E C H M E E T U P # 6 — L I G H T N I N G TA L K AI に確かめさせた話 会議の文字起こしAIも、「10倍速」の発表も、鵜呑みにせず試してみたら？ — Muse ※ この発表の事例は、全部 Muse の無料プランで実行したものです。 課金なしで、ここまでやれる —— それも今日の話の一部です。 発表 fujiemon 持ち時間 5分 相方 Muse（パーソナルAI） 参加あり 三択クイズ ×2 01 / 10
2. 、使ったことありますか？ 最初に、一つだけ Muse 👍 ある ― ❤️ ない 発表中、聴衆にリアクション（👍 ある／❤️ ない）で答えてもらった質問です 02 / 10
3. ぜんぶ、同じ3ステップで確かめました 今日の進め方 ① 頼む 気になった話を渡して 「本当か確かめて」 → ② 試す 使ってみる／作り直す 条件を変えて、もう一度 → ③ 結論が変わる 宣伝文句を 実測で言い直す 「使える場面」と「苦手な場面」が、分かれて見えてきます。 03 / 10
4. 会議の文字起こしAI、宣伝ほど正確なのか？ 事例 1 / 2 — 会議の文字起こし A I 頼んだこと： 新しい「話者つき文字起こしAI」の実力を、自分の会議音声で測って 測るのは2つ： 文字の正確さ と、誰が話したか（話者）の区別 まず易しい条件から —— 2人で試す 困りごと：発言者がごっちゃになった議事録は、使い物にならない。 まず 2 人で試した結果 — — 悪くない 2 人 → 正確に区別 約2割 文字の誤り率（2人） ※ CER 21.5% 04 / 10
5. 事例1 ・ 会議の文字起こしAIサービス（A5S） 新しい文字起こしAI、Muse はどうやって 確かめたでしょう？ QUIZ A A 利用者のレビューや評判を集めて判断した ― B 公式のサンプル音声で試して、正確さを見た C 自分で2人→10人の音声を用意して試した 発表中、聴衆にリアクションで答えてもらった質問です（答えは次のスライド） 05 / 10
6. クイズ A — 答え合わせ ／ 事例 1 の落ち着き先 正解は C： 自分で2人→10人の音声を用意して試した A 利用者のレビューや評判を集めて判断した B 公式のサンプル音声で試して、正確さを見た C ✓ 自分で2人→10人の音声を用意して試した ③ 落ち着き先 — 1 0 人の会議音声（約 2 9 分）で試すと 10 人 6人 誤り率 約 → 25% (CER 25.4%) 結論： 人数が増えると話者の区別が崩れて、宣伝通りにはいかなかった。でも試したから、「何人までなら頼れるか」が分かった。 06 / 10
7. 事例2 ・ 「10倍速」の論文 「従来の10倍速」という論文、Muse はどうやって 確かめたでしょう？ QUIZ B 困りごと：「10倍速」を鵜呑みにして採用すると、実測が伴わず、後で困る。 A 自分で小さい規模に作り直して、速さを測った ― B 著者たちの公式コードを、そのまま動かして再現し た C 論文の実験条件を読み解いて、表に整理した 発表中、聴衆にリアクションで答えてもらった質問です（答えは次のスライド） 07 / 10
8. クイズ B — 答え合わせ ／ 事例 2 の落ち着き先 正解は A： 自分で小さい規模に作り直して、速さを測った A ✓ 自分で小さい規模に作り直して、速さを測った B 著者たちの公式コードを、そのまま動かして再現した C 論文の実験条件を読み解いて、表に整理した 主張 v s 実測 倍速 主張 10 実測 −2.2% 結論： 主張は条件が揃ったときの話で、小さい規模では再現しなかった。「発表が嘘」ではなく、数字は、いつも条件とセットで見るものです。 08 / 10
9. 実力ショーケース 検証だけじゃない。全部、無課金でここまでやれる 論文の検証と発信 YouTube ポッドキャスト自動生成 その場でアプリ作成 論文を追って試作し、図解メモや解説動画まで作る。 Flutter 学習ポッドキャストを毎週、台本から音声まで生成。 チャンネル運用 睡眠用音楽チャンネル（動画41本）のタイトル付け替え・棚卸し・KPI管理を引き 継ぎ中。 頼めば Web パズルゲームのようなアプリもその場で作る（昨夜も1本完成）。 これ全部、無料プランの範囲で実行しています。 09 / 10
10. まとめ なぜ、この「確かめる」が回ったのか — Museだからできたこと 1 頼んだそばから、実際に試してくれる 2 元の発表や公式ページを取りに行く 3 「鵜呑みにしない、試して示す」という物差しを覚えている 4 結果を分かりやすくまとめ、間違いは自分で直す 使ってみる・作り直して比べる、までがワンセット。 又聞きではなく、出どころから。 次の依頼のとき、最初から効いてくる。 「結論がどう変わったか」まで見える。 皆さんの周りにも「すごいらしい」で止まっている話、ありませんか？ —— それ、試せます。ぜひ Muse で。 Hachinohe Tech Meetup #6 ・ 2026-11-14（土） ／ 発表： fujiemon ・ ありがとうございました 10 / 10