2026沙崙競賽決賽-1.pdf

Transcript

1. MeetGuard 企業會議防偽助手 多模態影音即時驗證引擎與即時可視化展示 ∷ 研究動機 ◇ 系統架構 Deepfake 已成為視訊會議、金融授權 與遠端協作中的真實威脅；單一影像資 訊不足以完整判斷偽造風險。 會議端 Model Manager 多模態推論 證據鏈生成 報告端 即時擷取 影像與音訊 語系判別與模 型管理 三模態合議與 風險評估 產生證據與 逐字摘要 輸出網頁與 PDF 報告 3 4 ∷ MeetGuard 三模態協同防禦 以模型管理服務整合並微調視覺 檢測、音訊檢測與影音同步，依 證據動態加權並輸出合議結果。 SBI ◇ 報告證據鏈 視覺檢測 1 RawTFNet 2 5 音訊檢測 PDF LipFD 影音同步 ∷ 自建中文資料集 觸發擷取 多模態打分 Grad-CAM 熱力圖 ASR 逐字稿 PDF 報告 擷取可疑片段， 保存影音證據 影像／音訊／同步 模型共同評分 標示可疑區域， 提供視覺解釋 語音轉文字並 保留上下文 整合證據、摘要 與追溯資訊 真實中文影音素材 ★ 專案特色 真實音訊 真實影訊 中文文本 中 偽造生成 中文語境優化 可視化證據 自建中文資料集，針對中文語 音與會議情境調校。 Grad-CAM 熱力圖與 ASR 逐字 稿提供可解釋依據。 語系判別動態加權 可擴充模型架構 判斷音訊語系，自動採用對應 語系的模型推論。 未來可支援驗證更多語系，且 方便隨時替換或增加新模型。 TTS 音訊偽造 中文文本 真實樣本 偽造音訊 InSwapper 換臉 ★ 效能亮點 真實影訊 替換臉源 偽造影訊 MuseTalk 脣形同步 真實影訊 音訊（真＼偽） FF 真人影音 假影假音 RF FR 僅音訊模型 AASIST MeetGuard RR RF RR RF RR RF 99.00% 0.80% 86.98% 99.20% 75.40% 76.83% MuseTalk 脣形同步 偽造影訊 資料類型 RR 僅視訊模型 SBI FR FF FR FF FR FF 93.20% 97.99% 15.33% 99.16% 98.40% 100.00% Accuracy FakeRecall Accuracy FakeRecall Accuracy FakeRecall 55.70% 55.14% 72.72% 63.95% 91.71% 93.96% 真人假音 假影真音 ➤ 未來應用 企業會議安全 金融視訊審核 法遵稽核 遠端身份驗證 防止冒名參與與偽造發言， 保護商務決策。 強化遠端授權與身份驗證， 降低詐騙風險。 保存完整證據鏈， 支援追溯與稽核流程。 提升線上服務與身份確認 的安全性與可信度。 隊名：我要驗牌 組員：陳柄佑 郭敏正 張丞睿 林宸逵 指導老師：周兆龍 魏國瑞
2. MeetGuard 企業會議防偽助手 多模態影音即時驗證引擎 + 即時可視化顯示 隊名：我要驗牌 組員：陳柄佑 郭敏正 張丞睿 林宸逵 指導老師：周兆龍老師 魏國瑞業師
3. 目錄 01 2 專案目的 02 專案內容 03 專案特點 1 問題與目標 1 系統全貌 1 核心模型 2 MeetGuard 解決方法 2 效能展示 2 模型調整策略 3 專案 DEMO 04 1 專案結論 核心價值
4. 01 專案目的 3 1 問題與目標 2 MeetGuard 解決方法
5. 真實案例分析 4 Deepfake 已從娛樂應用，逐步演變為影響政治、操弄輿論與實施詐騙的威脅工具。
6. 現有單一模型痛點 複合性攻擊失效 缺乏有效證據 中文語境辨識差 5
7. 現有單一模型痛點 在視訊會議環境下，視訊和音訊皆可能被偽造 複合性攻擊失效 語音檢測完全失效 缺乏有效證據 僅人臉被偽造 視覺檢測完全失效 中文語境辨識差 僅語音被偽造 6
8. 現有單一模型痛點 現有的工具僅輸出機率或 Real/Fake 複合性攻擊失效 缺乏有效證據 Reality Defender Video Authenticator 中文語境辨識差 Pindrop 7
9. 現有單一模型痛點 複合性攻擊失效 缺乏有效證據 中文語境辨識差 8
10. 解法一：三模態協同防禦 視覺檢測 導入輕量化 SBI 檢測模型 音訊檢測 導入低參數量 RawTFNet 檢測模型 影音同步 整合 LipFD 偵測嘴型和語音是否同步 9
11. 解法二：可視化證據 10
12. 解法三：自建中文資料集 + 輕量化模型 真實中文影音素材 資料類型 偽造生成 TTS 音訊偽造 真實影訊 中文文本 真實樣本 真實影訊 替換臉源 真人影音 RF 真人假音 FF 假影假音 FR 假影真音 偽造音訊 InSwapper 換臉 真實音訊 RR 偽造影訊 MuseTalk 脣形同步 中文文本 11 真實影訊 音訊（真＼偽） 偽造影訊
13. 02 專案介紹 12 1 系統全貌 2 效能展示 3 專案 DEMO
14. 專案摘要 會議端 分析端 報告端 Model Manager 路由與模型管理 (Whisper 語系偵測) 視訊擷取端 多模態推論 即時擷取影像與音訊 SBI-zh RawTF Net-zh 證據鏈生成 13 鑑識管理 平台 LipFD 網頁端報告
15. 報告證據鏈 1 2 3 4 5 觸發擷取 多模態打分 視覺化證據 語意與上下文 匯出報告 即時偵測高風險 自動擷取 4-10 秒可疑片段 經過各模態打分和 動態加權評分 套用 Grad-Cam 產生模型注意力熱力圖 ASR 語音轉文字 自動彙整報告與匯出 pdf 14
16. 會議端展示 + DEMO 提供時序圖表與 可解釋性的完整 分析報告 依據即時推論結 果即時標記當前 通話風險等級 提供即時視訊/ 音訊偽造信心度 自動記錄語音/ 嘴型不匹配之 可疑時戳數量 會議系統：https://meeting.nyanfox.com Demo 影片：https://deepav.nyanfox.com/meeting 15
17. 網頁端展示 ▲會議結算報告及可疑時間軸 16
18. 網頁端展示 ▲Whisper 語音轉錄及音訊模態分析報告 17
19. 網頁端展示 ▲視覺模態分析報告 18
20. 網頁端展示 ▲影音同步模態分析報告 19
21. 單一模態缺陷 20 僅視訊模型 SBI 僅音訊模型 AASIST MeetGuard Accuracy：55.70% FakeRecall：55.14% Accuracy：72.72% FakeRecall：63.95% Accuracy：91.71% FakeRecall：93.96%
22. 單一模態缺陷 僅視訊模型 SBI Accuracy：55.70% FakeRecall：55.14% 完美錯過聲音偽造 僅音訊模型 AASIST MeetGuard Accuracy：72.72% Accuracy：91.71% FakeRecall：93.96% 無法察覺換臉 FakeRecall：63.95% 在混合環境達到 9 成辨識率 21
23. 03 專案特點 22 1 核心模型 2 模型調整策略
24. 創新性：三模態檢測 Visual Audio Sync 視覺模態 SBI 音訊模態 RawTFNet-zh 同步模態 LipFD Dynamic Weighting 23
25. 創新性：語系判別動態加權 依語系動態提高適配模型之權重 1 Whisper 2 偵測輸入語系 建立後續路由依據 Model Manager 3 動態加權結果 SBI-zh 提高權重 依語系自動選擇模型 並調整各模型權重 English Model 輸入中文音訊 24
26. 擴充性 應用擴充 語言擴充 1 2 3 4 自建資料集 模型微調 註冊模型 自動路由 金融開戶 eKYC 可快速低成本擴展至閩南語、客語、日語等新語系 線上求職面試 模型擴充 統一管理 採用 Adapter 設計，由 Model Manager 統一 管理。 新聞媒體查證 25 快速插入 新增 SOTA 模型不需重寫底層 Pipeline。
27. 商業對標 26 產品 模態覆蓋 可解釋性 語系 Video Authenticator 僅影像 僅信心分數 僅英文 Reality Defender 影音雙模態 風險分數＋報告 僅英文 Pindrop 僅音訊 語音風險 僅英文 MeetGuard 三模態融合 影像／音訊／同步 熱力圖定位偽造區域 提供可解釋證據 自動判別語系 支援中英雙語
28. 04 專案結論 1 2 27 核心價值
29. 核心價值 28 Multimodal Multilingual 三模態協同 多語系泛化 影像、音訊與同步共同判斷，降 低單一模型盲區。 語系判別與動態選模，支援後續 多語系擴充。 Explainable Extensible 可解釋結果 可延伸架構 以熱力圖、逐字稿與報告提供可 追溯證據。 資料、模型與應用皆能模組化擴 充。