JSAI2026ランチョンセミナー登壇テーマ「AIと挑む確定申告」/Tackling Tax Returns with AI

弥生株式会社　もくテク
プロダクトにAIを組み込む～検証と運用～（2025/06/25）
https://mokuteku.connpass.com/event/396809/

Transcript

1. © 2026 Yayoi Co., Ltd. All rights reserved. もくテク発表資料 2026.06.25 弥生株式会社 AI・データ戦略部 R&Dチーム 飯田 頌平 JSAI2026ランチョンセミナー登壇テーマ「AIと挑む確定申告」
2. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ 弥生のR&D活動の一環である技術的な取り組みについて紹介するもの ⚫ 会社を代表して何かを主張・推奨するものではない ⚫ お弁当を食べながら気軽に聞いてほしい このセミナーの位置付け 2
3. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ 本セッションのスポンサー: 弥生株式会社 ⚫ 中小企業のバックオフィス支援を掲げるSaaS ⚫ 登録ユーザ350万超に及ぶ会計ドメインのデータを蓄積 ⚫ AI・データ戦略部においてAI活用・学術発表等を実施 会社紹介・自己紹介 ⚫ 発表者: 飯田 頌平 (Shohei Iida) ⚫ AI・データ戦略部 R&Dチーム所属 ⚫ 筑波大学との共同研究をはじめ弥生の産学連携を主導 • NLP2026: QAタスク回答中の趣旨・補足に対する不適・不足検出へのLLM適用 • JSAI2025: RAGに基づく会計分野の質問応答 • AAI2025: Evaluating Reranking of Accounting Knowledge Web Pages by LLMs towards RAG based QA (※査読付き・採択率30%未満) ⚫ 趣味はアウトドア（登山・スノボ・ドライブ） 3
4. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ スノボ中に骨折しました ⚫ 医療費20万超 生活が困窮 確定申告で医療費控除を受けたい！ 民間保険で保険金請求したい！！ • ①「確定申告」の枠組みの中の「医療費控除」にフォーカス + ②別途「民間保険」を適用 ことのあらまし 4 はじめに データ収集 OCR 集計 e-Tax まとめ
5. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ 確定申告とは ⚫ 1年間（1/1〜12/31）の所得と税額を自分で計算し、税務署に申告する手続き ⚫ 会社員は年末調整で完結することが多いが、以下のケースでは確定申告が必要 • 副業・フリーランス収入がある • 年収2,000万円超 • 2ヶ所以上から給与を受けている • 各種控除を自分で申請したい場合 ⚫ 医療費控除とは ⚫ 年間の医療費が10万円を超えた分を所得から差し引ける制度 ⚫ （医療費 – 保険補填分 – 10万円）= 控除額 ⚫ 控除額 x 所得税率 = 還付額 • 控除20万 x 税率20% = 4万円キャッシュバック 確定申告と医療費控除 5 はじめに データ収集 OCR 集計 e-Tax まとめ
6. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ ① 領収書（データ）を集める ② 集計を行う ③ e-Taxで確定申告！ ⚫ 医療費控除・保険金請求のために「骨折とそれ以外の医療費」「民間保険がカバーする分」の集計が必要に • 医療費控除は保険金の補填分は適用できない、マイナ保険証連携では合計額しかわからない 確定申告までの道筋 ※◦◦◦◦◦◦◦◦◦◦◦◦◦◦◦ ◦◦◦◦◦◦◦◦◦◦ ※※◦◦◦◦◦◦◦◦◦◦◦ ◦◦◦◦◦◦◦◦◦◦◦◦◦◦ ◦◦◦◦◦◦ 出所：◦◦◦◦◦◦◦◦◦◦◦◦◦◦◦◦◦◦◦◦◦ 6 はじめに データ収集 OCR 集計 e-Tax まとめ
7. © 2026 Yayoi Co., Ltd. All rights reserved. 少ない 無料/ソフト使用料 高い ⚫ 主要なツールは「スプレッドシート」「会計ソフト」そして「AI」 ⚫ 今回は「AI」を使ってみる • 入力工数の少なさが圧倒的に魅力！ ツール選定 7 スプレッドシート 会計ソフト AI 費用 入力工数 計算 信頼性 信頼性 機能 無料/ソフト使用料 無料/AI使用料 多い 多い 高い 不透明 低い 高い 不透明 学習 コスト 低い 低い 高い はじめに データ収集 OCR 集計 e-Tax まとめ
8. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ ① 領収書を撮影する・・・1枚ずつスマホのカメラで撮影 ⚫ ② OCRでテキスト情報を読み取る・・・撮影した画像と指示をAIに与えてCSVを出力する ⚫ ③ 集計処理を実施する・・・②のCSVと指示をAIに与えて集計結果のCSVを出力する AIを使った集計のフロー 8 はじめに データ収集 OCR 集計 e-Tax まとめ
9. © 2026 Yayoi Co., Ltd. All rights reserved. 領収書の撮影 9 はじめに データ収集 OCR 集計 e-Tax まとめ
10. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ Claude Opus 4.6, Gemini 3.1 ProによってOCRを実施 ⚫ 「支払日」「請求元」「診療科」「支払金額」が期待通りの結果であるか領収書28件中のAccuracyを測定 • 「2025/XX/XX」に「XX病院」の「XX科」で「XX円」支払った、という情報が集計に必要であるため AIによるOCR① 〜 実験設定・プロンプト 〜 10 ・支払日（または請求書発行日など、支払日に該当するもの） ・請求元 （医療機関名が特定できること） ・診療科 （整形外科、内科、皮膚科、リハビリテーション科など） ・支払金額（数値のみ、3桁ごとにカンマで区切らない） 医療費のレシートの画像をまとめたPDFを添付する。 PDFをOCRし、指定した要素を抽出し、CSVフォーマットで出力してほしい。 画像の順番通りにOCR結果を出力すること。 指示 抽出要素 備考 はじめに データ収集 OCR 集計 e-Tax まとめ
11. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ Claudeが高精度である一方、Geminiは低精度という極端な結果に ⚫ 「支払金額」はいずれも100%的中しているが、他項目は大差という明確な特徴が見られる ⚫ Geminiの失敗ケースのほとんどは「不明」として抽出されたか、根拠のない値が入っているもの AIによるOCR② 〜 実験結果 〜 11 Claude Opus 4.6 89.29% (25/28) Accuracy [%] 支払日 診療科 支払金額 Gemini 3.1 Pro 89.29% (25/28) 7.14% (2/28) 0.00% (0/28) 100.00% (28/28) 100.00%(28/28) 請求元 85.71% (24/28) 3.57% (1/28) はじめに データ収集 OCR 集計 e-Tax まとめ
12. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ Claudeの「支払日」の抽出結果の実例を提示 ⚫ 成功例・・・通常の通院（日帰りの診療）で、診察後に支払いしたケース ⚫ 失敗例・・・手術による入院で、17日に入院し20日に退院、退院後に支払いしたケース AIによるOCR③ 〜 結果の具体例 〜 12 はじめに データ収集 OCR 集計 e-Tax まとめ 抽出結果 元画像 2025/4/7 成功例 正解 2025/4/7 抽出結果 元画像 2025/4/17 失敗例 正解 2025/4/20
13. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ Claudeは言語推論を主として知覚情報を統合しており、知覚情報の構造的理解に大きな強み ⚫ Geminiでは言語と知覚情報（画像・音声）を統一された高次元空間で扱えるため高速 ⚫ 段階的か一元的かで設計思想が根本的に異なる。詳細な違いを比較▼ AIによるOCR④ 〜 ClaudeとGeminiの設計思想の違い 〜 13 Claude Opus 4.6 非主流言語を含む高い多言語推論能力 Gemini 3.1 Pro 最初から全体的な意味理解を優先 ニッチな言語・ドメインに弱い 速度は低速、価格は高額 速度は高速、価格は低額 文書理解 要素間の関係性を文脈推論で理解 MoE Transformerによる統合的理解 言語・画像 の統合方法 言語モデルに知覚エンコーダを接続 各モダリティを単一のモデルで扱う 画像処理の 優先順位 メカニズム ドメイン 適応 推論コスト 正確な文字認識・構造理解→意味理解 はじめに データ収集 OCR 集計 e-Tax まとめ
14. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ 言語推論ベースのアーキテクチャ ⚫ Claudeは言語や知覚情報を互いに関連づけ、構造化して認識する • 図とキャプション、グラフとラベル、といった関係性を的確に捉えられる • https://getstream.io/blog/anthropic-claude-visual-reasoning/ ⚫ ゼロショットタスクにおける多言語推論能力の高さ ⚫ 多言語数学推論ベンチマークMGSMにおいて90%以上の精度達成 • 日本語・医療ドメインというマイナーな情報へも適応力が高い • https://www-cdn.anthropic.com/de8ba9b01c9ab7cbabf5c33b80b7bbc618857627/Model_Card_Claude_3.pdf ⚫ 複雑な指示やマルチステップタスクに向いた一貫性の高さ ⚫ 医療を対象とした複数モデルの実験において、Claudeは最も高い一貫性を示し、逆にGeminiは最も低かった • https://pmc.ncbi.nlm.nih.gov/articles/PMC12611369/ ⚫ 長大なコンテキストにおいても論理性と目標を失わず推論を維持可能 • https://www.datastudios.org/post/claude-4-in-2025-performance-safety-benchmarks-ecosystem-news-and-real- world-impact-for-enterpr AIによるOCR⑤ 〜 Claudeの成功理由 〜 14 はじめに データ収集 OCR 集計 e-Tax まとめ
15. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ Claudeは高精度であったものの、全項目のAccuracyが100%という訳ではない ⚫ 仮に100%であったとしても、重要なデータは人間による確認と意思決定が必要 (Human-in-the-Loop: HITL) ⚫ HITLの枠組みに基づき元データとOCR結果を比較するツールを作成 AIによるOCR⑥ 〜 Human-in-the-Loop 〜 15 はじめに データ収集 OCR 集計 e-Tax まとめ
16. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ AIによる一見もっともらしい出力結果の中の不適切な点を実務に即して修正する ⚫ 修正パターンそのものは陳腐化しやすいので、検証の枠組みといった粒度で整理しておくと寿命が長い ⚫ 今回のHITLにおいては、下記のプロセスに基づいて確認・修正を実施 OCR処理完了 AIによるOCR⑦ 〜 HITLにおける確認プロセスのフレームワーク 〜 16 後続処理に渡せるデータ形式か機械的に チェックする 説明 1. データ構造の整 合性確認 2. ルールへの適合 性確認 3. 業務文脈の一貫 性確認 プロセス 指定されたコード体系にない科目（例: 調剤, 美容外科等）を生成してないか 具体例 普遍的なルールに対し、状況に適切な ルールが適用されているかを確認する 製品仕様や社内規定など、実務上の判断 の一貫性が保たれていることを確認する 「2025年」の指す範囲が「翌3月31日締 め」ではなく「12月31日締め」か 薬局の領収書の科目は処方箋を出した診 療科の科目に依存しているか 4. 数値の規模感・ 妥当性確認 過去の実績や相場感から見て逸脱した傾 向がないかを確認する 桁のズレや二重取り込みと思われるよう な事象が発生していないか AIの出力結果の根拠となるデータが正確 に紐づいていることを確認する ソースデータとOCR結果で出力結果の順 番がずれていないか 5. ソース情報との 紐付け確認 はじめに データ収集 OCR 集計 e-Tax まとめ
17. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ 集計のフローはどう設計するか？ ⚫ 一見難しそうだが目的に沿って必要十分な集計フローが組めればOK！ • 今回の場合は医療費控除が目的なので、決算書の作成などの行程は不要 ⚫ 集計をする背景・目的のふりかえり ⚫ 医療費の総額から民間保険の請求分を差し引き医療費控除を申請すること ⚫ 集計の方針・・・非常にシンプル！ ⚫ ①民間保険の対象範囲となる条件を定義する • 骨折事故に起因する整形外科の診療を対象とする • 診療機関（病院）の指定はなく、外来・入院の区別もなく、薬代も対象に含む ⚫ ②定義した条件に合致するグループを抽出する方法を定義する • 今回の領収書データからは「診療科」を「整形外科」の単語で完全一致を取ることによって過不足なく抽出可能 ⚫ ③e-Taxによる医療費控除の手続きにおいては、医療費の合計値から②の小計を引いた額を使用する • 「全医療費 – 補填金（保険金）」の額が10万円を超えていれば医療費控除の申請が可能 AIによる集計 〜 集計の要件 〜 17 はじめに データ収集 OCR 集計 e-Tax まとめ
18. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ Claude Opus 4.6, Gemini 3.1 Proによって集計を実施 ⚫ 診療科毎に支払金額の小計が求められる挙動を意図 ⚫ いずれのモデルでも小計が正解と合致 AIによる集計 〜 実験設定・プロンプト・実験結果〜 18 医療費の領収書のOCR結果のCSVファイルを与える。 診療科毎に集計を実行してほしい。2025年の領収書を対象とする。 指示 Claude Opus 4.6 整形外科 Gemini 3.1 Pro \258,310 \258,310 歯科 \110,000 \110,000 リハビリ科 \12,600 \12,600 はじめに データ収集 OCR 集計 e-Tax まとめ
19. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ AIによる判断が不要な枠組みを構築した ⚫ 曖昧で推論が必要な項目がある場合、AIの判断によって期待していない結果が生じるリスク ⚫ 集計タスクでは特に「勘定科目推論」が課題に（例: 取引先との食事は会議費 or 交際費のどちらか？） ⚫ 今回はOCRのプロンプト設計とHITLによって「診療科」の各科目が明示され、推論が必要な項目の排除に成功 ⚫ コンテキストウインドウに対して十分に小さいデータを扱った ⚫ 今回投入したデータはCSV全体で約1,000文字/推定700トークン程度 ⚫ 数百k〜1Mを扱えるClaudeやGeminiのウィンドウサイズに対して0.1%未満 ⚫ LLMはロングコンテキストで中間の情報を忘却する現象があるが、今回のデータでは無問題 ⚫ タスクをコードに置き換えやすい指示とデータを与えた ⚫ Claude/Geminiは内部でコードを実行する機能を持っている ⚫ 今回はPythonコードで容易に記述できる典型パターンに落とし込めた • `import pandas as pd; df = pd.read_csv(’input.csv’); df.groupby('診療科')['支払金額'].sum()` AIによる集計 〜 なぜ集計が成功したか 〜 19 はじめに データ収集 OCR 集計 e-Tax まとめ
20. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ 集計結果は国税庁のシステム「e-Tax」から確定申告処理を実施する ⚫ しかし現状ではe-TaxからAIで確定申告を自動化することは難しい！ ⚫ 所謂「AIによる確定申告自動化」は概ね「集計の自動化」+「e-Tax操作サポート」を指す 集計後の確定申告手続き 〜 AIによるe-Taxの自動化は可能か？ 〜 20 はじめに データ収集 OCR 集計 e-Tax まとめ
21. © 2026 Yayoi Co., Ltd. All rights reserved. セキュリティ倫理上AIに認証情報を渡すことは許容されない ⚫ 技術的には概ね対応可能だが、対応コストのかかる構造 ⚫ 技術的にクリアしたとしても法的・倫理的に完全自動化は実現不可能 ⚫ 確定申告に関する法律はAIによる操作代行を考慮しておらず、本人または税理士による税務手続きが必要 e-Tax連携の壁 21 暗証番号管理 UI/スキーマ API/MCPファーストではなく、アドホックな更新が必要 物理デバイス認証 スマホ or ICカードリーダーによるマイナカード認証が必要 法 的 問 題 所得税法第120条 国税通則法第16条 税理士法第52条 ``税理士又は税理士法人でない者は、この法律に別段の定めがある場合を除 くほか、税理士業務を行つてはならない。’’ ``納付すべき税額が納税者のする申告により確定することを原則とし…’’ ``居住者は…所得税の額の合計額が配当控除の額を超えるとき…申告書を提 出しなければならない。’’ はじめに データ収集 OCR 集計 e-Tax まとめ
22. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ AIエージェントとして操作代行させるのではなく、AIチャットボットとして支援させる ⚫ 申告データ送信までの作業は税理士法的に操作代行可能な領分だが… ⚫ 所得税法や国税通則法ではAI利用による申告ミスの責任をAI側に転嫁してくれないため、HITLの理念が必要 現時点におけるAI確定申告手続きのアプローチ 22 はじめに データ収集 OCR 集計 e-Tax まとめ
23. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ 確定申告 完 そして節税へ… 23 はじめに データ収集 OCR 集計 e-Tax まとめ
24. © 2026 Yayoi Co., Ltd. All rights reserved. ⚫ AIが得意な分野・可能な分野を切り分けた運用フローの設計が肝 ⚫ 得意な分野・・・意味理解、知覚処理、構造の把握 ⚫ 苦手な分野・・・曖昧性の高い内容の推論、過度に大規模または複雑な処理 ⚫ 不可能な分野・・・責任の伴う意思決定 ⚫ AIそのものは非常に高性能 ⚫ 上記の運用フロー設計が適切であれば、確定申告の大部分を省力化可能 ⚫ 同様に、様々なバックオフィスタスクにおいてAI活用が期待される ⚫ ボトルネックとなる意思決定部分をどうするかが鍵 ⚫ HITLのフレームワークの設計・運用が重要 ⚫ 理想的には複数の専門家がすべてのデータを確認すれば良い ⚫ 現実にはそのようなコストはかけられないので、どこかで妥協せざるを得ない ⚫ 注意すべきポイントと一定のフローを定めることによって、低コスト化・均質化を実現する ふりかえり 24 はじめに データ収集 OCR 集計 e-Tax まとめ