そのグラフに「魂」は宿っているか？ ～生成AI全盛期におけるデータ可視化手法とライブラリ比較～

PyCon JP2025で登壇した内容に関する資料です。
URL：https://2025.pycon.jp/ja
内容：
AIによるコーディング支援が標準となり、データ分析の世界では誰もが瞬時にグラフを描けるようになりました。しかしその一方で、かつて「データ分析職人」たちが、matplotlibやseabornの無数のオプションを駆使し、伝えたいメッセージや洞察を込めて丹念に作り上げた「真心を込めたグラフ」の価値が見失われてはいないでしょうか。

AIが生み出す便利でソツのないグラフが増えるほど、次のような感覚を覚えることはありませんか？
「このグラフ、どこかで見たことがあるな…」
「AIが書いたっぽいな、と一目でわかる…」
「昔ながらの手作り感というか…あの職人芸がない…」

大規模言語モデル（LLM）はデータ可視化のコード生成を驚異的に自動化しますが、その一方で私たちが本来発揮すべきクリエイティブ性を「均質化」させるという課題も生じているのでは無いでしょうか。

本発表では、生成AI時代におけるデータの可視化に焦点を当てて、AIの出力を超えるための具体的なテクニックを体系的に解説します。MatplotlibやSeabornといった非常に馴染みが深いライブラリの表現力を最大限に引き出すための「味付け」の方法から、MatPlotAgentに代表される最新AIエージェントとの対話的なグラフ構築、ライブラリの比較に至るまで、明日からご自身の業務で活用できる実践的な知識とワークフローを提供します。

Transcript

1. M [1] K. Chayka. A.I. is homogenizing our thoughts. The New Yorker, 2025. [2] Z. Yang, Z. Zhou, S. Wang, X. Cong, X. Han, Y. Yan, Z. Liu, Z. Tan, P. Liu, D. Yu, Z. Liu, X. Shi, and M. Sun. MatPlotAgent: method and evaluation for LLM-based agentic scientific data visualization. arXiv preprint arXiv:2402.11453, 2024. [3] https://github.com/thunlp/MatPlotAgent , https://github.com/negi111111/MatPlotAgent-PyConJP2025ver そのグラフに「魂」は宿っているか？ ～生成AI全盛期におけるデータ可視化手法とライブラリ比較～ 丹野 良介 背景 : 生成AIによるグラフの標準化と新たな課題 実験 : 各言語モデル毎の差異を観察してみる 強力な生成AIの登場により、データ可視化は誰でも可能に、しかし… 課題：なんか見たことあるな…→出力が似たりよったりで均質化 LLMは生産性を劇的に向上させる一方で、無意識のうちに思考やアウトプッ トを平均化させるリスクを内包する [1] ”AI使用者の記述は、内容が均質化する傾向にある。AIは大量データから平 均的な解を導出するため、ユーザーの思考も凡庸になる可能性がある” データ可視化でも、最も標準的かつ無難な表現に収束する傾向が見られる 分析者の意図や個性を反映させることで、差別化を図るのは大事 といいつつも、matplotlibやseabornの無数のオプションを駆使して ・自分が意図する図を作るのは意外に難しい・・・ ・生成AIに出力させようとするも案外難しい・・・ ・伝えたい意図やデータ解釈性を維持しながら出力制御が難しい・・・ V-LLM Agent: 視覚的なFBに基づく正確な図の生成 LLMが自律的にグラフを生成・修正するフレームワークで以下の3つのコアモジュール をもつ。 ① Query Expansion: 曖昧な指示をLLMが理解しやすい具体的な描画ステップに分 解。ライブラリや関数指定、パラメータの設定、データ準備、操作方法、ユーザ要 件を満たすためにどのように使用するか、など具体的な指示を指定する。 ② Code Generation: プロンプトに基づきコードの草案を生成。セルフデバッグに よる生成されるコードの確度向上 ③ Visual Agent: GPT-4Vによるデータと図が一致しているかの検証、図をより近づ けるために、色やラベルの強調などをフィードバック MatPlotAgent [2] 目的 : LLMによる可視化の制御をどれぐらいできるか検証する gpt-5 o3-pro o4-mini grok-3 R1-0528 w/o Visual FB with Visual FB Code Agent: 『減衰振動』というタイトルのプロットを作成せよ。X軸は『時間』、Y軸は『振幅』とする。指定された計算式 に基づき、4種類の線（実線、破線と丸マーカー、s-.スタイル、点マーカー）を描画すること。左上に影付きの凡 例を配置し、特定の線に『振動』と『減衰』というラベルを付ける。 Visual Agent: まず、プロットと数値計算に必要なライブラリをインポートする。次に、2種類の数値シーケンスを作成し、プ ロットの図と軸を設定せよ。4種類の線を指定されたスタイルでプロットし、左上に影付きの凡例を追加すること。 軸ラベルとタイトルを設定した後、最後にプロットを表示せよ。 Code Agent: 5種類の果物と5つの地域に関する売上データで、積み上げ棒グラフを作成せよ。Y軸は売上（百単位）とし、X軸 はラベル不要。グラフのタイトルは『地域別売上』とし、色はソフトな色合いを選ぶこと。各棒の上部にその地域 の合計売上を表示し、グラフの下には棒の色と対応したデータテーブルを追加せよ。テーブル内の数値は実際の売 上を100で割って小数点第2位まで表示。レイアウトを調整してグラフとテーブルの両方が見えるように表示せよ。 Visual Agent データ操作と可視化のライブラリを使い、積み上げ棒グラフを作成せよ。まず、指定された果物と地域の売上デー タ（2次元リスト）を用意する。次に、Y軸を売上（百単位）、X軸をメモリなしとして、『地域別売上』というタ イトルのグラフを描画せよ。棒の色はソフトな色合いにし、棒の最上部に合計値を表示すること。グラフの下には、 棒の色と対応するデータテーブルを追加し、セルには売上を100で割った値を小数点第2位まで表示せよ。最後に、 テーブルが見えるようにレイアウトを調整してグラフを表示せよ。 Code Agent: 複数の3D折れ線グラフの下をポリゴンで塗りつ潰した3Dプロットを作成せよ。X軸は0から20、Y軸は2から10の範 囲とする。Z軸にはガウス分布関数で確率を計算し、Y軸に沿って複数のポリゴンを配置すること。ポリゴンの色 は反転したプラズマカラーマップを使い、全ての軸とプロットに適切なラベルと範囲を設定して、最終的な3Dプ ロットを表示せよ。 Visual Agent: まず必要なライブラリをインポートし、ガウス分布のポリゴンを作成する関数を定義する。次にX軸とY軸の値を 設定し、3Dプロットを初期化せよ。Y軸の値ごとにループ処理を行い、ポリゴンを生成してプロットに追加するこ と。最後に、軸のラベルと範囲を設定し、プロットを表示せよ。 Ground Truth Code Agent: 再現性のある3D棒グラフを作成せよ。紫・オレンジ・灰・ピンクの4層でデータを表現し、各層の最後の棒は黒に する。棒は半透明で、軸ラベルは適切に設定し、特にY軸はデータのある位置のみラベルを表示すること。 Visual Agent: まずライブラリをインポートして乱数を固定する。次に3Dサブプロットを持つ図を作成し、色ごとにデータを生 成（最後の棒は黒にする）。半透明の棒グラフをプロットして軸ラベルを設定後、最後にグラフを表示せよ。 プロンプト例 プロンプト例 プロンプト例 プロンプト例 生成なし 生成なし w/o Visual FB with Visual FB w/o Visual FB with Visual FB w/o Visual FB with Visual FB ・[3]のベンチマークの データを用いて実験 ・モデルごとに[2]に基づき 振る舞いを見てみる ・中には難しいものもあり 生成がほぼできないものも ・データ自体は100程ある ・わかりやすいものを選別 して以下のモデルで実験 生成ワークフロー：クエリ展開モジュールはユーザクエリを詳細なマルチステップ 命令に変換する。これらの命令は，プロットコードを生成するコードエージェントに 渡され、ビジュアルエージェントは現在のコードに基づいた視覚的フィードバックを 提供し、図を改良する 概要： ・コードLLMとマルチモーダルLLMの 両方の機能を活用し、クエリの理解、 反復デバッグを伴うコード生成、エ ラー修正のための視覚的フィードバッ ク機構の3つのコアモジュールから構成。 ・人間が注釈を付けたスコアと強い相 関を示す。 ① (100-90): GTとほぼ同じ。無視できる差。 ② (89-70): 表現やスタイルに小さいが顕著な違い ③(69-50): プロットの精度や解釈に影響がある ④(49-30): メッセージ性やデータの解釈に 大きな違い ⑤(29-): 共通点がなく表現が 完全に異なる 考察 : モデル別の出力に依る表現特性とFB反映能力 ポスターPDF 分析ツール 無料公開中 ・gpt-5 / o3-pro: 初回生成から要件を高い精度で満たす。FBによる注釈 の追加や複雑なプロットタイプの再現性が優秀。 ・o4-mini / grok-3:タスクによって初回の品質にばらつき有。FBにより エラーからも回復して、レイアウトも修正ができる。 ・deepseek-R1-0528: 標準的なグラフでは安定。一方、複雑な指示に 独自の解釈をしがい。FBでも軌道修正が難しい場面もある。 ・複数の言語モデルに視覚的なフィードバックを与え、可視化結 果の制御・出力を見てみる ・モデル毎の性能差から、表現・解釈性を反映できるか検証する