AI時代に求められるプログラマの能力 / ability of programmer in AI era

2025/1/18に開催されたGDG Kwansaiでのイベントの資料です。
https://gdgkwansai.connpass.com/event/337645/

Transcript

1. AI時代に求められるプログラマーの能力 2025-01-18 GDG Kwansai LINEヤフー きしだ なおき
2. 2025/01/18 2 自己紹介 • きしだ なおき • LINEヤフー • X(twitter): @kis • 「プロになるJava」という Java入門書を書いてます
3. 3 AIの時代の到来 • ChatGPT以来、AIの普及が始まる • いままでは画像中の人物判定など識別AI • ChatGPTは文章を生成するので生成AI • 画像や動画、音楽なども生成 • プログラムも高精度に生成 • 今年、ハードウェアもソフトウェアも整う • 必要になる能力も変わっていく
4. AIとは • LLM(大規模言語モデル)がベース • ニューラルネットワークが基本 • GPT = Generative Pretrained Transformer • Transformerが肝
5. ニューラルネットワーク • 多層の計算ネットワーク • LLMの規模を示すパラメータは接点の重みのこと • 13Bのモデルで1パラメータ1バイト(8bit)にすると13GB必要 • 16bit floatなら26GB必要 • 多数のFMA計算(乗算して加算) • GPUと非常に相性がいい
6. Transformer • 文章の係受けなど注目する場所を特定する仕組み • アテンション • 言語処理などの能力が劇的に向上 • トークンから別のすべてのトークンへの 注目度を計算 • つまり文章の長さの2乗に計算時間が比例
7. 埋め込みベクトル • LLMでは情報を多次元ベクトルとして扱う • 1000次元とか
8. 埋め込みベクトルを利用した検索 • 質問の文章のベクトルと同じ方向のベクトルを持つ文書を検索 • RAG(Retrieval Augmented Generation) "mountain" "cat" "guitar" match! "にゃーん"
9. マルチモーダル • 画像や音声などを扱う • 画像などのベクトルとその内容を表す言葉のベクトルが同じ方向 になるようにする "cat" match!
10. エージェント • コントローラになるAIプロセスが思考のためのAIプロセスを 呼び出しながら思考を進める • 推論時にコンピューティングリソースを使うようになる • 昨年末から本格的な実用化 • 今年はエージェント普及の年
11. 脱グラフィックボード • NVIDIAの新しいグラフィックボードRTX50シリーズ発表 • 最大メモリ32GB • つまり70Bとかのモデルは動かせない • ゲームとAIのメモリ需要の乖離 • ゲーム：迅速にテクスチャにアクセスが必要。容量は不要 • AI：重みを順に読み込めればいい。容量が必要 • GDDR7のような高価なメモリを128GBとか積むとみんな不幸 • ゲーマーは容量が不要 • AIではアクセス速度が不要
12. SoCによる推論 • CPUとGPU、NPUを統合したSoC(System on Chip) • Apple Siliconが代表的 • WindowsでもCopilot+ PCを規定 • ユニファイドメモリで大容量メモリをCPUとGPUで共有 • NVIDIAも128GB搭載のProject Digitsを発表 • CUDAが動くのでみんな注目
13. AIの使い方 • AIをシステムに組み込む • AIを開発に使う
14. AIをシステムに組み込む • チャットUI • RAGによる検索 • 一般ユーザー向けには難しい • 不正利用 • 出力の品質 • 要約 • 提案
15. AIを開発に使う • コードの提案をしてもらう • フレームワークやAPIの使い方を教えてもらう • リファクタリングしてもらう • テストを書いてもらう • プルリクを書いてもらう • 開発を全部やってもらう • とりあえず考え事は一旦AIに投げる
16. AIの欠点 • ハルシネーション • 最新情報を知らない • 論理が苦手 • 逆方向の推論ができない • コストがかかる
17. ハルシネーション • 出力が正しいとは限らない • コーディングに関しては精度がかなり高くなっている
18. 最新情報を知らない • カットオーバー時期までの知識しかない • 新しい情報はネットにのらない • 開店情報はネットにのっても閉店情報はのらない • RAGで情報を埋め込める • プロンプトに必要な知識を埋め込んで対応できる
19. 論理が苦手 • 確率的な処理なので論理が苦手 • 定式化された問題への能力はあがっている • トレーニングに含まれている • 定式化されていない場合に間違いがち • Pythonスクリプトを生成して対応
20. 逆向きの推論ができない • 「AはBである」という知識があるとき、BからAを導きだせない • 論理的には正しくないけど実務での発想に必要 • APIリファレンスから実際のコードを組み立てるのは苦手 • コード例が必要 • BからAを説明する資料が多いので欠点は隠されている • 自由な発想には人間が必要
21. コストがかかる • 高性能なモデルを動かすにはコストがかかる • システムへの組み込みには注意が必要 • 論理でできることは論理で • 推論用ハードウェアの普及で安くなる • 小規模LLMの性能のあがっている • 人間よりは安い
22. 必要な能力は？ • コーディング能力は不要？ • 上流工程の知識は重要 • AIを味方にする能力が重要
23. コーディング能力は不要? • 競技プログラミングが流行ったけど高度なものは不要 • 簡単な問題は解けたほうがいい • フレームワークやAPIの細かい知識は不要 • 採用フレームワークの判断は必要 • ハマったときの解決力は必要 • AIはサポートしてくれるけど解決は難しそう
24. 上流工程が重要 • AIに与える課題は人間が設定する • 現実を把握してAIに教えるのは人間 • プラットフォームへのフィッティングは人間が考える • 未来の計画は文書化されていない • 中長期的な判断は人間が行う必要 • 「ソフトウェア開発」の理解が必要 • 特に用件定義
25. AIを味方にする力は重要 • AIを人間の学習に利用する • 学習のためのサポートには強力 • ただし、簡単なものはやってくれるため学習のモチベーションが 湧きづらくなる • AIを学習に使う人と、AIに頼って学習しなくなった人とで格差が 広がる
26. 基礎はやっぱり必要 • コンピュータに何ができるか • AIに何ができるか • 人間に何ができるか
27. おわり