NPUわからん

NPU って最近聞くようになったけど、いったいどんなプロセッサなのか分からないのでだれか教えてください、という話です（汗
同じ行列演算でも GPU の演算（座標変換等）と NPU の演算（畳み込み演算等）の数学的差が理解できないと腹落ちしないのかもしれない・・・

Transcript

1. NPU わからん すごい広島575 with IT初心者の会 86 LTDD 2024-5 #3 @tsuda_ahr
2. お題 • NPU さっぱりわからん、って話をします。 • 知っている人だれか教えてください（汗
3. 最近 AI PC が云々という話がありました https://forest.watch.impress.co.jp/docs/news/1593182.html
4. AI （=人工知能/Artificial Intelligence） PC ってなんぞ？ • NPU を搭載した PC らしい？
5. ＮＰＵ って？ • AI処理に特化したユニット？ • Neural ｎｅｔｗｏｒｋ (神経組織ネットワーク？） Processing Unit？ • そもそも AI 処理って何よ？ https://atmarkit.itmedia.co.jp/ait/articles/2405/20/news015.html
6. そして ＴＯＰＳ って何？ • CPU や GPU では ＴＯＰＳ という指標はない。 • てら・オペレーション毎秒、らしい。 • 40TOPS = 40×1012 （40兆回） 演算／秒 • なんて読むの？（テラ・オーピーエス？ それともトップス？テラ・オップス？） • 参考 • TFLOPS … てら・ふろっぷす • MIPS … みっぷす／みぷす
7. ＣＰＵ とかでは FLOPS という指標がある。 CPU コア数 TFLOPS Core i9(Alder Lake) P8/E8 1.18 Xeon Phi (Knights Landing) 72 3.917 GeForce RTX 4090 16384 単精度：82.58 倍精度： 1.29 https://ja.wikipedia.org/wiki/FLOPS • FLOPS = 浮動小数点・オペレーション毎秒 • 1秒当たりの浮動小数点演算実行回数。 • TOPS とは違う。
8. 結論 • よくわからん（汗
9. ところで唐突ですが、 • コプロセッサ？(らしきもの？）の歴史を話してみます
10. FPU (FPP) • 浮動小数点演算ユニット • 登場当初は CPU とは別のチップだった • 浮動小数点演算をハードウェアで行う。 （これがないと、当時の CPU は整数演算しかできなかった） CPU FPU https://commons.wikimedia.org/wiki/File:I386DX-25_IV_SX543_%2B_i387DX_16-33.jpg
11. SIMD (Single Instruction, Multiple Data streams) • 一つの命令で複数の演算を同時に実行する拡張 • MMX Pentium (P55C) から実装 • SSE 以降、浮動小数点演算に対応 (Pentium Ⅲ) • 現在は AVX-512 命令で最大 16 の単精度実数演算が可能。 ※これはコプロじゃないんじゃ？という批判はスルーします（汗 以下同様。
12. GPGPU (General Purpose computing on Graphics Processing Units) • グラフィック用のプロセッサを汎用演算でも使用できるようにした。 • CPU に比べて圧倒的なコア数を実装。 • こいつもよくわからん（汗
13. NPU • ニューラル（ネットワーク）プロセシングユニット。 • 名前が無駄にかっこいい。 • しかしできることは、低精度（FP8やINT4)の行列演算。 • ひとつの演算だけをみると、8bit CPU 以下の演算能力しかなさそう（汗
14. その他 • 以下については時間の都合で省略（汗 • FPGA • DSP • トランスピューター
15. ＣＰＵ／GPU と NPU の違い • 省電力志向。 • CPU に統合。 • CPU に比べて、並列数が膨大？ • GPU は高精度浮動小数点演算に対応しているが、NPU は低精度に注力？
16. ChatGPT に違いを聞いてみた • GPU • 学習に使用 • より高い精度の演算が必要 • FP32(単精度実数/有効桁7桁弱）あたりを使用らしい。 • NPU • 推論に使用 • 学習ほど高い精度は必要ない • INT8(8bit整数/-128～127?/C言語の char 型相当?）あたりを使用らしい。
17. なのかどうかは知らないが • NPU は GPU に比べて、10倍処理能力は高くなり、消費電力は１／５で済 むらしい。 https://pc.watch.impress.co.jp/docs/news/event/1504066.html
18. ということで、誰か NPU とは何かを教えてください（汗 • こちらからは以上です。