ソフトウェア高速化の専門家による挑戦！ kaggle コンペ入賞への技術アプローチ

by 株式会社フィックスターズ

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 発表者情報 3 • 冨田明彦（とみたあきひこ）ソリューションカンパニー営業企画執行役 2008年に入社。金融、医療業界において、ソフトウェア高速化業務に携わる。その後、新規事業、半導体業界の事業を担当し、現職。 • 飯塚康太（いいづかこうた）ソリューション第二事業部シニアエンジニア 2019年入社。車載向けの深層学習アプリケーション、特に物体検出・トラッキングの開発を担当している。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 5 会社概要会社名株式会社フィックスターズ本社所在地東京都港区芝浦3-1-1 msb Tamachi 田町ステーションタワー N 28階設立 2002年8月上場区分東証一部（証券コード：3687）代表取締役社長三木聡資本金 5億5,446万円（2021年9月現在）社員数（連結） 258名（2021年9月現在）主なお客様キオクシア株式会社株式会社日立製作所株式会社ネクスティエレクトロニクスキヤノン株式会社グループ体制株式会社フィックスターズ株式会社Fixstars Autonomous Technologies Fixstars Solutions, Inc. 株式会社ネクスティエレクトロニクスとのJV 自動運転向けソフトウェアを開発当社完全子会社米国での営業及び開発を担当株式会社Sider 株式会社Smart Opinion 当社完全子会社開発支援SaaS「Sider」を運営連結子会社乳がんAI画像診断支援事業を運営オスカーテクノロジー株式会社連結子会社ソフトウェア自動並列化サービスを提供株式会社Fixstars Amplify 完全子会社量子コンピューティングのクラウド事業を運営

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group ソフトウェア高速化サービス (概要) お客様のソースコードをご提供いただき、最適化やアルゴリズムの改良を施して高速化してお返しします当社お客様オリジナルソースコードのご提供高速化したソースコードコンサルティング高速化サポート性能評価ボトルネックの特定アルゴリズムの改良・開発ハードウェアへの最適化レポート作成レポートやコードへのQ&A 実製品への組込み支援 7

Slide 8

Slide 8 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group ソフトウェア高速化サービス様々な領域でソフトウェア高速化サービスを提供しています大量データの高速処理は、お客様の製品競争力の源泉となっています・NAND型フラッシュメモリ向けファームウェア開発・次世代AIチップ向け開発環境基盤開発 Semiconductor ・デリバティブシステムの高速化・HFT(アルゴリズムトレード)の高速化 Finance ・自動運転の高性能化、実用化・次世代パーソナルモビリティの研究開発 Mobility ・ゲノム解析の高速化・医用画像処理の高速化・AI画像診断システムの研究開発 Life Science ・Smart Factory化支援・マシンビジョンシステムの高速化 Industrial 8

Slide 9

Slide 9 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 組込みソフトウェア高速化サービスの例 • お客様の課題 • 対象アルゴリズムの実機性能が確認できないと商品化に踏み切れない • 製品開発に取り組むための目標性能を達成できない • プロセッサが変わるたびに最適化する実装の作業コストが高い • 低スペックのプロセッサで処理できるようにしてハードウェアコストを下げたい • 弊社の支援内容 • H/W選定に向けたコンサルティング • ターゲットH/Wに向けたお客様アルゴリズムの移植 • ボトルネック調査、最適化方針提案、実施 • 目標性能未達の見込みの場合、アルゴリズム改善の提案 9

Slide 10

Slide 10 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 画像処理・アルゴリズム開発サービスの例出展：https://www.cs.toronto.edu/~frossard/post/vgg16/ • お客様の課題 • 高度な画像処理や深層学習等のアルゴリズム開発を行える人材が社内に限られている • 考案中のアルゴリズムで機能要件は満たせそうだが、ターゲット機器上で性能要件までクリアできるか不安 • 製品化に結びつくような研究ができていない • 弊社の支援内容 • 課題に応じたアルゴリズム調査 • 深層学習ネットワーク精度改善、推論高速化手法調査 • 論文調査、実装 10

Slide 11

Slide 11 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group AI・深層学習関連サービス 11 • ディープラーニングの包括的開発技術 • ネットワーク設計からターゲットデバイスでの高速化のノウハウ • 大規模システムからエッジコンピューティングまでの開発実績ネットワーク設計データの前処理、データ拡張精度改善分散処理による学習高速化各種DLフレームワーククラウド・サーバエッジモデル圧縮 - 量子化 - 枝刈り - 蒸留ターゲットデバイスへのポーティング及び推論高速化 ◼ ARM, GPU, DSP ◼ SIMD,NEON,CUDA,TensorRT

Slide 12

Slide 12 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 組合せ最適化開発サービス 12 専用ソルバー開発市販ソルバー応用高速化サービス量子コンピューティングアニーリングサービス ෍ 𝑘=0 𝑛 • Fixstars Amplify 製品による最適化ソルバーを提供 • 弊社独自技術のGPUアニーリングマシン (Amplify AE) を課題に合わせてカスタマイズ • お客様の課題や運用プラットフォームに特化したアルゴリズムを開発 • 課題に即した専用ソルバーとして提供 • 市販の数理最適化ソルバー(CPLEX, Gurobi)を活用した開発支援、高速化検討、性能評価を実施 • お客様の考案のアルゴリズムやソースコードを、ハードウェアの計算資源を最大限活用するよう最適化・並列化 • 必要に応じてアルゴリズムの改善検討、提案も実施

Slide 13

Slide 13 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 本セミナーで紹介 • 社内大学 • プログラミングコンテスト • 勉強会 • 各種コンテストへの参加 (Kaggleコンペ参加) • 勉強会 • 論文・学会発表よりよいサービスのご提供を目指して 13 • 組込み高速化 • アルゴリズム開発 • AI・深層学習 • 組合せ最適化各種サービス • 社内向け • 社外向け技術力強化コンテスト参加の様子

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group Kaggle コンペへの参加例 15 • Kuzushiji Recognition • 文書に含まれる崩し字を認識・分類するコンペ。293チーム中25位にランクイン • Lyft Motion Prediction for Autonomous Vehicles • 車両や歩行者の数フレーム後の行動を予測するコンペ。935チーム中47位にランクインし銀メダルを獲得 • Halite by Two Sigma • 対戦ゲームのプログラムを作るコンペ。1139チーム中121位にランクイン • Conway’s Reverse Game of Life 2020 • 組合せ最適化コンペ。188チーム中3位にランクイン（詳細は次ページ以降で紹介する）

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group Conwayコンペ概要 17 • 次のステップを計算するのは簡単 • 隣接する8個のセルのうち生きているセルの個数によって次のステップで生存できるかが決まる • それに対して、前のステップを計算するのは非常に難しい • 高さH・幅Wの長方形の盤面は 2^(H×W) 通りあるので全探索するには指数時間かかる • 前のステップが存在しない盤面が存在する（エデンの園配置とよばれる）生存：8近傍に2セル誕生：8近傍に3セル死：その他 1 2 1 3 2 1 4 3 2 1

Slide 18

Slide 18 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 問題設定と評価方法 18 • 問題設定 • 25×25マスの盤面Xとステップ数t (1≦t≦5) が与えられ、tステップ進めると盤面Xにできるだけ近くなるような盤面Yを求める • 評価方法 • Yをtステップ進めた盤面X’とXの一致率 • 盤面は50000通り（public : private = 1 : 1） (GT) X Y X’ tステップ tステップ一致率を評価

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 解法の検討 22 • 組合せ最適化ソルバを使って厳密解を求める方法 • 問題は各セルの条件の組合せで表示できるため、0-1 SATソルバを用いることで厳密解を求められる • 一般に途中解を保存することができず、いつ計算が終わるか分からないのが欠点。簡単な問題は数秒で解けるが難しい問題は数十時間かかることもある • 公開されている組合せ最適化ソルバは多数あり、どれも高度に最適化されているのでソルバ側の改善の余地は少ない。定式化の部分で工夫はできるがソルバとの相性もあり改善度・原因が不明瞭になりがち • 焼きなまし法による近似解法：今回採用した方法 • ランダムに盤面を更新しながら一致率が高いものを選別していく • 適当な時間で止めることで近似解が得られる利点がある • 盤面の更新を高速化することで性能が向上できる＝持っている技術が活用できる • その他の方法 • パターンマッチングなどルールベースの解法は簡単な問題にのみ有効だった • 深層学習の利用はあまり既存の文献がなかったので考慮しなかった（コンペ後に深層学習ベースの手法も公開された）

Slide 23

Slide 23 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 焼きなまし法 23 • 与えられた関数E(x)を最小化するxを求めるための汎用の乱択アルゴリズム • 例：xを点群のハミルトンパス（各頂点を1回ずつ通る経路）、Eをその長さとすると、巡回セールスマン問題の解法となる • 例：xを会議室の予約リストから適当に選んだ部分集合、Eをその空き時間（ただし予約が重複しているときは正の無限大を返す）とすると、会議室の割り当て問題の解法となる • 今回の問題ではxを盤面としてEを誤答率とすれば焼きなまし法が適用できる • 疑似コード • 近傍のスコアが良い場合は更新し、悪い場合も確率pで更新する • 温度パラメータtは計算時間が増えるにしたがって低下するように設定する • pはスコアの悪化が少なくtが大きいほど大きくなるように設定する。たとえば exp([E(x)-E(x’)]/t) など • 今回の問題では盤面の1セルを変化させたものを近傍とする x = 初期状態 while E(x) > 目的の値 and 計算時間が残っている: x’ = xの近傍 t = 温度パラメータ if E(x) > E(x’) or p(E(x), E(x’), t): x = x’

Slide 24

Slide 24 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 並列アルゴリズム使用高速化の概要 24 • 効率的な更新処理と並列化を組み合わせて、初期実装と比べて285倍の高速化を達成 • スコア（誤答率）も高速化に応じて小さくなっていくことが分かる 1.E+04 1.E+05 1.E+06 1.E+07 1.E+08 0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 高速化無し部分更新 bitごとに計算 bit部分更新 simd化 simd+openmp 1秒あたり探索数スコアスコア 1秒あたり探索数 ←小さいほど良い ←大きいほど良い条件： 1問あたり100msの持ち時間、初期値は問題と同じ盤面環境： Intel® Core™ i7-10700F (2.90GHz, 8C16T)

Slide 25

Slide 25 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 更新処理の高速化 25 • 部分更新 • パターンの更新時に各セルは隣接セルの情報しか参照しないので、セル1個の値を変えてtステップ時間発展したとき計算が必要なのは (2t+1)×(2t+1) セルのみである。この特徴をもとに時間発展する途中の値を保存して再利用することで時間あたりの探索数が 4.6 倍となった。 1セルの値を変更する 1ステップ後の影響範囲は9セル 2ステップ後の影響範囲は25セル

Slide 26

Slide 26 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 更新処理の高速化 26 • bitごとに計算 • セルは2状態しかないので1bitで表現できる。また、問題サイズが25x25なので int32 を使うと1行の情報をまとめて管理できる。また、隣接セルの和を計算するときも bit 演算を組み合わせることで 1bit と int8 の変換をせずに更新処理が行える。これを利用すると時間あたりの探索数を 13.3 倍にできる。 • 例： a | (a << 1) | (a >> 1) で、行aに対して行方向の隣接セルの和が1以上かを同時に計算できる int8 セルは1個ずつ計算 1bit セルは1行まとめて計算

Slide 27

Slide 27 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 更新処理の高速化 27 • bit部分計算 • この2つのアイデアを併用して、更新が必要な場所のみ bitwise に計算すると 23.5 倍の高速化が達成できる。bitwise 演算の場合は更新の最小単位が1行になるので、高速化される割合は両者の積よりは小さくなる。 1セルの値を変更する 1ステップ後の影響範囲は3行 2ステップ後の影響範囲は5行

Slide 28

Slide 28 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 並列化 28 • 並列焼きなまし法を使用 • 悪い方向への更新確率をスレッド毎に設定して並列に計算、ときどきスレッド間の盤面の比較と交換を行う • 逐次アルゴリズムに比べて盤面あたりの近傍探索回数は減るが、探索できる盤面は増える • 実行時間によって変化するパラメータがないので途中から再開することが可能 • 今回はN=32を利用し、温度パラメータの極値を（逐次）焼きなまし法と揃えて実験した x1 , ..., xN = 初期状態 t1 , ..., tN = 温度パラメータ（降順に設定する） loop: parallel for i in range(N): xi = SimulatedAnnealing(xi , ti ) for i in range(0 または 1, N, 2): if E(xi ) > E(xi+1 ) or p(E(xi ), E(xi+1 ), ti , ti+1 ): xi , xi+1 = xi+1 , xi

Slide 29

Slide 29 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 並列化 29 • simd化 • 各パターンを bitwise に変換すると1行が int32 に収まるので、 256bit SIMD レジスタと AVX2 命令を用いることで8行を同時に更新することができる。これを並列焼きなましの各温度パラメータに対応させることで並列化した。条件分岐などSIMD化しにくい場所もあるため、論理的には8並列だが2.7倍の高速化にとどまった。また、温度パラメータあたりの計算回数が8%に減少したことが影響してスコアはやや悪化した。 • simd+openmp • simd化したコードを問題ごとに16並列にして、さらに4.4倍の高速化ができた。温度パラメータあたりの計算回数で換算しても1.3倍に増えているので精度も最も良くなった。 SA SA SA SA 比較比較 SA SA SA SA 比較 SA SA SA SA 比較比較

Slide 30

Slide 30 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 結果 30 • 高速化後のコードをさらに長時間（1問あたり1分程度）計算させることで誤答率 0.015程度のスコアを達成した • 他の手法とも組み合わせて最終スコア0.01234を達成、3位を獲得した https://www.kaggle.com/c/conways-reverse-game-of-life-2020/leaderboard

Slide 31

Slide 31 text

Fixstars Group www.fixstars.com Copyright © Fixstars Group 考察 31 • 理論性能との比較 • 今回実験した環境の理論演算性能は 139.2GOPS (SIMD, OpenMP使用時) • 最大メモリ帯域は 45.8GB/s で演算強度は演算量/メモリアクセス量 = 1060/916 ≒ 1.15[OPS/Byte] なのでメモリによる性能の上限は 53.0GOPS でありメモリ律速となっていることがわかる • 実測値は 43.54GOPS = 理論性能の82%なので十分に高速化されているといえる • 上位解法 • 1位・2位解法ともに組合せ最適化ソルバを使用していた。同じ定式化を用いても最適化ソルバによって解くためにかかる時間が大きく異なるという報告がされている • 上位手法ではどれも複数手法を併用していて、合計でどれくらいの計算量がかかったか（とくに今回用いた解法と比べて有利か）は不明