ディープラーニングのフレームワークと特許戦争

第50回 コンピュータビジョン勉強会＠関東「コンピュータビジョンで使えるツールLT大会2」発表資料。
https://www.slideshare.net/YosukeShinya/ss-125937523 より移行。

Transcript

1. ディープラーニングの フレームワークと特許戦争 第50回 コンピュータビジョン勉強会＠関東 2018/12/15 進矢陽介 ※本発表は個人として行うものであり 所属組織を代表するものではありません
2. クイズ 何の地図でしょう 引用元： https://aws.amazon.com/about-aws/global-infrastructure/
3. クイズ 何の地図でしょう AWSリージョンマップ引用元： https://aws.amazon.com/about-aws/global-infrastructure/ 追加予定リージョン AWS既存リージョンと アベイラビリティーゾーンの数
4. クイズ 何の地図でしょう AWSリージョンマップ引用元： https://aws.amazon.com/about-aws/global-infrastructure/
5. クイズ 何の地図でしょう AWSリージョンマップ引用元： https://aws.amazon.com/about-aws/global-infrastructure/ Batch Normalization の特許出願国なんです 特許査定発送 2018/11/12 EP特許付与 2018/12/5 実はこれ★全部
6. BN (Batch Normalization) 代替へ • Google特許は dropout, word2vec, DQN 等もよく知られているが、BNほどの出願国数は稀 • BNの代替手法開発は優先度高 Group Normalization [Yuxin Wu+, ECCV2018] https://arxiv.org/abs/1803.08494 • “batch of training examples”を必ずしも必要としない正規化層 • 特許制度がイノベーションを促進した好例なのでは 特許を交えた企業間の研究開発競争が進んでいる
7. 特許戦争 想定されるシナリオ 「コードが公開されるからアルゴリズムの研究は不要、 データ集めてあとはチューニングだけしてればいい」 という考えの企業が滅ぶ 冷戦状態 軍拡競争 熱戦 特許係争 トップカンファに数十本通す企業同士の泥仕合 特許係争に膨大なコスト → 余計な係争は避けたい そこで重要なのが Apache License 2.0 2012 ILSVRC 2012 ディープラーニングが流行る ︙ 有力スタートアップ企業の買収合戦 研究者を高額報酬で引き抜き、特許を書かせる スマートフォン・自動車・FA等で産業応用加速 2020 半導体メーカーが他社チップに 余計なもの 侵害品を見つける 2021 身体は闘争を求める 2022 ソフトウェアに飛び火して世界大戦 “Twemoji” by Twitter, Inc and other contributors /CC-BY 4.0
8. Apache License 2.0 特許条項 日本語参考訳（ https://ja.osdn.net/projects/opensource/wiki/licenses%2FApache_License_2.0 ） 正文（ http://www.apache.org/licenses/LICENSE-2.0.html ） 3. Grant of Patent License. Subject to the terms and conditions of this License, each Contributor hereby grants to You a perpetual, worldwide, non-exclusive, no-charge, royalty-free, irrevocable (except as stated in this section) patent license to make, have made, use, offer to sell, sell, import, and otherwise transfer the Work, where such license applies only to those patent claims licensable by such Contributor that are necessarily infringed by their Contribution(s) alone or by combination of their Contribution(s) with the Work to which such Contribution(s) was submitted. If You institute patent litigation against any entity (including a cross-claim or counterclaim in a lawsuit) alleging that the Work or a Contribution incorporated within the Work constitutes direct or contributory patent infringement, then any patent licenses granted to You under this License for that Work shall terminate as of the date such litigation is filed. 3. 特許ライセンスの付与 本ライセンスの条項に従って、 各コントリビューターはあなたに対し、成果物を作成したり、使用したり、販売したり、販売用に提供したり、 インポートしたり、その他の方法で移転したりする、無期限で世界規模で非独占的で使用料無料で取り消し不能な （この項で明記したものは除く）特許ライセンスを付与します。 ただし、このようなライセンスは、コントリビューターによってライセンス可能な特許申請のうち、当該コントリビューターの コントリビューションを単独または該当する成果物と組み合わせて用いることで必然的に侵害されるものにのみ適用されます。 あなたが誰かに対し、交差請求や反訴を含めて、成果物あるいは成果物に組み込まれたコントリビューションが 直接または間接的な特許侵害に当たるとして特許訴訟を起こした場合、本ライセンスに基づいて あなたに付与された特許ライセンスは、そうした訴訟が正式に起こされた時点で終了するものとします。 特許報復条項により特許係争を抑止する仕組みが組み込まれている 訴訟を起こされにくい、起こしにくい
9. DLフレームワークのライセンス Neural Network Libraries (nnabla) fastai tf.keras Microsoft Cognitive Toolkit (CNTK) Apache License 2.0 BSD License (3-Clause)*1 MIT License ライセンス確認日：2018/12/9 *1: Caffe2はコードによってライセンスが異なります TensorFlow MXNet Gluon PaddlePaddle Deeplearning4j PyTorch Caffe2 Keras Chainer
10. 物体検出、semantic segmentation関連ライブラリのライセンス Apache License 2.0 TensorFlow Models (Tensorflow Object Detection API, DeepLab, …) Detectron Caffe2 (Faster R-CNN 部分は MIT License (c)Microsoft) GluonCV MXNet mmdetection PyTorch tensorpack maskrcnn-benchmark PyTorch (Albumentations) Darknet - META-LICENSE Version 1 - YOLO LICENSE Version 1 - YOLO LICENSE Version 2 - WTFPL Version 2 - RNN LICENSE Version 3 - MIT License - GPL Version 3 (特許条項あり) dnn module samples BSD/MIT等 LearnOpenCV MIT License BSD License (3-Clause) マルチライセンス ライセンス確認日：2018/12/9 ChainerCV OpenCV
11. 最後に 特許面での要考慮事項 *1: ・TensorFlow使用者をMXNet使用者が訴える等、別フレームワークの使用者から容赦無く訴訟を起こされる可能性あり。 ・企業が使用許諾を与えているのは保有特許の一部に過ぎない。他社の許諾した範囲内でしか動けない企業は明らかに弱い。 ・全特許の調査は（人間には）無理であり、気付かぬまま侵害するリスクあり。 免責：本資料に基づく決定に関し、私は何の責任も負いません。 特に製品開発においては、法務、知財、OSSライセンス、関連特許・論文のすべての分野に精通している方々と協議の上、フレームワーク等をご選択下さい。 ・Apache License 2.0の フレームワーク・ライブラリを使用すると、 係争リスクを下げられる可能性あり ・ネットワーク構成、学習方法、主要市場によって、 フレームワークの選択が変わり得る ・早期から投資してきたGoogleの特許資産は強い ・現在総合的に一番無難なのはTensorFlow ・他社特許使用なんかあてにしちゃだめ*1 - 自己防衛：ちゃんと自社で研究・出願 - 投資 ：特許(or 出願企業)買収 研究者・計算環境 - 海外出願：戦場になりそうな米中等 ・特許出願は1日遅れで無価値になり得る ・研究者内でのコミュニティが大きいPyTorchが有利 製品開発 研究開発 今後も熱い冷戦に期待！
12. 補足：BN特許出願関連公報 US出願Non-Final Rejectionの主引例は 渡辺澄夫先生、福水健次先生発明の US5479576A （特開平05-346915） https://patents.google.com/patent/US5479576A/en 関連する記述 ・「第１の中間層６２は、平均推定ネットワークとして構成され、 第２の中間層６３は、標準偏差推定ネットワークとして構成」 ・「正規化部３８」 ・「学習データをクラスタに分類するクラスタリング手段と、 クラスタリング手段により決定された各クラスタの統計量に従って」
13. 補足：正規化層を不要にする方向性 ZeroInit https://openreview.net/forum?id=H1gsz30cKX