2023 LINE Internship Theme List on Privacy

LINEの2023年インターンシップ 技術職 就業型コース 機械学習・AIコースのプライバシー領域に関する説明資料です。
https://linecorp.com/ja/career/newgrads/internship/engineering/working
プライバシー領域のインターンシップで取り組んでいただく想定のテーマを紹介しています。

Transcript

1. 機械学習・AIコース「プライバシー」領域 インターンシップ募集テーマ（予定） 2023.4 Machine Learning Privacy & Trust Team
2. ML Privacy & Trustチームの実績 • Differential Privacyを中⼼としたPrivacy Techの研究開発を担う R&Dチームを設⽴ • Federated Learningやマーケティング系事業にてPrivacy Tech導⼊ の技術開発や技術⽀援など、新規事業・基盤開発で貢献 • 難関国際会議での論⽂採択の継続、招待講演、各種表彰等、本分野 で顕著なプレゼンスを獲得 • AIの信頼性 や 強化学習・バンディット についても研究開発に着⼿ 2 ４年間の研究開発を通して萌芽的研究テーマを国際的競争⼒を持つ ⽔準まで育成し、事業導⼊や国内で顕著なプレゼンス獲得を達成
3. メンター社員（予定） 3 Seng Pei Liew Research Scientist 2020年中途⼊社 専⾨はプライバシーと機械学習 博⼠（理学） Akifumi Wachi Research Scientist 2022年中途⼊社 専⾨は強化学習 博⼠（⼯学） Koki Wataoka Research Engineer 2021年新卒⼊社 専⾨は機械学習 修⼠（⼯学） Tsubasa Takahashi Research Scientist 2018年中途⼊社 専⾨はプライバシーとデータ⼯学 博⼠（⼯学） Satoshi Hasegawa Research Engineer 2021年中途⼊社 専⾨はプライバシーと機械学習 修⼠（⼯学）
4. 2023インターンシップテーマ (予定) 4 ※ 以降であげるテーマのうち⼀部のみ実施予定 ※ 変更の可能性あり
5. 差分プライバシーを前提とする機械学習の研究/開発 5 ▪▪ 想定テーマ ▪▪ • 差分プライバシーを中⼼としたアルゴリズムや機 械学習⼿法の研究または開発を⾏います。 • 具体的な研究または開発のテーマとしては以下の ようなものが考えられますが、その他のテーマも 相談可能です。 • (1) プライバシー保護連合学習 • (2) プライバシー増幅機構 • (3) プライバシー保護データ合成 • このような課題に対して、主体的に研究テーマを 設定し、研究プロジェクトを推進できる学⽣を歓 迎します。 コミュニケーション⾔語 • ⽇本語または英語 必須要件 • コンピュータサイエンス全般の基本的な知識 • Pythonのコーディング能⼒ • PyTorchやTensorFlowなどの深層学習フレームワーク の使⽤経験 • 機械学習に関する基礎的な理解 望ましい要件 • 研究論⽂の執筆経験 • ⾃発的に研究課題に取り組めること 以下のうち少なくとも1つの知識・経験があるとより望ましい • 差分プライバシー • 深層⽣成モデル • 連合学習
6. Federated Banditに関する研究 ▪▪ 想定テーマ ▪▪ • Federated Bandit（連合バンディット）問題とは、 推薦システム等に⽤いられるバンディット問題を、 ユーザーの個⼈情報など機微なデータを扱うため の連合学習の枠組みに拡張したものです。 • 具体的な研究テーマとしては、主として連合学習 における新たな⽂脈付きバンディットアルゴリズ ムの提案・実験的評価を想定していますが、その 他テーマ（リグレット等の理論解析）も相談可能 です。 • 主体的に研究テーマを設定し、研究プロジェクト を遂⾏できる学⽣を歓迎します。 6 コミュニケーション⾔語 • ⽇本語または英語 必須要件 • コンピュータサイエンス全般の基本的な知識 • Pythonのコーディング能⼒ • PyTorchやTensorFlowなどの深層学習フレームワー クの使⽤経験 • 機械学習に関する基礎的な理解 望ましい要件 • 研究論⽂の執筆経験 • ⾃発的・意欲的に研究課題に取り組めること 以下のうち少なくとも1つの知識・経験があるとより望ましい • 連合学習 • 差分プライバシー • 強化学習 • 多腕バンディット問題
7. ⼤規模⾔語モデルのプライバシーに関する研究 7 ▪▪ 想定テーマ ▪▪ • ⾔語モデルには、特定の個⼈や組織に関する情報 を流出する可能性が残されており、プライバシー や信頼性の観点で課題が存在します。また、⼊⼒ したデータを記憶/記録されてしまう等、機密情報 を扱うためのハードルも存在します。 • 本テーマでは、⼤規模⾔語モデルの安全な活⽤を ⽬指した技術開発や基礎研究に取り組みます。 • そのような課題に対して、主体的に研究テーマを 設定し、研究プロジェクトを推進できる学⽣を歓 迎します。 コミュニケーション⾔語 • ⽇本語 必須要件 • コンピュータサイエンス全般の基本的な知識 • Pythonのコーディング能⼒ • PyTorchやTensorFlowなどの深層学習フレームワー クの使⽤経験 • 機械学習に関する基礎的な理解 望ましい要件 • 研究論⽂の執筆経験 • ⾃発的・意欲的に研究課題に取り組めること 以下のうち少なくとも1つの知識・経験があるとより望ましい • ⾔語モデル • プライバシー (差分プライバシー/匿名化/暗号) • AI倫理
8. 差分プライバシーによるクエリ処理機構の研究/開発 8 ▪▪ 想定テーマ ▪▪ • パーソナルデータの解析および統計の公開や提供 といったニーズが⾼まり、プライバシー保護を前 提とするデータ解析技術の必要性が増している。 • 本テーマでは、差分プライバシーを前提とするク エリ処理機構の実現を⽬指す。プライバシー予算 の管理機構、ノイズスケールの⾃動算出、クエリ 実⾏プランの最適化、クエリの書き換え、といっ た課題のいずれかについて研究開発に取り組む。 • このような課題に対して、主体的に研究テーマを 設定し、研究プロジェクトを推進できる学⽣を歓 迎します。 コミュニケーション⾔語 • ⽇本語または英語 必須要件 • コンピュータサイエンス全般の基本的な知識 • C++ / Pythonのコーディング能⼒ 望ましい要件 • 研究論⽂の執筆経験 • ⾃発的・意欲的に研究課題に取り組めること • 差分プライバシーの知識・経験 • データベース・データ⼯学の知識・経験
9. プライバシーテックによるクロス集計技術の開発 9 ▪▪ 想定テーマ ▪▪ • パーソナルデータの解析および統計の公開や提供 といったニーズが⾼まり、プライバシー保護を前 提とするデータ解析技術の必要性が増している。 • 本テーマでは、2つの異なるパーティ間の持つデー タをセキュアに連携しながらクロス集計やクロス サイロ機械学習を実現する技術の確⽴を⽬指す。 • このような課題に対して、主体的に研究テーマを 設定し、研究プロジェクトを推進できる学⽣を歓 迎します。 コミュニケーション⾔語 • ⽇本語または英語 必須要件 • コンピュータサイエンス全般の基本的な知識 • C++ / Go / Pythonのコーディング能⼒ 望ましい要件 • 研究論⽂の執筆経験 • ⾃発的・意欲的に研究課題に取り組めること • プライバシーテック (匿名化/暗号/秘密計算など)の 知識・経験 • 統計や機械学習の基本的な知識
10. 参考情報 10
11. インターンシップレポート • ⾔語モデルにおける公平性の評価技術の開発 • 2022年 ⼤⽻さん (NAIST) • https://engineering.linecorp.com/ja/blog/evaluating-fairness-in-language-models • Positive-Unlabeled Learningを⽤いた位置情報とチェックインログに基づく滞在店舗推定 • 2022年 ⽩井さん (⼤阪⼤学) • https://engineering.linecorp.com/ja/blog/estimation-of-stores-to-stay-based-on-location-and-check-in-logs-using- positive-unlabeled-learning • プライバシを保護したFederated Learningの安全性評価 • 2021年 松本さん (お茶の⽔⼥⼦⼤学) • https://engineering.linecorp.com/ja/blog/internship2021-safety-assessment-federated-learning • 有⽤性の⾼いモデルを獲得する差分プライベート学習⼿法 • 2021年 伊藤さん (⼤阪⼤学) • https://engineering.linecorp.com/ja/blog/internship2021-data-synthesis-and-differentially-private-learning • 多次元データに対する差分プライベートなデータ探索 • 2020年 加藤さん (京都⼤学) • https://engineering.linecorp.com/ja/blog/differentially-private-data-exploration-for-multidimensional-data • ⽣成モデルのプライバシ保護技術について • 2019年 ⾼⽊さん (京都⼤学) • https://engineering.linecorp.com/ja/blog/privacy-protection-technology-of-generative-model 11
12. プライバシーテックに関する公開資料 チュートリアル • 差分プライバシーによるクエリ処理の基本・実践・最前線 • https://speakerdeck.com/line_developers/chai-fen- puraibasiniyorukuerichu-li-noji-ben-shi-jian-zui-qian-xian • 差分プライバシーによるデータ活⽤最前線 • https://speakerdeck.com/line_developers/the-forefront-of-data- utilization-through-differential-privacy Web掲載記事 • LINEで進むプライバシーテックの実装──基礎研究を経て、事業の最 前線へ⾝を投じた2⼈が描く世界とは (EnterpriseZine) • https://enterprisezine.jp/article/detail/17251 12
13. 主な論⽂採択実績 13 Publications on Three Major Data Base Conferences https://linecorp.com/ja/pr/news/ja/2022/4269
14. 主な論⽂採択実績 14 Title Conference / WS Authors Out-of-Distribution Detection with Reconstruction Error and Typicality- based Penalty WACV2023 Osada, Takahashi, Ahsan, Nishide Fair and Robust Metric for Evaluating Touch-based Continuous Mobile Device Authentication IUI2023 Kudo, Takahashi, Yamana, Ushiyama HDPView: Differentially Private Materialized View for Exploring High Dimensional Relational Data VLDB2022 Kato, Takahashi, Takagi, Cao, Liew, Yoshikawa Network Shuffling: Privacy Amplification via Random Walks SIGMOD2022 Liew, Takahashi, Takagi, Kato, Cao, Yoshikawa PEARL: Private Embeddings and Adversarial Reconstruction Learning ICLR2022 Liew, Takahashi, Ueno Homomorphic Encryption-Friendly Privacy-Preserving Partitioning Algorithm for Differential Privacy BigData2022 Ushiyama, Takahashi, Kudo, Yamana P3GM: Private High-Dimensional Data Release via Privacy Preserving Phased Generative Model ICDE2021 Takagi, Takahashi, Cao, Yoshikawa Construction of Differentially Private Summaries over Fully Homomorphic Encryption DEXA2021 Ushiyama, Takahashi, Kudo, Yamana Continuous and Gradual Style Changes of Graphic Designs with Generative Model IUI2021 Ueno, Sato Indirect Adversarial Attacks via Poisoning Neighbors for Graph Convolutional Networks BigData2019 Takahashi インターンシップの成果 インターンシップの成果 Best Poster Honorable Mention受賞
15. 主な表彰 • 2020年度DBSJ上林奨励賞（Takahashi） • 2022年度DBSJ上林奨励賞（Liew） • CSS2022奨励賞（Wataoka） • IUI2023 Best Poster Honorable Mention インターン • DEIM2022優秀論⽂賞 • DEIM2023学⽣プレゼンテーション賞 • など 15