Trustworthy AI & Researcher (ML・Privacy) 2022.4.26 LINE 技術職インターンシップ AIコース説明会 Tsubasa TAKAHASHI Research Scientist / R&D Manager ML Privacy Team / Trustworthy AI Team

この分科会を２つの部⾨を含みます AIコース • Trustworthy AI • 開発インターン • リサーチインターン 機械学習・データコース • Research (ML・Privacy) • リサーチインターン（位置情報解析） • リサーチインターン（プライバシー保護機械学習） 2

Our Publications 3 Title Conference / WS Authors HDPView: Differentially Private Materialized View for Exploring High Dimensional Relational Data VLDB2022 Kato, Takahashi, Takagi, Cao, Liew, Yoshikawa Network Shuffling: Privacy Amplification via Random Walks SIGMOD2022 Liew, Takahashi, Takagi, Kato, Cao, Yoshikawa PEARL: Private Embeddings and Adversarial Reconstruction Learning ICLR2022 Liew, Takahashi, Ueno Construction of Differentially Private Summaries over Fully Homomorphic Encryption DEXA2021 Ushiyama, Takahashi, Kudo, Yamana P3GM: Private High-Dimensional Data Release via Privacy Preserving Phased Generative Model ICDE2021 Takagi, Takahashi, Cao, Yoshikawa Continuous and Gradual Style Changes of Graphic Designs with Generative Model IUI2021 Ueno, Sato Indirect Adversarial Attacks via Poisoning Neighbors for Graph Convolutional Networks BigData2019 Takahashi Disentangling Clustered Representations of Variational Autoencoders for Generating Diverse Samples LDRC@IJCAI20 Takahashi, Komatsu, Yamada Differentially Private Variational Autoencoders with Term-wise Gradient Aggregation TPDP@CCS20 Takahashi, Takagi, Ono, Komatsu Locally Private Distributed Reinforcement Learning FL-ICML@ICML20 Ono, Takahashi インターンの成果 トップカンファレンス https://engineering.linecorp.com/ja/research/

Trustworthy AI 4 AI Risk Assessment Counter measures Language Model Update xxxx 5PYJDJUZ 1SJWBDZ 'BJSOFTT 3PCVTUOFTT Adversarial Trigger

Grand Challenges in Trustworthy AI 5 AIのリスクを定量的に説明し 必要な対策を提案する「AI⾞検」 AIが仮想社会で互いに倫理観を 評価し合い⾼め合う「AI修練場」 AI AI … まずはAIをテストする技術（≒攻撃する技術）の確⽴が必要 Challenge 1 Challenge 2

想定テーマ Dev. Intern Theme • ⾔語モデル向け有害表現・バイアス・意図しない記憶の検知/対策技術 Research Intern Theme • 有害表現・バイアス・意図しない記憶の検知技術 / 対策技術 • Adversarial Attacks / Adversarial Training / XAI / Transparency / Memorization / Machine Unlearning 必須スキル • 国際会議論⽂を読んで実装するスキル 歓迎するスキル • 国際会議への論⽂投稿経験 • Kaggleなどデータ解析コンペへの参加経験 6

機械学習（プライバシー） • Federated Learning • Differential Privacy 7 Non-participants of FL + + Differential Privacy Differential Privacy + + + +

過去のテーマ (2019~2021) 8 LINE Engineering Blogでインターンレポートを公開 VLDB2022採択 ICDE2021採択 https://engineering.linecorp.com/ja/blog/internship2021-safety-assessment-federated-learning/ https://engineering.linecorp.com/ja/blog/internship2021-data-synthesis-and-differentially- private-learning/ https://engineering.linecorp.com/ja/blog/privacy-protection-technology-of-generative-model/ https://engineering.linecorp.com/ja/blog/differentially-private-data-exploration-for- multidimensional-data/

テーマ概要 研究テーマ • DPなFL (フレームワーク、A/Bテスト、パラメータ推定等) • DPの理論研究 (Privacy Amplification, Composition等) • DPな頻度推定などのアルゴリズムの研究 必要なスキル • DPの基本知識 • Tutorial@DEIM2022 • https://speakerdeck.com/line_developers/the-forefront-of-data-utilization-through-differential- privacy • DP-SGDを理解した上で実装と実験ができる程度が望ましい (Opacusを使わずに) • 国際会議論⽂を読んで実装できるスキル (Python, PyTorch) 歓迎するスキル • 国際会議への論⽂投稿経験 9

機械学習（位置情報解析） 10 • GPSやWifiの情報から滞在店舗・場所を推定

テーマ概要 研究テーマ • GPSやWifi等からの滞在位置・店舗推定に関する研究 体制 • データサイエンティストとの共同研究テーマ • 開発メンター︓データサイエンティスト • 研究メンター︓リサーチサイエンティスト (ML Privacy Team) 必要なスキル • 国際会議論⽂を読んで実装できるスキル • SQLが書ける (または⽇常的にプログラミングをしている) 歓迎するスキル • 位置情報の解析経験がある 11