Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Trustworthy AI & Researcher (ML・Privacy)_2022 LINE Internship AI Course

LINE
April 26, 2022

Trustworthy AI & Researcher (ML・Privacy)_2022 LINE Internship AI Course

2022年4月26日に開催した「LINE 技術職インターンシップ AIコース説明会」における「Trustworthy AI」と「Researcher (ML・Privacy) 」領域の概要説明資料です。
https://line.connpass.com/event/244613/

■2022年インターンシップの募集情報
https://linecorp.com/ja/career/newgrads/internship/engineering/working

LINE

April 26, 2022
Tweet

More Decks by LINE

Other Decks in Technology

Transcript

  1. Trustworthy AI &
    Researcher (ML・Privacy)
    2022.4.26 LINE 技術職インターンシップ AIコース説明会
    Tsubasa TAKAHASHI
    Research Scientist / R&D Manager
    ML Privacy Team / Trustworthy AI Team

    View full-size slide

  2. この分科会を2つの部⾨を含みます
    AIコース
    • Trustworthy AI
    • 開発インターン
    • リサーチインターン
    機械学習・データコース
    • Research (ML・Privacy)
    • リサーチインターン(位置情報解析)
    • リサーチインターン(プライバシー保護機械学習)
    2

    View full-size slide

  3. Our Publications
    3
    Title Conference / WS Authors
    HDPView: Differentially Private Materialized View for Exploring High
    Dimensional Relational Data
    VLDB2022 Kato, Takahashi, Takagi, Cao, Liew, Yoshikawa
    Network Shuffling: Privacy Amplification via Random Walks SIGMOD2022 Liew, Takahashi, Takagi, Kato, Cao, Yoshikawa
    PEARL: Private Embeddings and Adversarial Reconstruction Learning ICLR2022 Liew, Takahashi, Ueno
    Construction of Differentially Private Summaries over Fully Homomorphic
    Encryption
    DEXA2021 Ushiyama, Takahashi, Kudo, Yamana
    P3GM: Private High-Dimensional Data Release via Privacy Preserving
    Phased Generative Model
    ICDE2021 Takagi, Takahashi, Cao, Yoshikawa
    Continuous and Gradual Style Changes of Graphic Designs with Generative
    Model
    IUI2021 Ueno, Sato
    Indirect Adversarial Attacks via Poisoning Neighbors for Graph
    Convolutional Networks
    BigData2019 Takahashi
    Disentangling Clustered Representations of Variational Autoencoders
    for Generating Diverse Samples
    LDRC@IJCAI20 Takahashi, Komatsu, Yamada
    Differentially Private Variational Autoencoders with Term-wise Gradient
    Aggregation
    TPDP@CCS20 Takahashi, Takagi, Ono, Komatsu
    Locally Private Distributed Reinforcement Learning FL-ICML@ICML20 Ono, Takahashi
    インターンの成果
    トップカンファレンス
    https://engineering.linecorp.com/ja/research/

    View full-size slide

  4. Trustworthy AI
    4
    AI Risk
    Assessment
    Counter
    measures
    Language
    Model
    Update
    xxxx
    5PYJDJUZ
    1SJWBDZ
    'BJSOFTT
    3PCVTUOFTT
    Adversarial Trigger

    View full-size slide

  5. Grand Challenges in Trustworthy AI
    5
    AIのリスクを定量的に説明し
    必要な対策を提案する「AI⾞検」
    AIが仮想社会で互いに倫理観を
    評価し合い⾼め合う「AI修練場」
    AI AI

    まずはAIをテストする技術(≒攻撃する技術)の確⽴が必要
    Challenge 1 Challenge 2

    View full-size slide

  6. 想定テーマ
    Dev. Intern Theme
    • ⾔語モデル向け有害表現・バイアス・意図しない記憶の検知/対策技術
    Research Intern Theme
    • 有害表現・バイアス・意図しない記憶の検知技術 / 対策技術
    • Adversarial Attacks / Adversarial Training / XAI / Transparency /
    Memorization / Machine Unlearning
    必須スキル
    • 国際会議論⽂を読んで実装するスキル
    歓迎するスキル
    • 国際会議への論⽂投稿経験
    • Kaggleなどデータ解析コンペへの参加経験
    6

    View full-size slide

  7. 機械学習(プライバシー)
    • Federated Learning
    • Differential Privacy
    7
    Non-participants of FL
    + +
    Differential
    Privacy
    Differential
    Privacy
    +
    +
    +
    +

    View full-size slide

  8. 過去のテーマ (2019~2021)
    8
    LINE Engineering Blogでインターンレポートを公開
    VLDB2022採択
    ICDE2021採択
    https://engineering.linecorp.com/ja/blog/internship2021-safety-assessment-federated-learning/ https://engineering.linecorp.com/ja/blog/internship2021-data-synthesis-and-differentially-
    private-learning/
    https://engineering.linecorp.com/ja/blog/privacy-protection-technology-of-generative-model/
    https://engineering.linecorp.com/ja/blog/differentially-private-data-exploration-for-
    multidimensional-data/

    View full-size slide

  9. テーマ概要
    研究テーマ
    • DPなFL (フレームワーク、A/Bテスト、パラメータ推定等)
    • DPの理論研究 (Privacy Amplification, Composition等)
    • DPな頻度推定などのアルゴリズムの研究
    必要なスキル
    • DPの基本知識
    • Tutorial@DEIM2022
    • https://speakerdeck.com/line_developers/the-forefront-of-data-utilization-through-differential-
    privacy
    • DP-SGDを理解した上で実装と実験ができる程度が望ましい (Opacusを使わずに)
    • 国際会議論⽂を読んで実装できるスキル (Python, PyTorch)
    歓迎するスキル
    • 国際会議への論⽂投稿経験
    9

    View full-size slide

  10. 機械学習(位置情報解析)
    10
    • GPSやWifiの情報から滞在店舗・場所を推定

    View full-size slide

  11. テーマ概要
    研究テーマ
    • GPSやWifi等からの滞在位置・店舗推定に関する研究
    体制
    • データサイエンティストとの共同研究テーマ
    • 開発メンター︓データサイエンティスト
    • 研究メンター︓リサーチサイエンティスト (ML Privacy Team)
    必要なスキル
    • 国際会議論⽂を読んで実装できるスキル
    • SQLが書ける (または⽇常的にプログラミングをしている)
    歓迎するスキル
    • 位置情報の解析経験がある
    11

    View full-size slide