KDD2023学会参加報告

Slide 1

Slide 1 text

Slide 2

Slide 2 text

⼭本⼤輝（@tereka114） • Acroquest Technology株式会社 • 画像処理・⾃然⾔語処理の研究開発 • のんびりしているエンジニアの⽇記 https://nonbiri-tereka.hatenablog.com/ • Kaggle Competitions Grandmaster ①1st and Feature – Player Contact Detection 9th ②Predict Student Performance from Game Play 10th ③Happywhale – Whale and Dolphin Identification 11th • CQ出版 Interface ML／AI関連記事を複数寄稿 Kaggle Grandmaster ⼭本⼤輝 Copyright © Acroquest Technology Co., Ltd. All rights reserved.

Slide 3

Slide 3 text

Acroquestの機械学習分野における豊富な実績 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3 Acroquest社内で発⾜したデータサイエンスチームYAMALEX プロジェクトの⾼度な問題解決に取り組んでいます。 AWS Machine Learning コンピテンシーのパートナーとして認定されています。様々な分野・規模での、AI/MLを活⽤した開発・導⼊実績があります <⼩売> <農業> <製造業> AI/ML分野での実⼒を、対外的にも認められています多種多様な課題をAIで解決するデータサイエンティストチーム

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

※会場内での⾷費を含む 6 1. 「KDD2023」ってなに︖ ロングビーチ＠アメリカカリフォルニア州で開催 • 会議名︓ 29th ACM SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING • 期間︓ 2023/8/6〜2023/8/10（5⽇間） • 参加費︓$1,090（=約16万円） • 場所︓ カリフォルニア州ロングビーチコンベンションセンタ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 世界的にトップクラスのデータ分析者が集まる、権威のあるデータ分析・データマイニングのトップカンファレンス︕

Slide 7

Slide 7 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 7 1. 「KDD2023」ってなに︖ なぜ参加することになったか 1 2 3 ロングビーチに訪れたことがないため、⾏ってみたかった。画像が専⾨ではあるが、たまには違う学会に参加して新しいアイデアや知⾒を獲得したくなった。 KDDCupと呼ばれる学会で毎年開催されているコンペティションでYAMALEXチームが⼊賞。ポスター発表を実施した。

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9 8/6 8/7 8/8 8/9 8/10 KDD Workshop 8:00 18:00 12:00 15:00 1. 「KDD2023」ってなに︖ 参加スケジュール会議は5⽇間、そのうち、本会議は3⽇間開催される。 KDD Workshop KDD 本会議 KDD 本会議 KDD Cup KDD 本会議 Opening Poster Poster Celebration

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 Spatiotemporal Data Security 2. 注⽬の集まった技術トピックとは︖ KDDカンファレンスキーワード LLM Federated Learning Graph Neural Network NLP Search & Information Retrieval Multi Scenario and Multitask Fairness Efficient ML Time Series Causal Inference Recommendation Anomaly Detection Ranking Weakly Supervised Learning

Slide 14

Slide 14 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 14 No. 項⽬説明詳細 1 ⼤規模⾔語モデル（LLM）⼤規模⾔語モデル、ChatGPTなどをはじめとした技術。チャットや⾃然⾔語問題を解くのに応⽤される。個別情報（例︓ユーザごとに違う回答を返す）を適⽤するものや⼈間とLLMによる組み合わせによる改善のエコシステムの開発などに⼒が⼊る。 2 Federated Learning 学習データセットが分散されているような環境で、学習を⾏う⼿法のこと。主に、セキュリティ⽬的とした個⼈情報を扱う分散処理で利⽤される。 SNSなど個⼈情報を外に出せない場合に利⽤される技術。例えば、クライアント端末が多いようなものに使える。 3 Graph Neural Network ノードとエッジで表現できるデータを解析するためのNeural Network。推薦、SNSのユーザなど関係を⽰すグラフを解析するもの。 2. 注⽬の集まった技術トピックとは︖ 注⽬度の⾼い3つの技術

Slide 15

Slide 15 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 KeyNoteも半分はLLM、専⾨のWorkshopもあるレベル、注⽬度が⾼い 2. 注⽬の集まった技術トピックとは︖ 注⽬度の⾼いLLMについて、話題が豊富︕ 学会全体での傾向注⽬度の⾼いポイント今後重要なこと n KDDは、NLPの学会ではない。LLMのKeyNoteが 2/3本あるのは⾮常に注⽬度が⾼いということ。 n ⼤きな転換期︕ Google/Microsoftともに⾮常に⼒をいれて取り組んでいる内容。 n これまでは様々なタスク（分類など）を別々に解いていたが、⼀括で学習させてそれぞれの問題を解く⽅向にシフトされる。 n 個⼈へのチューニングは注⽬度が⾼い。 →GPTsのようなもの ※今はできないため、今後進む予定。 n ⼈間-LLM間のエコシステム開発も進みそう。⼈間とLLMの協調動作が重要。 n 複数のデータ（画像／⾳声／テキスト）を利⽤するマルチモーダル化は確実に進む（Google Gemini/GPT-4Vは画像⼊⼒が可能）

Slide 16

Slide 16 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16 1. セキュリティを守るための機械学習の⼿法の⼀つ。 2. SNSなどのアプリの場合、個⼈情報を持っているため、データそのものをリモートのサーバにアップロードができない。この⼿法では各クライアント（スマフォやPCなど）でパラメータのみ学習してリモートで統合することでセキュリティを担保している。 3. Federated Learningはクライアントごとに分散して学習させ、良いモデルを作成することが可能。 2. 注⽬の集まった技術トピックとは︖ Federated Learningとは︖

Slide 17

Slide 17 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17 1. 全体として、良いモデルを構築しつつ、各個⼈の特性を踏まえたモデルを構築する。 2. テキストデータだけでなく、複数のデータ（⾳声／画像／映像／センサー情報など）パターンへの応⽤が可能で、機械学習モデル作成の研究が進む。 3. 全体を通してまだまだ精度、ユースケースの観点で研究の余地はあるので、今後の研究動向にも注⽬したい。 2. 注⽬の集まった技術トピックとは︖ Federated Learningはまだまだ研究の余地あり

Slide 18

Slide 18 text

18 ユーザとの関係性を⽰すGraph Neural Networkの例が多い。 1. グラフ構造は遺伝⼦、ユーザとのSNSでの関係性、サーバの構成（マイクロサービスなど）を⽰せる⼀般的なデータ構造を解析ものとして、Graph Neural Networkがある。 2. KDDの発表の中でもグラフの発表は⾮常に多い。 3. Best PaperはGraph Neural Networkに良い表現を与える学習に関するもの。 2. 注⽬の集まった技術トピックとは︖ Graph Neural Networkとは︖ Copyright © Acroquest Technology Co., Ltd. All rights reserved.

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 20 3. KDDCup2023とは︖ 毎年開催されるKDD主催のコンペティション KDD Workshop KDD 本会議 KDD Cup ⼊賞者発表 Poster KDD 2023 2023/8/6〜2023/8/10（5⽇間） KDD Cup 2023 2023/3/15〜2023/6/9（約3ヶ⽉）全世界451チームが集まり、⼊賞者のみが発表できる︕ ⽇本では、アクロクエスト以外は、 NTTドコモ、博報堂など。

Slide 21

Slide 21 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 21 今年はAmazonのセッションと商品データを利⽤した問題。 YAMALEX（当チーム）は、Task2でグローバルで9位に⼊賞 No. 項⽬説明当社順位 1 Task1 セッション、商品が多いの国向けの推薦問題、あるセッションが次に購⼊する商品を推薦する。 15 2 Task2 セッション、商品が少なめの国向けの推薦問題、あるセッションが次に購⼊する商品を推薦する。 9 3 Task3 あるセッションが次に購⼊する商品のタイトルを予測する。 - 3. KDDCup2023とは︖ チームでより優秀な推薦モデルを競う

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 24 多くのチームが無数の中から、候補を探す候補⽣成, 候補の中から詳細な並び替えをするリランキングの⼿法がベース。（YAMALEXでも採⽤）上位の⼿法のほうがより洗練されたものを利⽤されていた。 YAMALEXでは、グラフを使って商品の関係性を⽰すのにProNEと呼ばれるグラフのノードを数値表現する⼿法を利⽤したところに質問が多く来た。ポスター発表発表傾向 3. KDDCup2023とは︖ カンファレンス傾向

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 26 4. 参加して得られたこと KDDCup2023では参加者との交流も含め、学びが多かった。コンペに参加して、感想や所感を交換するのはやはり意義が⼤きいと感じた。⼤規模⾔語モデル（LLM）の注⽬度は⾼く、今後の研究開発への影響は⼤きい。来年からは本格的にLLMを使った研究発表が促進される可能性が⾼い。 Graph Neural Networkは引き続き⼈気あるトピック、表現学習や異常検知など幅広いデータに利⽤されており、まだまだ研究は続きそう。 1 2 3