第19回ウェブ・ソーシャルメディア論文読み会（View of Making Online Communities ‘Better’: A Taxonomy of Community Values on Reddit）

Transcript

1. View of Making Online Communities ‘Better’: A Taxonomy of Community Values on Reddit （ICWSM 2024） 伊藤和浩（奈良先端大） 1 2024/07/25 ウェブ・ソーシャルメディア論文読み会
2. ⚫ 名前：伊藤和浩（いとう・かずひろ） ⚫ 出身：東京都武蔵野市 ⚫ 所属：NAIST ソーシャル・コンピューティング研究室（荒牧研） ⚫ 経歴： - 学部：早稲田大学文化構想学部（2011-2015） - 求人広告の広告代理店（2015-2021） - 修士：奈良先端科学技術大学院大学（2021-2023） - 博士：奈良先端科学技術大学院大学（2023-） ⚫ 興味分野：計算社会科学，語用論，社会心理，思想哲学 自己紹介 2
3. 書誌情報 3 ⚫ タイトル：Making Online Communities ‘Better’: A Taxonomy of Community Values on Reddit ⚫ 会議：ICWSM 2024 ⚫ 著者：Galen Weld, Amy X. Zhang, Tim Althoff - 3人ともワシントン大のPaul G. Allen School of Computer Science & Engineering - 同チームで2022年のICWSMにも関連研究が採択（後述） - Galen Weld：オンラインコミュニティの性質，交通状況（歩道）の検知 - Amy X. Zhang：情報の信頼性や，情報技術を利用したコミュニケーションの改善 - Tim Althoff：情報技術を利用した健康（身体的・精神的）の測定・改善
4. Galen WeldのHP 4 https://galenweld.com/favorites
5. 概要 5 ⚫ 「良いコミュニティ」とは何か？について人々の価値観を調査し，定量化 のための包括的な分類法を構築 ⚫ データはRedditを使用，212ユーザを対象にアンケート調査 ⚫ 手動でのアンケート分類の結果，コミュニティに対する価値観は9大分類・ 29小分類に分けられた ⚫ 価値観の違いについて，収集したデータに基づく考察が得られた - 新メンバーの包摂 vs コンテンツの質・規範 - コミュニティ規模 vs エンゲージメント - モデレータ（円滑な統治を求める） vs 非モデレータ（透明性を求める）
6. 「良いコミュニティ」…？ 6 ⚫ 誤情報, ハラスメント, ネットいじめ，coordinated activity to undermine electionsなど有害な行動を理解することで，オンラインコ ミュニティを「良く」しようという動機の研究は多く行われている →しかし…
7. 「良いコミュニティ」…？ 7 ⚫ 誤情報, ハラスメント, ネットいじめ，coordinated activity to undermine electionsなど有害な行動を理解することで，オンラインコ ミュニティを「良く」しようという動機の研究は多く行われている →しかし… ⚫ 本当に「良い」コミュニティを作るためには，単に人を傷つけるような事 象を検出するだけではなく，コミュニティの多様な価値観の理解が必要
8. コミュニティの価値観調査 8 ⚫ コミュニティの多様な価値観の理解のため，redditユーザを対象にアン ケート調査を実施 ⚫ 収集した価値観についての自由記述テキストを，2階層でクラスタリン グ・ラベル付け ⚫ 各カテゴリのテキストについて，過去のコミュニティに関する議論を参照 しながら定性的に分析 ⚫ 価値観分類のためのコードブックを公開
9. データ 9 ⚫ 参加者：以下の方法で募集したredditユーザ212名 - redditに表示される広告 - アメリカの2大学のメーリングリストとSlack - r/SampleSize（アンケート調査紹介用のサブレ ディット） ⚫ 収集内容：参加者がメンバーだと考えているサブレ ディットについての良い点・改善すべき点（自由記 述での回答）
10. アンケート 10 ⚫ Informed consent ⚫ Demographic questions：ユーザ名，年齢，性別，人種 ⚫ General questions about the respondent’s usage of reddit（選択肢）：利用頻度， 時間，投稿行動，閲覧方法，デバイス ⚫ Subreddit specific questions（自由記述）： - 参加サブレディットの最良の側面 - 改善した方が良い点 ⚫ Reflection questions （自由記述）： - オンラインコミュニティにとって重要だと思うこと - サブレディットへの参加をやめた経験がある場合，その要因
11. 分類手順 11 ⚫ 自由記述の回答をすべてidea unit [Strauss1987]に分割（e.g. 「内容が 教育的で，コミュニティの人々の関わり方が好き」→「内容が教育的」＆ 「コミュニティの人々の関わり方が好き」） ⚫ 最初の39人の回答から収集した301（/1,481）のidea unitを分類 ⚫ 5人の研究者チームがinductive coding method [MacQueen+1998]によ り分類 - 最初の暫定的なクラスターに仮の名前と定義を与える - その後，議論しながらカテゴリの作成・削除を行い，収束するまで繰り返す
12. 分類結果 12 Top-level category Subcategory Freq 1 Quality of Content Personal Preferences / Education, Entertainment / Curation, Recency, Discovery / Spam, Reposts, Bots 677 2 Community Engagement Quality of Interaction or Community as a Whole / Connection, Universalization 275 3 Size Volume of Content / Size of Community 144 4 Participation & Inclusion Offensive, Abusive, Harassing Content or Behaviors / Outsiders, Demographics, Limits / Tools for Participation 93 5 Diversity Variety of Content / Diversity of People 76 6 Mods Moderation & Moderators 69 7 Norms Adherence to Norms / Voting Behavior 59 8 Technical Features Flair, Tags, NSFW labels / Search, Filters / Recommendation Systems 53 9 Trust Knowledgeable People / Trustworthy Content 40
13. 分類法の妥当性 13 ⚫ 3人の研究者がテスト用に保持された1,180件からサンプリングされた 100件のidea unitsにラベル付けすることで分類の妥当性を検討 ⚫ 評価者間の一致度（Fleiss kappa）は - Top-level categories：0.902 - Subcategories：0.874 ⚫ 上記の値は一般的に「ほぼ完璧な一致」とされる [Gwet2014]
14. Top-levelカテゴリ1 - Quality of Content 14 ⚫ 最も多いカテゴリ（46.5%） ⚫ 他者との関わりではなく，コンテンツ共有そのものにフォーカスしたサブ レディット（ミーム共有コミュニティなど）で特に多い ⚫ サブカテゴリはPersonal Preferenceが最も多い ⚫ Education, Entertainmentに関するコンテンツは普遍的に好まれる ⚫ Spam/Reposts/Botsに関するコンテンツは普遍的に嫌われる
15. Top-levelカテゴリ2 - Community Engagemant 15 ⚫ 2番目に多いカテゴリ（18.9%） ⚫ Quality of Interaction or of the Community as a Wholeと Connection, Universalizationの２つのサブカテゴリに分けた ⚫ Connection, Universalization は特に，物理的に離れている人同士やマイ ノリティグループのコミュニティでよく言及される（e.g., r/blackladies, r/Glaucoma（緑内障））
16. Top-levelカテゴリ3 - Size 16 ⚫ 3番目に多いカテゴリ（7.8%） ⚫ コンテンツの量Volume of Contentとメンバー数Size of communityの両 方を含む ⚫ コンテンツの量に関して，多い状態を好む記述も，現状より少ない状態を 好む記述も見られた ⚫ 一方でコミュニティ規模に関しても，より大規模（21人）・より小規模 （15人）を望むユーザが均等に分かれていた
17. Top-levelカテゴリ4 - Participation & Inclusion 17 ⚫ Offensive/Abusive/Harassingの下位カテゴリは，そうした投稿がないことを肯定的に 捉えるコメント（20件）と，そうした投稿があることに対する否定的なコメント（38 件）に分かれた ⚫ Outsiders/Demographics/Limitsの例として， r/Seattleのメンバーは”too many people from outside Seattle comment on posts in this subreddit”と記述していた． メンバーシップのためにある程度の境界を定めることは自然なものの，偏狭さが大きす ぎると有害になる危険性がある [Allison and Bussey2020] ⚫ Tools for Participationでは，beginners‘ questions’ sectionの追加の必要性について 言及があった
18. Top-levelカテゴリ5 - Diversity 18 ⚫ Variety of ContentとDiversity of Peopleに分けた ⚫ Diversity of Peopleに関するコメントをしたユーザほど，コミュニティの 変化してほしい点についてコメントする頻度が高かった（e.g., “I wish [/r/knitting] had more variety in skill. Right now it’s mostly skilled knitters, whereas it would be appreciated to see some beginner knitters.”）
19. Top-levelカテゴリ6 - Moderation 19 ⚫ モデレーターの多くはコミュニティのメンバーから強く嫌われていると感 じている [Matias2019]が，実際はモデレーションに関するidea unitsの 半数近く（31/69）が肯定的 ⚫ モデレーションに関する38の否定的なコメントのうち，多くは恣意的な ルール執行についてのもの（ e.g., “moderators arbitrarily remove posts because they’re `against the subreddit’s rules’.”）
20. Top-levelカテゴリ7 -Norms 20 ⚫ ほぼ全ての回答（54/59）はコミュニティの否定的な側面に関するもので， Normが侵害されたことに触れている ⚫ 多く（46/59）はAdherence to Normsに分類される - 新メンバーが投稿前にFAQを読まない - 投稿者が十分な情報や期待される返答をしない - 十分なソースを含めない ⚫ 多くの回答者がNormの追加や変更を要望（19/59）（e.g., “I would like to reduce the amount of people speaking English [on /r/ich_iel, a German-speaking subreddit].”）
21. Top-levelカテゴリ8 - Technical Features 21 ⚫ Flairs/Tags/NSFW Labels, Search and Filters, Recommendation Systemsの3つのサブカテゴリに分かれる ⚫ 多くのidea units（36/53）は検索，フィルタ，推薦システムの特徴が適 切に機能しないなどの否定的な側面 ⚫ 肯定的なコメントの多くは，サブレディットがflairやタグを使いこなして いることへの賞賛
22. Top-levelカテゴリ9 - Trust 22 ⚫ Knowledgeable PeopleとTrustworthy Contentの2つの下位カテゴリー（人 vs コンテン ツ） ⚫ 人について触れているユーザは，コミュニティメンバーの資格を高く評価（”There are many doctors [on /r/eyetriage] so it’s a lot more reliable”） ⚫ コンテンツについて触れているユーザは，匿名性がr/MachineLearning communityの信 頼性を妨げることを嘆いた（”Anonymity sometimes makes it so I don’t know who is qualified to say what”）
23. 考察1 – 分類法の意義 23 ⚫ Quality of ContentがTrustより頻繁に言及されるからといって，それが コミュニティにとっての重要性を決めるわけではない ⚫ 多くの既存研究は社会的影響が大きいもの（誤情報や政治的バイアス）や， 脆弱な人々への悪影響に焦点をあてている．これらはオンラインコミュニ ティの大きな害を減らすのに重要だが，本論文の発見はコミュニティメン バーの価値観が複雑であり，しばしば互いに対立することを示す
24. 考察2 – これまで焦点が当たらなかった価値観 24 ⚫ Quality of Content - 最も多く言及される価値観だが，内容は文脈により変わるので定義・測定が難しい - 既存の研究ではテキストに対する品質理解が試みられている一方，画像や動画のコン テンツ固有の文脈での品質理解は特に不足している ⚫ コミュニティサイズ - コンテンツの量についてはほとんどの回答者（47/76）が多いことを好む一方，メン バー規模については少なくない回答者（15/36）が小規模のコミュニティを好む - メンバーの規模のバランス（大規模 vs 小規模のトレードオフ）は今後の研究にとっ て重要
25. 考察3 - 価値観の対立（inclusion vs Quality/Norm） 25 ⚫ 新メンバーは規範の理解が浅いため，フラストレーションがたまるという コメントがあった． ⚫ 文書のオンボーディングやメンターシップの実験，またウィキペディアコ ミュニティの文脈でより深く研究されており，社会コミュニティに一般化 されるための研究の可能性がある[Robert E Kraut+2012, Ch.5] ⚫ しかし両者はある程度，本質的に相反するので難しい…
26. 考察4 - 価値観の対立（Size vs Engagement） 26 ⚫ コミュニティの環境は長い目で見れば，規模の拡大によっては棄損されな いという研究がされてきた [Lin+2017, Kiene+2016] ⚫ が，，規模拡大は不満の種にも．(e.g., “[/r/formula1 is] such a large community that is hard to engage with other members.” ) ⚫ 一方で，多くの参加者はコミュニティが活発になること，つまりより多く のコンテンツを望む ⚫ メンバーの交流を損なうことなく，どのように規模を拡大するか？が重要
27. 考察5 -コミュニティ統治とコンセンサスの欠如 27 ⚫ 同コミュニティメンバーでも同じ価値カテゴリについて好みが異なる例 ⚫ r/AskRedditのメンバー8人の中で，3つのidea unitsは「anything goes」を好むことを 示し，残り4つは特定のテーマ（特に性と薬物）について制限の強化を望んだ ⚫ 有害行動の深刻さに関して，地域住民の意見が一致しないことが多いという先行研究と 一致 [Scheuerman+2021, Jiang+2021] ⚫ このような不一致を調整する手法は未解決．Wikipediaの研究では上級メンバーと若手メ ンバーの間の緊張関係などが原因であることが調査されてきたが，汎用性があるかはわ からない→今後はこれについての探求が有用 ⚫ 少数のサンプルであっても価値観の違いを調べることができることを示唆
28. 考察6 – 参加型統治のためのアフォーダンス 28 ⚫ 多くのコミュニティメンバーが，透明性の欠如と恣意的な決定を嫌い，モ デレーターがメンバーの意見を聞くことを望む ⚫ モデレーターとメンバーとの対立は先行研究がある [Matias2019a]が， 両者の意見の違いについて体系的には研究・定量化されていない ⚫ オンラインコミュニティにおける参加型統治は対立緩和には役立つかもし れないが，手間を増やしたり，一方的な意思決定に表面的な正当性 （veneer）を与えたりという弊害もある [Kelty2017]
29. 考察7 – 価値観の不一致をどうマネージする？ 29 ⚫ redditでは，コミュニティに対する不満に応じて，一部のメンバーが分裂して新たなサ ブレディットを作ることは珍しくないが，このexit現象は深く研究されていない [Frey and Schneider2021] ⚫ コンテンツに対する好みの違いなど価値観が異なる場合，パーソナライズされたフィル タリングが適用されることも [Jhaver+2018] ⚫ しかし，フィルタリング戦略は社会的透明性を損なう．社会的透明性は，オンライン行 動を可視化することで，責任を共有する社会的空間が作られるという理論 ⚫ 社会的透明性とフィルタリングパーソナライゼーションの恩恵との間のトレードオフを バランスするための介入を検討した研究もある [Gilbert2012]
30. 考察8 – 権力構造と脆弱なメンバーの保護 30 ⚫ 価値観カテゴリのいくつかは，脆弱なメンバーにとって特に重要．r/AskWomenOver30 のあるメンバーは「誰もが白人アメリカ人であると思い込んでいる」と述べている ⚫ 多数派の意見が投票で通ることでマイノリティに有害になることは，オフライン統治の 文脈では"Tyranny of the Majority"として知られている ⚫ オンラインコミュニティに関する多くの研究は，ルールや強制的な行動をメンバーの振 る舞いのマーカーとして使っているという点において，モデレーターや権力を持つ人か らの観点で行われてきた．研究者は，これらについてのルール制定や強制について多く のコミュニティメンバーが参加している感覚を持っていないことに注意を払う必要 ⚫ 権力を持たないメンバーの声も含むようなコミュニティの振る舞い・価値観を探ること ができる大規模化可能な手法を提案する研究が望まれる
31. ⚫ 評価者間のFleiss kappaは上位9カテゴリで0.902，下位29カテゴリ で0.874とほぼ完璧な一致 ⚫ 自由記述に対して定性的分析・課題抽出 良いオンラインコミュニティとは何か？についての人々の 価値観を大規模に調査し，価値観の包括的な分類法を構築 ⚫ Redditユーザ253名にアンケート調査 ⚫ 帰納的コーディング法により2階層の分類法を構築 やったこと 手法 結果 31 まとめ
32. ⚫ 分類法提案の論文から1桁多い，2,769ユーザに対するアンケート ⚫ 各ユーザに，参加サブレディットの「現状」「希望」「重要性」について，9つのTop- levelカテゴリの度合いを3段階評価で回答してもらう ⚫ RQは4つ 1. 各コミュニティの価値観と，コミュニティ間での違い 2. コミュニティ内の違い 3. モデレータと非モデレータの違い 4. 自動で取得可能な特徴量から価値観の予測は可能？ ⚫ 予測モデルのために，各ユーザのredditの投稿やメタ情報も取得 32 後続の論文1（概要） What Makes Online Communities ‘Better’? Measuring Values, Consensus, and Conflict across Thousands of Subreddits. (ICWSM2022) G. Weld et al.
33. 33 後続の論文1（結果） ⚫ オンラインでのコミュニティ間・コミュニティ内のユーザ同士の価値観の違いを初めて大規模に調 査し，定量化 ⚫ 自動で取得可能なデータのみを特徴量として，コミュニティが特定の価値観を重要視するかどうか の二値分類タスクに対し，ロジスティック回帰モデルでROC AUC 0.667の性能
34. 34 後続の論文2 Quantifying Governance of Online Communities at Web Scale. (WWW2024) G. Weld. ⚫ 今回紹介の2報を含め，これまでの自分たちの研究をパッケージのような形で報告 ⚫ 今後はLLMを使ったモデレータ支援の有効性をRCTにより評価する実験を予定 今回の論文 後続の論文1
35. 感想 35 ⚫ 機械学習モデルや数理モデルを作る研究ではなく，またそうした研究に活 用するためのデータを構築するのではなく，価値観の分類法の構築という 抽象度が情報系分野の論文では珍しく思った ⚫ 機械学習などの情報系技術をこれまで定性的な（または小規模データを用 いた）手法が主だった領域に持ち込む論文はよく見る（自分も発想しやす い）が，逆に情報技術がよく活用されている研究テーマに関して定性的な 議論の蓄積を基に見直す（特に研究動機や考察）この論文のような観点も 持ちたい ⚫ reddit用語，まとまっていたページ：https://www.reddit.com/r/Reddit_Beginners/wiki/faq/
36. Appendix 36
37. 37 各分類のIdea unit例
38. 38 各分類のIdea unit例
39. 39 アンケートの自由記述1
40. 40 アンケートの自由記述2