審査部門におけるシフトレフトの取り組み

by gree_tech

Embed

Start on current slide

Slide 1

Slide 1 text

審査部門におけるシフトレフトの取り組み株式会社WFS App Reviewチーム松本夏樹・三枝慧

Slide 2

Slide 2 text

プロダクト松本夏樹株式会社WFS App Review（審査）チームマネージャー ● ● 2009年にグリー株式会社（現：グリーホールディングス株式会社）に入社、プラットフォームの投稿監査やメディアの記事監査などの業務に従事 2021年よりグリーグループの各プロダクトにおける企画や表示内容を確認し、リスクを未然に防ぐ審査業務を担当。現在はマネージャーとしてチームのマネジメントを担う。 2

Slide 3

Slide 3 text

三枝慧株式会社WFS App Review（審査）チームリードクオリティリスクコンサルタント ● ● 2011年にグリー株式会社（現：グリーホールディングス株式会社）に入社以降、一貫して審査業務に従事 2018年からマネージャーを担当し、2026 年よりリードクオリティリスクコンサルタント（スペシャリスト領域）にキャリアチェンジ 3

Slide 4

Slide 4 text

アジェンダ ● 審査とは ● 審査部門におけるシフトレフトとは ● ○ 過去に取り組んだシフトレフト ○ 直近のシフトレフト事例 ■ 1. データ引用とAIチェックによる品質強化、効率化 ■ 2. 倫理情報の発信によるリスク未然防止まとめ 4

Slide 5

Slide 5 text

審査とは 5

Slide 6

Slide 6 text

審査とは ● ● ゲーム内の販売物や仕様にリスクがないかを審査する部門主な業務は企画/仕様を事前に確認する「企画審査」、不当表示リスクを確認する「表示検証」の二つ企画審査これからリリースをする予定のゲーム内の企画や新しい仕様にリスクがないかを審査表示検証リリース直前の開発環境でその施策に不当表示のリスクがないかを審査 6

Slide 7

Slide 7 text

審査とは ■企画審査 ● 新しい企画を実施する際に、各種法令、業界ガイドライン、社内ルールに則って確認を行いリスクがないかを審査する業務 ○ リスクとは法令に違反するもの、または社内外のルールへの抵触するものを指すガチャの仕様を変えたい豪華景品があたるキャンペーンを実施したい新しい商材をアプリ内で販売したい etc 各種法令 ● 提供する景品の価格に問題はないか等業界ガイドライン ● ガチャの提供割合の表示方法は適切か等社内ルール ● お客さまに不利益が発生する仕様がないか ● 倫理観点で表現に懸念がないか等 7

Slide 8

Slide 8 text

審査とは ■表示検証 ● ● 有償で提供されるガチャや販売物について、リリース前に実機で表示を確認し、不当表示リスクがないかを審査する業務 QAと似ているが、表示に特化して法令を根拠にチェックを行うという点が大きな違いとなる QA 「動作」と「表示」を確認「仕様書」を根拠に検証し、開発の意図した通りの挙動・表示であるかを確認表示検証「表示」に特化して確認「法令」を根拠に検証し、不当表示のリスクがないかを確認 8

Slide 9

Slide 9 text

審査の基本的な流れ企画段階で企画内容について審査を行い、実装後に表示を検証する2段階の審査フローで、リスクがないことが確認できればリリース承認となる流れリリース承認事業部事業部審査部門事業部審査部門事業部ゲーム・キャンペーン企画企画FIX 企画審査実装表示検証施策リリース 9

Slide 10

Slide 10 text

審査の役割と目指している姿 ● 品質を守りつつ事業部の価値を最大化するためのサポート役 ○ ● リスクを未然に防止しつつ、開発スピードを落とさずにリリースできるようサポートを行っている高品質な運営で事業を守り、事業貢献のための付加価値を創出することを目指している ○ 審査の働きのおかげで「無事にリリースできた」「やりたいことができるようになった」と言ってもらえるように様々な取り組みを試みている高品質運営による事業部のやりたいリスク未然防止ことの実現 10

Slide 11

Slide 11 text

今回のテーマリスクの未然防止を行いつつ、スムーズな施策リリースを実現できるように取り組んだシフトレフトを、これまで行ってきたことと直近の事例で紹介 ● 審査部門におけるシフトレフトとは ● 過去に取り組んだシフトレフト ● 直近のシフトレフト事例 1. データ引用とAIチェックによる品質強化、効率化 2. 倫理情報の発信によるリスク未然防止 11

Slide 12

Slide 12 text

審査部門におけるシフトレフトとは 12

Slide 13

Slide 13 text

過去に取り組んだシフトレフト 13

Slide 14

Slide 14 text

企画審査のタイミングについて実装開始前にリスクの検知ができるように事業部で企画が決まった段階で企画審査を実施していたリリース承認事業部事業部審査部門事業部審査部門事業部ゲーム・キャンペーン企画企画FIX 企画審査実装表示検証施策リリース企画にリスクを検知した場合、プランナーにFBを行い差し戻し 14

Slide 15

Slide 15 text

「出来てから」では手戻りが大変 ● 企画や設計が完成した後の「最後の砦」として審査するだけでは、実装前のフェーズであってもリスクが発覚した時の修正のための「手戻り」コストが膨大になり、リリースブロッカーになってしまう ● 企画の草案レベルで「ダメそうなのか行けそうなのか」を上流で確認する工程が必要 15

Slide 16

Slide 16 text

「出来てから」では手戻りが大変 ● 企画や設計が完成した後の「最後の砦」として審査するだけでは、実装前のフェーズであってもリスクが発覚した時の修正のための「手戻り」コストが膨大になり、リリースブロッカーになってしまう ● 企画の草案レベルで「ダメそうなのか行けそうなのか」を上流で確認する工程が必要企画がFixするよりも早いタイミング（開発工程の上流）で審査が入ることをシフトレフトと定義 16

Slide 17

Slide 17 text

より早い段階で確認する体制へ企画の草案段階で審査を実施、より早いタイミングで企画を調整し、審査と調整済みの内容で企画をFIXすることで手戻り工数の短縮を図るリリース承認 Before ゲーム・キャンペーン企画企画FIX After ゲーム・キャンペーン企画企画審査企画 FIX 企画審査実装表示検証施策リリース企画承認実装表示検証施策リリース ※手戻り自体極力発生しないように調整するので、あくまでイメージ 17

Slide 18

Slide 18 text

具体事例企画段階では提供ができないガチャ仕様が発覚したケースでは以下のような実装直前での対応が発生していた Before このタイミングで審査ガチャの企画を策定企画の詳細までFIX 実装に向けて進めている状態このままではリリースできない懸念を検知実装直前に仕様変更・調整など関係者を巻き込んで対応 18

Slide 19

Slide 19 text

具体事例より早いタイミングで審査を実施できるようシフトレフトに取り組み、企画に懸念が発生した際も一定余裕を持った対応が可能となった After ガチャの企画を策定企画初期段階から審査懸念があれば企画がFIX する前に指摘し調整審査と調整済みの内容で企画の詳細までFIX 直前にバタバタと調整が入ることなく実装へ進む 19

Slide 20

Slide 20 text

導入の結果 ● ● 企画を早期に提出いただくよう事業側にも協力を得る必要があったが、相談ポイントの明示や勉強会（後にeラーニング化）をすることで徐々に浸透結果として、手戻りが減り一部スムーズに開発進行できるようになった相談ポイント、納期の一覧化定期的なeラーニングの実施 20

Slide 21

Slide 21 text

導入の結果 ● ● 企画初期段階から仕様を確認する取り組みは定着し、一定効果を得られたしかし「早期に仕様をキャッチアップする」だけであると、アクションとして受け身な部分が大きい ○ 手戻りのないスムーズな審査のために他に取り組めることがないか検討 21

Slide 22

Slide 22 text

導入の結果 ● ● 企画初期段階から仕様を確認する取り組みは定着し、一定効果を得られたしかし「早期に仕様をキャッチアップする」だけであると、アクションとして受け身な部分が大きい ○ 手戻りのないスムーズな審査のために他に取り組めることがないか検討 ● より能動的なアクションとして、開発部門やマーケの制作/開発の運用に働きかけて、プロセス全体の品質向上・効率化を目指すことができるのでは？と考え、これも審査部門としての「シフトレフト」と定義制作/開発審査（表示検証）より踏み込んだ働きかけリリース 22

Slide 23

Slide 23 text

直近のシフトレフト事例 23

Slide 24

Slide 24 text

直近のシフトレフト事例 1. データ引用とAIチェックによる品質強化、効率化 2. 倫理情報の発信によるリスク未然防止 24

Slide 25

Slide 25 text

1. データ引用とAIチェックによる品質強化、効率化 SNS投稿の作成フロー見直しによる手戻りの抑止 ■SNS投稿のプロセスゲーム仕様の策定仕様をもとにSNS投稿を作成投稿内容 FIX 審査確認審査の指摘事項を修正修正確認承認審査承認済みの内容で投稿 25

Slide 26

Slide 26 text

1. データ引用とAIチェックによる品質強化、効率化具体的なリスク事例以下仕様のガチャがある ● 全部で3周回せるステップアップガチャ ● 最高レアリティのキャラクターが「3ステップ目のみ」で1体確定する SNSの投稿文で「最高レアキャラが確定！」という訴求内容で文章を作成した・1体確定するのは3ステップ目のみであることを記載しないと不当表示になる為、修正が必要 26

Slide 27

Slide 27 text

1. データ引用とAIチェックによる品質強化、効率化 SNS投稿の作成フロー見直しによる手戻りの抑止 ■SNS投稿のプロセスゲーム仕様の策定仕様をもとにSNS投稿を作成投稿内容 FIX 審査確認審査の指摘事項を修正修正確認承認審査承認済みの内容で投稿修正内容にもリスクが残っている場合は再度指摘を行うが投稿予定日も近いため指摘→修正のラリーが続くと猶予がない 27

Slide 28

Slide 28 text

1. データ引用とAIチェックによる品質強化、効率化 SNS投稿の作成フロー見直しによる手戻りの抑止 ■SNS投稿のプロセスゲーム仕様の策定仕様をもとにSNS投稿を作成投稿内容 FIX 審査確認審査の指摘事項を修正修正確認承認審査承認済みの内容で投稿投稿直前のここのラリーを減らしたい 28

Slide 29

Slide 29 text

1. データ引用とAIチェックによる品質強化、効率化 SNS投稿の作成フロー見直しによる手戻りの抑止 ■SNS投稿のプロセスゲーム仕様の策定仕様をもとにSNS投稿を作成投稿内容 FIX 審査確認審査の指摘事項を修正修正確認承認審査承認済みの内容で投稿このタイミングにおいて「間違いが起こりづらい仕組み」を作ることができると後工程での指摘→修正のラリーを減らせる 29

Slide 30

Slide 30 text

1. データ引用とAIチェックによる品質強化、効率化 SNS投稿において間違いが起こる要因を分析考えられる要因 ● SNS投稿のもとになっているゲーム仕様自体に誤りがある ● ゲーム仕様は適切だが、投稿文に落とし込む際に齟齬が発生している ● ゲーム仕様との齟齬はないが、表現に問題が生じている 30

Slide 31

Slide 31 text

1. データ引用とAIチェックによる品質強化、効率化 SNS投稿において間違いが起こる要因を分析考えられる要因 ● SNS投稿のもとになっているゲーム仕様自体に誤りがある ● ゲーム仕様は適切だが、投稿文に落とし込む際に齟齬が発生している仕様自体はSNSとは別で事前に審査を行ってい ● るため、SNS投稿のタイミングで誤りが検知されるケースは少ないと想定ゲーム仕様との齟齬はないが、表現に問題が生じている 31

Slide 32

Slide 32 text

1. データ引用とAIチェックによる品質強化、効率化 SNS投稿において間違いが起こる要因を分析考えられる要因 ● SNS投稿のもとになっているゲーム仕様自体に誤りがある ● ゲーム仕様は適切だが、投稿文に落とし込む際に齟齬が発生している ● ゲーム仕様との齟齬はないが、表現に問題が生じているこの2つのケースに着目し「誤りなく投稿文に落とし込む」「最終的な表現から懸念を排除する」ことができないかを検討 32

Slide 33

Slide 33 text

1. データ引用とAIチェックによる品質強化、効率化やったこと ①ゲーム仕様は適切だが、投稿文に落とし込む際に齟齬が発生している ● 投稿文作成の補助ツールを作成 33

Slide 34

Slide 34 text

1. データ引用とAIチェックによる品質強化、効率化やったこと ①ゲーム仕様は適切だが、投稿文に落とし込む際に齟齬が発生している ● 投稿文作成の補助ツールを作成仕様→投稿文に落とし込む際にコピペミスや入力ミスなどのヒューマンエラーが起こりづらいように、仕様書から基本仕様を引用し投稿文を作成することができるツールを用意 34

Slide 35

Slide 35 text

1. データ引用とAIチェックによる品質強化、効率化やったこと ②ゲーム仕様との齟齬はないが、表現に問題が生じている ● 作成した投稿内容をAIチェック 35

Slide 36

Slide 36 text

1. データ引用とAIチェックによる品質強化、効率化やったこと ②ゲーム仕様との齟齬はないが、表現に問題が生じている ● 作成した投稿内容をAIチェック作成した投稿内容はAIによって審査観点でチェックされ投稿作成者がセルフチェックして早いタイミングでリスクの検知と修正をできるようなツールにした 36

Slide 37

Slide 37 text

1. データ引用とAIチェックによる品質強化、効率化ツールを利用した制作の流れ投稿作成者がツール上で投稿予定の施策の基本情報や該当の仕様書を選択する 37

Slide 38

Slide 38 text

1. データ引用とAIチェックによる品質強化、効率化ツールを利用した制作の流れ選択した施策の情報が仕様書から関数で引用される 38

Slide 39

Slide 39 text

1. データ引用とAIチェックによる品質強化、効率化ツールを利用した制作の流れ引用された情報を確認し、それをもとにツール上で文章を作成するとAI関数にて審査観点でのチェックも同時に行い必要な注意事項などを指摘する 39

Slide 40

Slide 40 text

1. データ引用とAIチェックによる品質強化、効率化まとめ現在導入中のツールによって ● 細かい情報も仕様書から自動で引用され、投稿文に反映することが可能になることが期待できる ● どういった注意や免責が必要かをAIが即時に指摘を行うため作成時にすぐに検知が可能になる 40

Slide 41

Slide 41 text

1. データ引用とAIチェックによる品質強化、効率化まとめ現在導入中のツールによって ● 細かい情報も仕様書から自動で引用され、投稿文に反映することが可能になることが期待できる ● どういった注意や免責が必要かをAIが即時に指摘を行うため作成時にすぐに検知が可能になるヒューマンエラーによるミスを抑止しつつも、ゲームの基本情報を自動で反映できるようにすることで制作・審査双方の工数も同時に削減後工程でリスクを検知するだけではなく、そもそも間違いや指摘が起こらない運用にするためにどうすれば実現できるかを考え「シフトレフト」して提案 41

Slide 42

Slide 42 text

直近のシフトレフト事例 1. データ引用とAIチェックによる品質強化、効率化 2. 倫理情報の発信によるリスク未然防止 42

Slide 43

Slide 43 text

2. 倫理情報の発信によるリスク未然防止取り組み説明の前に ● 審査で防ごうとしているリスクには、法令等の他に、倫理や国際問題、歴史問題等に関するいわゆる「炎上」も含まれるこれまでの体制 ● 企画審査時にリスクをフィードバック ● 確定後に修正することは基本なかったものの、修正やモチーフ変更は発生ゲーム・キャンペーン企画企画審査企画 FIX 企画承認リスクをフィードバック 43

Slide 44

Slide 44 text

2. 倫理情報の発信によるリスク未然防止取り組み説明の前に ● 審査で防ごうとしているリスクには、法令等の他に、倫理や国際問題、歴史問題等に関するいわゆる「炎上」も含まれるこれまでの体制 ● 企画審査時にリスクをフィードバック ● 確定後に修正することは基本なかったものの、修正やモチーフ変更は発生企画開始時点でリスクが認識されていれば、そもそもフィードバック自体が不要。修正、モチーフ変更も不要ゲーム・キャンペーン企画企画審査企画 FIX 企画承認リスクをフィードバック 44

Slide 45

Slide 45 text

2. 倫理情報の発信によるリスク未然防止 ● 業界内外での炎上事例や、文化的/歴史的にセンシティブな出来事をslack で定期配信 #倫理アンテナ 45

Slide 46

Slide 46 text

2. 倫理情報の発信によるリスク未然防止課題 ● 人力での調査、発信には限界がある、、、、 ● 一度始めると簡単には辞められないまずやってみたこと ● Google Alertで炎上に関するキーワードを登録 ● 結果をRSSでslackに自動投稿 46

Slide 47

Slide 47 text

2. 倫理情報の発信によるリスク未然防止課題 ● 人力での調査、発信には限界がある、、、、 ● 一度始めると簡単には辞められないまずやってみたこと ● Google Alertで炎上に関するキーワードを登録 ● 結果をRSSでslackに自動投稿 ● ほしい情報を拾ってくれない ● いらない情報までたくさん拾ってくる 47

Slide 48

Slide 48 text

2. 倫理情報の発信によるリスク未然防止試行錯誤の結果、、、 ● AIを活用して調査、レポート化 1. AI：Gemini （調査・プロンプト実行） 2. AI：Gemini Notebook（整理・検証） 1調査Gemの作成: 予め設定した調査用のGemを作成 1結果のインポート: エクスポートした調査結果を取り込み 2DeepResearch: 思考モードを活用して深掘り調査 2サマリー作成: 要約レポートの作成を指示 3プロンプト投入: 試行錯誤し精度を高めた文章を使用 3ファクトチェックの徹底・引用リンク検証: 参照元が実際に存在するか確認 4セルフチェック指示: ハルシネーションの有無を自主検証・日付整合性: 時系列や日付データの正確性を確認 5Docsエクスポート: 調査結果をGoogle Docsへ送出 48

Slide 49

Slide 49 text

2. 倫理情報の発信によるリスク未然防止 ● ● ポジティブ ○ 通常業務の片手間で対応可能に（1配信あたり1h程度） ○ チャンネル作成数日で300名弱参加 ○ 開発メンバーから「とても有益なので運用化したい（ので元データがほしい）」という声掛けをいただく課題 ○ チャンネル参加者＝閲覧数ではない。定量的なKPIが取りづらい ○ 具体的にどのように役立ったのか、どうしても定性的になりがち 49

Slide 50

Slide 50 text

Slide 51

Slide 51 text

まとめ 51

Slide 52

Slide 52 text

振り返りと今後の展望振り返り ○ 「より早く情報をキャッチアップすること」だけだと、できることに限りがある ○ 時には業務範囲を超えた取り組みも必要 ■ それによって、「審査」の垣根を越え、開発サイクル全体の改善に繋げることができる ■ 注意点 ● 業務範囲を超える ≒ 責任範囲を超えることにもなるので、慎重にコミュニケーションして決める必要がある今後の展望 ○ 今回紹介したシフトレフト事例は、取り組みとして定着したわけではなくまだまだ模索していくフェーズ ○ 成功事例を蓄積し、シフトレフトを当たり前に取り組める組織にしていきたい 52