LLMによる技術ブログレビューを導入した話

Transcript

1. LLM による技術ブログレビューを 導入してみた時の話 Jagu’e’r Tech Writers 分科会 Meetup #3
2. 自己紹介 • 仕事内容 ◦ クラウドエース株式会社 ◦ Google Cloud を中心としたコンサル、インテグレーションに従事 ◦ 主にコンテナ領域を専門としながらアプリ、インフラ、マネジメント全般を 担当 • その他 ◦ リモートでの資格試験では自宅の浴室で受験 ◦ Google Cloud Champion Innovators (Modern Architecture, Serverless App Development) ◦ Google Cloud Partner Top Engineer 2024 ◦ Google Cloud Partner Tech Blog Challenge 2024 受賞 間瀬 真 (@Makocchan_Re)
3. 当社は Zenn にて技術ブログを発信してい ますが、レビュープロセスを経て外部公開 をしています。 レビュープロセスに LLM によるレビューを 組み込んだ時の話をします。 ＆ 本日話すこと
4. ブログ公開までのプ ロセス Zenn 連携用の GitHub リポジトリ ①ブログ執筆 ②Pull Request(PR)作成 ③マネージャーによる PR のレビュー ④PR マージ ⑤ブログ公開
5. レビュー観点例 ・文章の内容に（技術的な視点でみて）誤りがないか ・文章表現において分かりづらくないか、不適切ではないか ・Zenn の禁止事項に該当する内容ではないか ・自社の広報で定めるルールに反していないか - Google Cloud を GCP や Google Cloud Platform と書かないこと - 半角英数記号の前後には半角スペースを挿入すること - 「最強」みたいな誇張表現をしないこと - などなど
6. 私が文書のレビュー が苦手だった 当時（2023 初秋）、LLM のキャッチアップを個人的 にしたかった 動機・課題 GPT-3.5 です GPT-4 です PaLM です PaLM 2 です GPT-4-turbo です
7. レビュー精度を 評価した上で本格導入 を検討 試用期間 評価 本格導入 Bad... ブログ執筆者による フィードバックを収集
8. 50%以上の Good 評 価を目標として設定 50 %
9. Slack での レビュー運用を構築 Slack レビュア（bot） 記事執筆 特定チャンネルより レビュー依頼 レビュー結果の返信 Bad... レビュー結果に対する評価 slack-app slack-app 評価の蓄積 ※ Slack は、米国およびその他の国で登録された Slack Technologies, Inc. の商標およびサービス マークです。
10. 期待値コントロール のためのキャラ設定 @article-reviewer さん • 記事内容をチェックするプロフェッショナル • おじいちゃんなので的外れなことも多々指摘してし まいます。 • 真面目すぎて文章内容のチェックしかできず、会話 することはできません。
11. 本格導入判断ライン 評価期間において、 約 80% 以上ポジティブ な評価を獲得
12. 評価振り返り 精度には関係ないバグでネガ ティブ評価をもらってしまうこと も 精度の問題によるレビュー指 摘誤りも多々見られた レビュー指摘された箇所が分かりにくい。指摘箇所 の行数を教えてくれるが誤っている。 修正不要な指摘をしてしまう 自分の名前が誤りと指摘された などなど
13. 本格運用では、GitHub Actions によるレビュー を実施 記事執筆 GitHub Actions LLM によるレビュー レビュー結果を PR レビューコメントまた はコメントとして追加 レビュー結果/評価結果の蓄積 GitHub リポジトリ
14. 暫定運用からの改善点 その 1 レビュー指摘箇所の特定は LLM にはやらせない
15. 暫定運用からの改善点 その 2 LLM による W チェックを導入 レビュー結果 一次レビュー 二次レビュー (おじいちゃんとはライバル関係） 最終判断は人間に委ねるように注意を促す
16. 暫定運用からの改善点 その 3 コードのレビューは止める ブログでのコードはサンプルコードや一部簡略化された 記載が多く、指摘としては多いが修正に繋がらないので トークンの無駄と判断 コードレビューに使うくらいなら、 W チェックにトークンを 割いた方がいいと判断
17. まとめと感想 LLM に全てをやらせない。ルールベースにできるも のはその方が確実なのと、プロンプトも減るので他 の観点の精度向上が期待できる。 誤字脱字や不自然な文章表現、固有名詞の誤りな どの検出は得意そう。 私のレビューは不要にならなかった。 現状はあくまでも文章校正のセルフチェックツール としての位置付けに。
18. Thank you ※Google Cloud は Google LLC の商標です。