Slide 1

Slide 1 text

© LY Corporation Dev Content Team 古木 亮太朗 AIを仮想読者にして ドキュメントのインサイトを見つけよう! Technical Writing Meetup vol. 44 2025.06.12

Slide 2

Slide 2 text

© LY Corporation 2 自己紹介 古木 亮太朗 LINEヤフー株式会社 テクニカルライター • 2019年LINE入社 • 2021年に社内公募でテクニカルライターに転身 • 2023年に会社合併によりLINEヤフー • 職歴 • ソフトウェアエンジニア • 広告代理店 • 副業でゲーム雑誌でライター業 • ウェブサービスの企画・ディレクター • テクニカルライター(現在)

Slide 3

Slide 3 text

© LY Corporation 本日の内容 3

Slide 4

Slide 4 text

© LY Corporation 4 本日の内容 • ライティングチームとしてAIをどう活用するか • 実際にやったこと(llms.txtを作って評価) • その結果得られたこと

Slide 5

Slide 5 text

© LY Corporation Dev Content Team 5

Slide 6

Slide 6 text

© LY Corporation 6 主な仕事 • 社外の開発者向けにドキュメントを提供 • 社内エンジニアが書いた文章のレビュー • 社内Wikiのコンサルティング • 社内用語集の運用 • ライティング教育

Slide 7

Slide 7 text

© LY Corporation 7 主な仕事

Slide 8

Slide 8 text

© LY Corporation • 社外の開発者向けドキュメントを提供 • 文章レビュー • 社内Wikiのコンサルティング • 社内用語集の運用 • ライティング教育 8 主な仕事 ★

Slide 9

Slide 9 text

© LY Corporation 9 LINEプラットフォーム

Slide 10

Slide 10 text

© LY Corporation 10 LINEログイン LINEのアカウントをソーシャルログインとして使える

Slide 11

Slide 11 text

© LY Corporation 11 Messaging API LINE公式アカウントの運用を自動化(ボット化)できる

Slide 12

Slide 12 text

© LY Corporation 12 LINEミニアプリ LINEアプリ上で利用できるミニアプリ

Slide 13

Slide 13 text

© LY Corporation LINEプラットフォーム使いたい! 13

Slide 14

Slide 14 text

© LY Corporation 14 https://developers.line.biz/ LINE Developersサイト

Slide 15

Slide 15 text

© LY Corporation 15 生産者の顔

Slide 16

Slide 16 text

© LY Corporation 16 チームのミッション 役に立つドキュメントで開発をもっと楽しく (Make development fun with helpful docs)

Slide 17

Slide 17 text

© LY Corporation 17 目標について詳しくは Technical Writing Meetup vol.37

Slide 18

Slide 18 text

© LY Corporation 開発をもっと楽しくしたい! 18

Slide 19

Slide 19 text

© LY Corporation AI活用 19

Slide 20

Slide 20 text

© LY Corporation 20 コーディングエージェント • Claude Code • Cline • Cursor • Devin • GitHub Copilot Agent • Google Jules • etc…

Slide 21

Slide 21 text

© LY Corporation AIを通じてドキュメントを「読む」 21

Slide 22

Slide 22 text

© LY Corporation チームとして何ができそう? 22

Slide 23

Slide 23 text

© LY Corporation 23 アイディア • 開発者向けのチャットボット • FAQの充実/拡充 • AIを活用したドキュメント作成 • AI(LLM)向けのドキュメント提供

Slide 24

Slide 24 text

© LY Corporation 24 アイディア • 開発者向けのチャットボット • FAQの充実/拡充 • AIを活用したドキュメント作成 • AI(LLM)向けのドキュメント提供

Slide 25

Slide 25 text

© LY Corporation 25 AI(LLM)向けのドキュメント提供 目的:LLMに最新の情報を正確に提供する

Slide 26

Slide 26 text

© LY Corporation 26 AI(LLM)向けのドキュメント提供 目的:LLMに最新の情報を正確に提供する • llms.txt、llms-full.txtの公開 • GitHubでドキュメントソースを公開 • MCPサーバーの公開

Slide 27

Slide 27 text

© LY Corporation 27 llms.txt llms-full.txt • ウェブサイトのドキュメントをLLMがアクセスしやすいよ うに設計されたMarkdown形式のファイル • コンテンツの取り込みを単純化 -> プロンプト品質の向上 • llms.txtは概要、llms-full.txtは完全なコンテンツ • 現時点で標準規格ではない

Slide 28

Slide 28 text

© LY Corporation 28 GitHub • 狭義のオープンソース化(公開) • ドキュメントソースを公開することで自由に利用できる • GitHubを参照するAIツールも多数 • DeepWiki, Context7 • 副次的な効果として:更新差分、修正提案

Slide 29

Slide 29 text

© LY Corporation 29 MCPサーバー • MCP(Model Context Protocol) • LLMと外部データやサービス間のプロトコル • 開発ドキュメント視点 • 直接ドキュメントを参照させやすくする • LLM向けの検索 • 現時点で標準規格ではない

Slide 30

Slide 30 text

© LY Corporation 全部やりたい! 30

Slide 31

Slide 31 text

© LY Corporation 全部やりたい! 31

Slide 32

Slide 32 text

© LY Corporation 32 AI(LLM)向けのドキュメント提供 目的:LLMに最新の情報を正確に提供する • llms.txt、llms-full.txtの公開 • GitHubでドキュメントソースを公開 • MCPサーバーの公開

Slide 33

Slide 33 text

© LY Corporation llms(-full).txtを作ってみた話 33 (外部公開はこれから)

Slide 34

Slide 34 text

© LY Corporation 34 https://developers.line.biz/ LINE Developersサイト

Slide 35

Slide 35 text

© LY Corporation 35 https://developers.line.biz/ LINE Developersサイト

Slide 36

Slide 36 text

© LY Corporation llms.txtの評価 36 NotebookLMに読ませてみた

Slide 37

Slide 37 text

© LY Corporation 37 NotebookLM NotebookLMは、Googleが提供するAI搭載の ノートブックツールで、ユーザーがアップ ロードしたドキュメントをAIが理解し、要約、 検索、質疑応答などをサポートします。主な 機能は、資料のアップロード、AIによる解 析・要約、質疑応答、ノートブックの作成と 共有などです。 引用元:Google検索のAI概要より 引用元: Google Japan Blog NotebookLM を日本語でも提供開始。ウェブサイトや Google スライドにもサポート https://blog.google/intl/ja-jp/company-news/technology/notebooklm-google/

Slide 38

Slide 38 text

© LY Corporation 問題発生 38

Slide 39

Slide 39 text

© LY Corporation 39 私が回答を作成する際は、ユーザーに提供されたソーステキストと、これまでの会話履歴のみを参 照しています。 そのため、ソーステキストに含まれるURLリンクの先のウェブページの内容を直接参照したり、読 み込んだりすることはできません。私の知識は、あくまで提供されたソーステキストの中に書かれ ている情報に限られます。 Q. ソースに記載されているリンク先の情報も参照できますか? llms.txtだけだと概要しか返してくれない

Slide 40

Slide 40 text

© LY Corporation llms-full.txtの評価 40 NotebookLMに読ませてみた 気を取り直して

Slide 41

Slide 41 text

© LY Corporation これでAIがいろいろ答えてくれる! 41

Slide 42

Slide 42 text

© LY Corporation 42 評価方法 FAQの質問文(自然言語)をもとに質問 回答が得られるか FAQのページは あえてllms-fullに含めなかった

Slide 43

Slide 43 text

© LY Corporation すごく詳細な情報が取得できた! ……あれ? 43

Slide 44

Slide 44 text

© LY Corporation 44 問題点 でも、なんか答えてくれないものもあるぞ?

Slide 45

Slide 45 text

© LY Corporation 45 大きく2つの課題がありそう FAQはあるけどドキュメントには記載がない ドキュメントの内容を理解できてなさそう

Slide 46

Slide 46 text

© LY Corporation 46 大きく2つの課題がありそう FAQはあるけどドキュメントには記載がない ドキュメントの内容を理解できてなさそう

Slide 47

Slide 47 text

© LY Corporation 47 大きく2つの課題がありそう FAQはあるけどドキュメントには記載がない ドキュメントの内容を理解できてなさそう

Slide 48

Slide 48 text

© LY Corporation 48 ドキュメントの内容を理解できてなさそう AIが理解できない:ドキュメントが曖昧なせいかも? AIが期待した答えを返してくれない:AI(モデル)のせい?

Slide 49

Slide 49 text

© LY Corporation 49 参考:Docs AIツールは、思っているより優れている 引用元:Alex Garnett - Docs AI Tooling is Better (and Better for Us) than You Think https://www.youtube.com/watch?v=6p6LttjaSNM • Alex Garnett氏 • Temporal Technologiesのシニアカリキュラム開発者 • AIのドキュメンテーション分野での活用について • 「既存のコンテンツを統合・活用して、ユーザーが求める情報 に迅速かつ正確にたどり着けるようにすること」に価値がある • AIを使ったライティングよりも価値がある • AIが回答できなかった不確実な回答や会話ログを分析して ドキュメントを改善 • kapa.aiの機能を活用している

Slide 50

Slide 50 text

© LY Corporation 50 参考:Docs AIツールは、思っているより優れている AIが回答に苦労する箇所は、 事前の知識が少ないユーザーにも コンテキストの問題となる

Slide 51

Slide 51 text

© LY Corporation たしかに! 51

Slide 52

Slide 52 text

© LY Corporation 52 深掘り 質問を詳しく見てみる

Slide 53

Slide 53 text

© LY Corporation 53 Q. メッセージやリッチメニューを 国際化や多言語化できますか? メッセージ リッチメニュー 現在、ユーザーの言語に応じて、メッセージやリッチ メニューの言語を切り替える機能はありません。 プロフィール情報を取得するエンドポイントを使って、 ユーザーの言語を取得した上で、ユーザーの言語に応 じたメッセージの送信やユーザー単位のリッチメ ニューの設定を行ってください。 引用元:LINE DevelopersサイトのFAQより

Slide 54

Slide 54 text

© LY Corporation 54 Q. メッセージやリッチメニューを 国際化や多言語化できますか? 提供されたソースには、メッセージやリッチメニュー自体に複数の言語設定を持たせて、ユー ザーの言語設定に応じて自動的に表示を切り替えるといった直接的な「国際化・多言語化」機能 に関する明確な記載はありません。 しかし、Messaging APIの以下の機能を利用することで、開発者側で多言語対応を実現することが 考えられます。 • メッセージの送り分け: • ユーザーごとに異なる言語のメッセージコンテンツ(テキスト、画像、Flex Messageな ど)を作成し、送り分けることが技術的に可能です • リッチメニューのユーザー単位設定: • Messaging APIを使用すると、ユーザーごとに異なるリッチメニューをリンクできます • 開発者側でユーザーの言語などを判断し、そのユーザーに対して言語の異なるリッチメ ニューを割り当てることで、ユーザーごとに表示されるリッチメニューを切り替えること が可能です

Slide 55

Slide 55 text

© LY Corporation 55 Q.応答メッセージはメッセージ通数に カウントされますか? ソースの情報に基づくと、応答メッセージはメッセージ通数にカウントされます。 ちょっと待って

Slide 56

Slide 56 text

© LY Corporation 何を聞いているかわかりましたか? 56

Slide 57

Slide 57 text

© LY Corporation 57 質問自体のコンテキストが高い(料金の話) https://developers.line.biz/ja/faq/

Slide 58

Slide 58 text

© LY Corporation 58 料金の話はそもそもちょっとむずかしい https://www.lycbiz.com/jp/service/line-official-account/plan/ 料金プランごとに送れる無料メッセージの通数が異なる これを消費するか という話

Slide 59

Slide 59 text

© LY Corporation 59 メッセージ通数という概念が2つある メッセージ通数: (無料メッセージ通数としてカウントされる送信方法で送った)メッセージ通数: 月毎に送信できる無料メッセージ通数として何通メッセージを送ったか どんな方法(API)で何通メッセージを送ったか Q. 応答メッセージはメッセージ通数にカウントされますか?

Slide 60

Slide 60 text

© LY Corporation 質問文を整理して聞いてみる 60

Slide 61

Slide 61 text

© LY Corporation 61 Q.応答メッセージは無料で送信できますか? 応答メッセージが無料で送信できるかどうかは、LINE公式アカウントの契約プランによって割り 当てられている月間の無料メッセージ通数の上限内かどうかによります。 難しいよね、ごめん

Slide 62

Slide 62 text

© LY Corporation メッセージ通数の記載に関しては 改善の余地がありそう! 62

Slide 63

Slide 63 text

© LY Corporation 63 まとめ ドキュメントに記載されていない内容に気づけた NotebookLMにllms-full.txtを入力して AIを仮想読者にすることで 曖昧なコンテキストに気づけた(メッセージ通数) ドキュメントに対するインサイト(改善事項)が得られた

Slide 64

Slide 64 text

© LY Corporation 64 まとめ ここが分かりにくい

Slide 65

Slide 65 text

© LY Corporation Thank you!