社内チャットへRAG導入した話（Tech Talk #2）

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. コンテキスト情報の提供： LLMの知識を最新かつ専門的な情報で強化。チャットに物事を理解するための手がかり（コンテキスト）として追加情報が渡せる。動的な知識ベース： ● データの更新や追加が容易にできる検索エンジンとの相乗効果： ● 全文検索と生成的回答を組み合わせることも可能タイトル RAGの特徴と利点

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. ファイルアップロードとベクター化 ● 社内チャット（先ほど紹介があったもの）からファイルをアップロード ● LangChainでファイルからテキストを出力し、メタデータを維持しつつベクター化ベクター DBへの登録 ● ベクター化したデータをベクター DBに登録検索とコンテキスト提供 ● ユーザーのメッセージ内容からベクター DBを近似検索 ● 関連するコンテキストを抽出し、 ChatGPTに提供タイトル今回導入した RAGの処理について

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 問題点 ● Excelやスライドのセル位置やページ数などのメタデータが保持されない（したい）解決策 ● LangChainの設定を調整し、メタデータを維持するように改良メタデータを維持するとそのままベクターデータをチャンクで分割できない。そのため、コンテキスト情報が肥大しがちになっている。（分割すると AIがメタデータを認識不可） → LangChainを使わずに分割するとか検討。今は致命的では無いので保留。タイトル課題 1: メタデータの維持

Slide 15

Slide 15 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 問題点 ● テキスト量が多い PDFでOpenAIのトークン制限によりエラー発生解決策 ● テキストをトークン制限に基づき分割して、各チャンクを個別にベクター化 ● サーバ上でベクター化、 OpenAIを使わない。処理時間が長い原因の一因になっている。これも致命的ではないので保留。タイトル課題 2: ベクター化エラー

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 現在の成果 ● RAG技術の導入に成功して、社内チャットの機能を拡張できた課題 ● 精度よりは機能的な面で要望がある ○ 個人情報やアダルト関連の情報が入れられないこと ○ トークン数の上限やファイル容量の上限に引っかかること ● ファイルの選択後の読み込みに時間がかかること（大きいファイルは数分かかる）タイトル結果と今後の課題

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. RAG技術の導入により、社内版 ChatGPTにチャットに物事を理解するための手がかり（コンテキスト）として Googleドライブのファイルを渡すことで、社内情報を LLMが参照できるため回答の精度と機能が向上しました。今後は要望が多い課題への取り組みや応用を実施したいな、と考えています。（特にローカル LLMとか）タイトルまとめ

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 実際の社内版チャットで選択できるファイルは以下の形式です。 ● Google ドキュメント、スプレッドシート、スライド ● PDF 内部コード的には、これらのファイルを GoogleDriveでExcelやWord、 PowerPointに変換して利用しているため、各所に ExcelやWord、 PowerPoint向けの処理があります。タイトル注意事項

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. ファイルアップロード（テキスト化） def get_loader(filename: str, file_content_type: str, filepath: str): file_ext = filename.split(".")[-1].lower() known_type = True if file_ext == "pdf": loader = PyPDFLoader(filepath, extract_images=False) elif file_ext == "pptx": loader = UnstructuredPowerPointLoader(filepath, mode="elements") elif ( file_content_type == "application/vnd.openxmlformats-officedocument.wordprocessingml.document " or file_ext in ["doc", "docx"] ): loader = Docx2txtLoader(filepath) elif file_content_type in [ "application/vnd.ms-excel", "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet", ] or file_ext in ["xls", "xlsx"]: loader = UnstructuredExcelLoader(filepath, mode="elements") else: loader = TextLoader(filepath, autodetect_encoding=False) known_type = False return loader, known_type, file_ext LangChainのLoaderを使ってファイル内容をファイル種別毎にテキスト化する mode="elements"にすることでメタデータも含めてテキスト化される

Slide 27

Slide 27 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. ファイルアップロード（分割処理） # 1. データの前処理（トークナイゼーションや要約） if ( file.content_type == "application/vnd.openxmlformats-officedocument.w ordprocessingml.document" or file_ext in ["doc", "docx"] ): # ワード文書の場合は段落ごとに分割 text_splitter = RecursiveCharacterTextSplitter( chunk_size=app.config['CHUNK_SIZE'], chunk_overlap=app.config['CHUNK_OVERLAP'] ) documents = text_splitter.split_documents(documents) テキスト化したデータを段落ごとに分割する分割はメタデータの無いワードのみ行う

Slide 28

Slide 28 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. ファイルアップロード（ベクター化） # 2. エンベディング作成 # OpenAI APIを使用してテキストのベクトル化 for doc in documents: # PDFの場合はNUL文字を削除 if file_ext == "pdf": doc.page_content = clean_text(doc.page_content) # テキストをトークン制限に基づいてチャンクに分割 chunks = split_into_chunks(doc.page_content) embeddings = [] # チャンクごとにエンベディングを作成 for chunk in chunks: if not chunk.strip(): # チャンクが空でないか確認 logger.warning(f"Empty chunk, skipping... {employeeNumber} {docId} {doc.page_content}") continue retries = 3 for _ in range(retries): try: response = client.embeddings.create(input=chunk, model=model) # ベクター化実行 embeddings.append(response.data[0].embedding) break # 成功したらループを抜ける except Exception as e: # OpenAI API エラーをここでキャッチ logger.warning(f"OpenAI API error: {e}, retrying...") time.sleep(1) # 少し待ってリトライ else: logger.warning(f"Failed to get embedding for chunk after {retries} retries.") continue if not embeddings: # エンベディングが生成されているか確認 logger.warning(f"No embeddings generated for document skipping... {employeeNumber} {docId} {doc.page_content}") continue # チャンクから得られたエンベディングを統合 doc_embedding = combine_embeddings(embeddings) テキスト化したデータをOpenAIのトークン制限に合わせて分割し最後に統合する text-embedding-3-smallのモデルを使って分割した単位でベクター化する

Slide 29

Slide 29 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. ファイルアップロード（ベクター DB登録） # 3. インデックス作成 # エンベディングの作成が完了した後、DBへ文書の追加 fileUploadData = FileUploadData(employeeNumber=employeeNumber, fileId=fileId, docId=docId, fileName=file.filename, contents=doc.page_content, embedding=doc_embedding) db.session.add(fileUploadData) ベクター化した統合データとテキストデータ、ファイル名、社員番号を登録するこれでアップロード処理は完了です。

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. コンテキスト検索（ベクター化＆近似検索） # 2. エンベディング作成 # OpenAI APIを使用してクエリのベクトル化 response = client.embeddings.create(input=query, model=model) query_embedding = response.data[0].embedding # 3. インデックス検索 # pgvectorを使用したベクトル検索 rows = FileUploadData.query.where(FileUploadData.fileId .in_(fileIds)).order_by(FileUploadData.embedding .l2_distance(query_embedding)).limit(app.config[ 'SEARCH_LIMIT']).all() ベクター化した問い合わせ文章（クエリ）をベクトル化して、該当する文章をベクトル検索する結果は近似順に並び替えられます。（メタデータの無い文章やPDF の時に効力を発揮）

Slide 32

Slide 32 text

Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. コンテキスト検索（検索結果取得） # 検索結果の取得 documents = [{ "id": row.id, "contents": row.contents, "fileName": row.fileName, "employeeNumber": row.employeeNumber, "docId": row.docId, "fileId": row.fileId, } for row in rows] # レスポンスを返す return jsonify({"result": {"documents": documents}}) 検索結果の文章のみを結果として返しますこれでコンテキスト検索処理は終了です。