20230518_苦労を重ねて実装して実装したのに一掃されたこと_

Pythonも書けない、OpenAIもよくわからない初学者が雰囲気でLlamaIndex触った話です

Transcript

1. 苦労を「重ねて」 実装したのに 一掃された 2023年5月18日 レイヤード Meetup LT会 vol.1
2. 楽しんでますか？？
3. 今日の大まかな流れ 1. 自己紹介 2. 流行りもの 3. 実現したいこと 4. 実際にやってみたこと 5. 衝撃を受けたこと 6. まとめ
4. 自己紹介 大分（22年） → 東京（11年） → 福岡（2021.11～）→ 佐賀（2023.9予定？） midnight480 midnight480 midnight480 https://astro.midnight480.com/ • JAWS-UG （Japan AWS - User Group ） ◦ 佐賀支部 - 運営 ◦ 福岡支部 - 運営支援 ◦ 大分支部 - 福岡出張所 • AWS Startup Community ◦ 福岡運営 • Microsoft Startup Tech Community New!! ◦ 運営 ほかにもJagu'e'r 九州分科会（GoogleとNDAが必要）に参加したり、 Fusicさんやヌーラボさんのイベント、エンジニアカフェに出没します 柴尾　哲也（しばお　てつや）　
5. 流行りもの みなさん、生成AI周りの最新を追えていますか？
6. 社内の状況としては • OpenAI ◦ ChatGPT Plus を全社員 ◦ Platform 側のOrgにMember招待 ▪ Opt Out申請 ▪ GPT-4 API 申請 ▪ Plugin申請 • Azure OpenAI Service ◦ AzureAD側整備（セキュリティグループ） ▪ 国内外の社内利用者 ◦ GPT-4申請、DALL・E申請、Codex申請　 • GitHub Copilot ◦ 手続きまとめ User 管理の悩ましい Owner と Readerの２つしかないし 運用している人いたら話しましょう
7. 実現したいこと Input Output
8. 実現したいこと Input • Notion API ◦ ブロック単位で取得 ◦ 本文を取得 ◦ CSVで保存（結果の確認用にブロック IDなど） • OpenAI（Azure OpenAIでもいい） ◦ Embeddings それらをPythonで実装
9. 実際にやってみたこと • Notionのデータの持ち方が厄介 ◦ すべてのオブジェクトをブロックとして保持 ▪ jq -c 'path(..)' or jq-searchkey を使って深さを確認
10. 実際にやってみたこと • Azure でやってみる ◦ Azure App Service + Blob Storage ▪ デプロイできず断念 ◦ Azure Function + Blob Storage Service ▪ デプロイまでは出来たが、 Blob Storageに出力されず断念 • AWS でやることにする ◦ AWS Lambda + S3 ▪ AWS CDK v2のLambdaのデプロイ手間で断念 ▪ Serverless FrameworkでデプロイしてS3にCSV出力できた
11. 実現したいこと • OpenAI（Azure OpenAIでもいい） ◦ Embeddings ▪ Azure公式Docsに従えば実現できた（ Google Colab上） • text-embedding-ada-002　はダメで（環境要因？） • text-search-curie-doc-001　だとできた https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/tutorials/embeddings
12. 実現したいこと Input Output
13. Notionから出力するところを改善したい 「LangChainとかLlamaIndexとか使ってみると楽になるんじゃない？」
14. LlamaIndexでやってみる Notion のコネクタと学習部分を作ってみる 簡単にするなら、これで全部 前処理が「\n\n」除去だけなので注意
16. まとめ • Azure Functionのデプロイは簡単だった ◦ func new –name ${DIrectory} –template “Timer trigger” ▪ AWSで言えば、AWS Lambda + Evnetbridge Rulesをひと纏め • AWS CDK でLambda（Pythonと追加モジュール）は少し手間で断念 ◦ https://aws.amazon.com/jp/blogs/news/lambda-managed-by-cdk/ • Serverless FrameworkではDockerあれば簡単 ◦ Build時にrequirements.txtを見てAssetを作成する過程でDocker内で処理する • LangChainやLlamaIndexといったライブラリは初心者にとって有益 ◦ 有識者からすると前処理が不足していると感じることもある ◦ 開発が盛んなので破壊的変更、 β版メソッドが使えなくなることもある
17. LlamaIndexで参考にしたものの 2023.03.23 https://dev.classmethod.jp/articles/llamaindex_with_notion-loader/ https://github.com/jerryjliu/llama_index/issues/3263
18. 宣伝 2023/05/24(水)　19:00 〜 21:00 https://jawsug-saga.doorkeeper.jp/events/155541 2023/06/17(土)　13:00 〜 17:00 https://jawsug-saga.doorkeeper.jp/events/155542 2023/10/7(土) JAWS Festa 2023 in Kyushu https://jft2023.jaws-ug.jp/ 8/19（土）にもクラウド女子会・佐賀・長崎合同で予定 全国からAWSエンジニアが福岡に来ます
19. Thank you for your time 😊
20. Thank you for Bing Image Creator 😊