Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20230518_苦労を重ねて実装して実装したのに一掃されたこと_
Search
midnight480
May 18, 2023
Technology
0
220
20230518_苦労を重ねて実装して実装したのに一掃されたこと_
Pythonも書けない、OpenAIもよくわからない初学者が雰囲気でLlamaIndex触った話です
midnight480
May 18, 2023
Tweet
Share
More Decks by midnight480
See All by midnight480
Postman Flows ✖️ Backlog API で可能性を探る
midnight480
0
100
Amazon Q Developer for CLIの基本的な使い方と便利なコマンドの紹介
midnight480
0
99
20250531 JAWS-UG佐賀 生成AI
midnight480
0
30
Amazon Q Developer for CLI 〜 Blender、Backlog GitをMCPで操作してみた 〜
midnight480
0
140
Control policies for AWS Organizations
midnight480
0
110
20240201_JAWS-UG_SAGA
midnight480
0
63
Reintroduction to AWS Multiple Account Management
midnight480
0
74
Try Dify self-hosted on AWS
midnight480
0
58
20241123_SAGA IT Community DayのLP裏側
midnight480
0
28
Other Decks in Technology
See All in Technology
公開初日に Gemini CLI を試した話や FFmpeg と組み合わせてみた話など / Gemini CLI 初学者勉強会(#AI道場)
you
PRO
0
860
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
vtryo
2
630
マルチプロダクト環境におけるSREの役割 / SRE NEXT 2025 lunch session
sugamasao
1
220
インフラ寄りSREの生存戦略
sansantech
PRO
8
3.3k
SREの次のキャリアの道しるべ 〜SREがマネジメントレイヤーに挑戦して、 気づいたこととTips〜
coconala_engineer
1
590
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
2
7.8k
PO初心者が考えた ”POらしさ”
nb_rady
0
220
United™️ Airlines®️ Customer®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedguide
0
720
SRE不在の開発チームが障害対応と 向き合った100日間 / 100 days dealing with issues without SREs
shin1988
1
1.1k
推し書籍📚 / Books and a QA Engineer
ak1210
0
120
CDKコード品質UP!ナイスな自作コンストラクタを作るための便利インターフェース
harukasakihara
2
160
スタートアップに選択肢を 〜生成AIを活用したセカンダリー事業への挑戦〜
nstock
0
270
Featured
See All Featured
Scaling GitHub
holman
460
140k
Why Our Code Smells
bkeepers
PRO
336
57k
How to Think Like a Performance Engineer
csswizardry
25
1.7k
The Language of Interfaces
destraynor
158
25k
Documentation Writing (for coders)
carmenintech
72
4.9k
Code Review Best Practice
trishagee
69
19k
How GitHub (no longer) Works
holman
314
140k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
We Have a Design System, Now What?
morganepeng
53
7.7k
GraphQLとの向き合い方2022年版
quramy
49
14k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Transcript
苦労を「重ねて」 実装したのに 一掃された 2023年5月18日 レイヤード Meetup LT会 vol.1
楽しんでますか??
今日の大まかな流れ 1. 自己紹介 2. 流行りもの 3. 実現したいこと 4. 実際にやってみたこと 5.
衝撃を受けたこと 6. まとめ
自己紹介 大分(22年) → 東京(11年) → 福岡(2021.11~)→ 佐賀(2023.9予定?) midnight480 midnight480 midnight480
https://astro.midnight480.com/ • JAWS-UG (Japan AWS - User Group ) ◦ 佐賀支部 - 運営 ◦ 福岡支部 - 運営支援 ◦ 大分支部 - 福岡出張所 • AWS Startup Community ◦ 福岡運営 • Microsoft Startup Tech Community New!! ◦ 運営 ほかにもJagu'e'r 九州分科会(GoogleとNDAが必要)に参加したり、 Fusicさんやヌーラボさんのイベント、エンジニアカフェに出没します 柴尾 哲也(しばお てつや)
流行りもの みなさん、生成AI周りの最新を追えていますか?
社内の状況としては • OpenAI ◦ ChatGPT Plus を全社員 ◦ Platform 側のOrgにMember招待
▪ Opt Out申請 ▪ GPT-4 API 申請 ▪ Plugin申請 • Azure OpenAI Service ◦ AzureAD側整備(セキュリティグループ) ▪ 国内外の社内利用者 ◦ GPT-4申請、DALL・E申請、Codex申請 • GitHub Copilot ◦ 手続きまとめ User 管理の悩ましい Owner と Readerの2つしかないし 運用している人いたら話しましょう
実現したいこと Input Output
実現したいこと Input • Notion API ◦ ブロック単位で取得 ◦ 本文を取得 ◦
CSVで保存(結果の確認用にブロック IDなど) • OpenAI(Azure OpenAIでもいい) ◦ Embeddings それらをPythonで実装
実際にやってみたこと • Notionのデータの持ち方が厄介 ◦ すべてのオブジェクトをブロックとして保持 ▪ jq -c 'path(..)' or
jq-searchkey を使って深さを確認
実際にやってみたこと • Azure でやってみる ◦ Azure App Service + Blob
Storage ▪ デプロイできず断念 ◦ Azure Function + Blob Storage Service ▪ デプロイまでは出来たが、 Blob Storageに出力されず断念 • AWS でやることにする ◦ AWS Lambda + S3 ▪ AWS CDK v2のLambdaのデプロイ手間で断念 ▪ Serverless FrameworkでデプロイしてS3にCSV出力できた
実現したいこと • OpenAI(Azure OpenAIでもいい) ◦ Embeddings ▪ Azure公式Docsに従えば実現できた( Google Colab上)
• text-embedding-ada-002 はダメで(環境要因?) • text-search-curie-doc-001 だとできた https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/tutorials/embeddings
実現したいこと Input Output
Notionから出力するところを改善したい 「LangChainとかLlamaIndexとか使ってみると楽になるんじゃない?」
LlamaIndexでやってみる Notion のコネクタと学習部分を作ってみる 簡単にするなら、これで全部 前処理が「\n\n」除去だけなので注意
None
まとめ • Azure Functionのデプロイは簡単だった ◦ func new –name ${DIrectory} –template
“Timer trigger” ▪ AWSで言えば、AWS Lambda + Evnetbridge Rulesをひと纏め • AWS CDK でLambda(Pythonと追加モジュール)は少し手間で断念 ◦ https://aws.amazon.com/jp/blogs/news/lambda-managed-by-cdk/ • Serverless FrameworkではDockerあれば簡単 ◦ Build時にrequirements.txtを見てAssetを作成する過程でDocker内で処理する • LangChainやLlamaIndexといったライブラリは初心者にとって有益 ◦ 有識者からすると前処理が不足していると感じることもある ◦ 開発が盛んなので破壊的変更、 β版メソッドが使えなくなることもある
LlamaIndexで参考にしたものの 2023.03.23 https://dev.classmethod.jp/articles/llamaindex_with_notion-loader/ https://github.com/jerryjliu/llama_index/issues/3263
宣伝 2023/05/24(水) 19:00 〜 21:00 https://jawsug-saga.doorkeeper.jp/events/155541 2023/06/17(土) 13:00 〜 17:00 https://jawsug-saga.doorkeeper.jp/events/155542 2023/10/7(土)
JAWS Festa 2023 in Kyushu https://jft2023.jaws-ug.jp/ 8/19(土)にもクラウド女子会・佐賀・長崎合同で予定 全国からAWSエンジニアが福岡に来ます
Thank you for your time 😊
Thank you for Bing Image Creator 😊