Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20230518_苦労を重ねて実装して実装したのに一掃されたこと_
Search
midnight480
May 18, 2023
Technology
0
220
20230518_苦労を重ねて実装して実装したのに一掃されたこと_
Pythonも書けない、OpenAIもよくわからない初学者が雰囲気でLlamaIndex触った話です
midnight480
May 18, 2023
Tweet
Share
More Decks by midnight480
See All by midnight480
Postman Flows ✖️ Backlog API で可能性を探る
midnight480
0
87
Amazon Q Developer for CLIの基本的な使い方と便利なコマンドの紹介
midnight480
0
70
20250531 JAWS-UG佐賀 生成AI
midnight480
0
24
Amazon Q Developer for CLI 〜 Blender、Backlog GitをMCPで操作してみた 〜
midnight480
0
120
Control policies for AWS Organizations
midnight480
0
100
20240201_JAWS-UG_SAGA
midnight480
0
59
Reintroduction to AWS Multiple Account Management
midnight480
0
71
Try Dify self-hosted on AWS
midnight480
0
55
20241123_SAGA IT Community DayのLP裏側
midnight480
0
27
Other Decks in Technology
See All in Technology
解析の定理証明実践@Lean 4
dec9ue
0
180
BrainPadプログラミングコンテスト記念LT会2025_社内イベント&問題解説
brainpadpr
1
170
エンジニア向け技術スタック情報
kauche
1
270
SalesforceArchitectGroupOsaka#20_CNX'25_Report
atomica7sei
0
190
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
210
AWS テクニカルサポートとエンドカスタマーの中間地点から見えるより良いサポートの活用方法
kazzpapa3
2
550
AIエージェント最前線! Amazon Bedrock、Amazon Q、そしてMCPを使いこなそう
minorun365
PRO
15
5.3k
M3 Expressiveの思想に迫る
chnotchy
0
110
本が全く読めなかった過去の自分へ
genshun9
0
560
PostgreSQL 18 cancel request key長の変更とRailsへの関連
yahonda
0
120
25分で解説する「最小権限の原則」を実現するための AWS「ポリシー」大全 / 20250625-aws-summit-aws-policy
opelab
9
1.2k
Observability infrastructure behind the trillion-messages scale Kafka platform
lycorptech_jp
PRO
0
140
Featured
See All Featured
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
The Language of Interfaces
destraynor
158
25k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Automating Front-end Workflow
addyosmani
1370
200k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3k
Code Review Best Practice
trishagee
68
18k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.8k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
How to train your dragon (web standard)
notwaldorf
94
6.1k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
700
Typedesign – Prime Four
hannesfritz
42
2.7k
Transcript
苦労を「重ねて」 実装したのに 一掃された 2023年5月18日 レイヤード Meetup LT会 vol.1
楽しんでますか??
今日の大まかな流れ 1. 自己紹介 2. 流行りもの 3. 実現したいこと 4. 実際にやってみたこと 5.
衝撃を受けたこと 6. まとめ
自己紹介 大分(22年) → 東京(11年) → 福岡(2021.11~)→ 佐賀(2023.9予定?) midnight480 midnight480 midnight480
https://astro.midnight480.com/ • JAWS-UG (Japan AWS - User Group ) ◦ 佐賀支部 - 運営 ◦ 福岡支部 - 運営支援 ◦ 大分支部 - 福岡出張所 • AWS Startup Community ◦ 福岡運営 • Microsoft Startup Tech Community New!! ◦ 運営 ほかにもJagu'e'r 九州分科会(GoogleとNDAが必要)に参加したり、 Fusicさんやヌーラボさんのイベント、エンジニアカフェに出没します 柴尾 哲也(しばお てつや)
流行りもの みなさん、生成AI周りの最新を追えていますか?
社内の状況としては • OpenAI ◦ ChatGPT Plus を全社員 ◦ Platform 側のOrgにMember招待
▪ Opt Out申請 ▪ GPT-4 API 申請 ▪ Plugin申請 • Azure OpenAI Service ◦ AzureAD側整備(セキュリティグループ) ▪ 国内外の社内利用者 ◦ GPT-4申請、DALL・E申請、Codex申請 • GitHub Copilot ◦ 手続きまとめ User 管理の悩ましい Owner と Readerの2つしかないし 運用している人いたら話しましょう
実現したいこと Input Output
実現したいこと Input • Notion API ◦ ブロック単位で取得 ◦ 本文を取得 ◦
CSVで保存(結果の確認用にブロック IDなど) • OpenAI(Azure OpenAIでもいい) ◦ Embeddings それらをPythonで実装
実際にやってみたこと • Notionのデータの持ち方が厄介 ◦ すべてのオブジェクトをブロックとして保持 ▪ jq -c 'path(..)' or
jq-searchkey を使って深さを確認
実際にやってみたこと • Azure でやってみる ◦ Azure App Service + Blob
Storage ▪ デプロイできず断念 ◦ Azure Function + Blob Storage Service ▪ デプロイまでは出来たが、 Blob Storageに出力されず断念 • AWS でやることにする ◦ AWS Lambda + S3 ▪ AWS CDK v2のLambdaのデプロイ手間で断念 ▪ Serverless FrameworkでデプロイしてS3にCSV出力できた
実現したいこと • OpenAI(Azure OpenAIでもいい) ◦ Embeddings ▪ Azure公式Docsに従えば実現できた( Google Colab上)
• text-embedding-ada-002 はダメで(環境要因?) • text-search-curie-doc-001 だとできた https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/tutorials/embeddings
実現したいこと Input Output
Notionから出力するところを改善したい 「LangChainとかLlamaIndexとか使ってみると楽になるんじゃない?」
LlamaIndexでやってみる Notion のコネクタと学習部分を作ってみる 簡単にするなら、これで全部 前処理が「\n\n」除去だけなので注意
None
まとめ • Azure Functionのデプロイは簡単だった ◦ func new –name ${DIrectory} –template
“Timer trigger” ▪ AWSで言えば、AWS Lambda + Evnetbridge Rulesをひと纏め • AWS CDK でLambda(Pythonと追加モジュール)は少し手間で断念 ◦ https://aws.amazon.com/jp/blogs/news/lambda-managed-by-cdk/ • Serverless FrameworkではDockerあれば簡単 ◦ Build時にrequirements.txtを見てAssetを作成する過程でDocker内で処理する • LangChainやLlamaIndexといったライブラリは初心者にとって有益 ◦ 有識者からすると前処理が不足していると感じることもある ◦ 開発が盛んなので破壊的変更、 β版メソッドが使えなくなることもある
LlamaIndexで参考にしたものの 2023.03.23 https://dev.classmethod.jp/articles/llamaindex_with_notion-loader/ https://github.com/jerryjliu/llama_index/issues/3263
宣伝 2023/05/24(水) 19:00 〜 21:00 https://jawsug-saga.doorkeeper.jp/events/155541 2023/06/17(土) 13:00 〜 17:00 https://jawsug-saga.doorkeeper.jp/events/155542 2023/10/7(土)
JAWS Festa 2023 in Kyushu https://jft2023.jaws-ug.jp/ 8/19(土)にもクラウド女子会・佐賀・長崎合同で予定 全国からAWSエンジニアが福岡に来ます
Thank you for your time 😊
Thank you for Bing Image Creator 😊