Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20230518_苦労を重ねて実装して実装したのに一掃されたこと_
Search
midnight480
May 18, 2023
Technology
0
230
20230518_苦労を重ねて実装して実装したのに一掃されたこと_
Pythonも書けない、OpenAIもよくわからない初学者が雰囲気でLlamaIndex触った話です
midnight480
May 18, 2023
Tweet
Share
More Decks by midnight480
See All by midnight480
Amazon Q Developer for CLI の紹介
midnight480
0
89
Postman Flows ✖️ Backlog API で可能性を探る
midnight480
0
110
Amazon Q Developer for CLIの基本的な使い方と便利なコマンドの紹介
midnight480
0
130
20250531 JAWS-UG佐賀 生成AI
midnight480
0
38
Amazon Q Developer for CLI 〜 Blender、Backlog GitをMCPで操作してみた 〜
midnight480
0
160
Control policies for AWS Organizations
midnight480
0
110
20240201_JAWS-UG_SAGA
midnight480
0
70
Reintroduction to AWS Multiple Account Management
midnight480
0
76
Try Dify self-hosted on AWS
midnight480
0
65
Other Decks in Technology
See All in Technology
KCD Lima: eBee in Peru!
lizrice
0
110
Vision Language Modelと自動運転AIの最前線_20250730
yuyamaguchi
1
590
スプリントレビューを効果的にするために
miholovesq
9
1.7k
大規模イベントを支える ABEMA の アーキテクチャ 変遷 2025
nagapad
5
510
claude codeでPrompt Engineering
iori0311
0
530
Ktor + Google Cloud Tasks/PubSub におけるOTel Messaging計装の実践
sansantech
PRO
1
330
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
180
増え続ける脆弱性に立ち向かう: 事前対策と優先度づけによる 持続可能な脆弱性管理 / Confronting the Rise of Vulnerabilities: Sustainable Management Through Proactive Measures and Prioritization
nttcom
1
210
MCPに潜むセキュリティリスクを考えてみる
milix_m
1
880
Wasmで社内ツールを作って配布しよう
askua
0
150
東京海上日動におけるセキュアな開発プロセスの取り組み
miyabit
0
200
経理出身PdMがAIプロダクト開発を_ハンズオンで学んだ話.pdf
shunsukenarita
1
230
Featured
See All Featured
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Music & Morning Musume
bryan
46
6.7k
Practical Orchestrator
shlominoach
189
11k
A designer walks into a library…
pauljervisheath
207
24k
Producing Creativity
orderedlist
PRO
346
40k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
GraphQLとの向き合い方2022年版
quramy
49
14k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
390
Transcript
苦労を「重ねて」 実装したのに 一掃された 2023年5月18日 レイヤード Meetup LT会 vol.1
楽しんでますか??
今日の大まかな流れ 1. 自己紹介 2. 流行りもの 3. 実現したいこと 4. 実際にやってみたこと 5.
衝撃を受けたこと 6. まとめ
自己紹介 大分(22年) → 東京(11年) → 福岡(2021.11~)→ 佐賀(2023.9予定?) midnight480 midnight480 midnight480
https://astro.midnight480.com/ • JAWS-UG (Japan AWS - User Group ) ◦ 佐賀支部 - 運営 ◦ 福岡支部 - 運営支援 ◦ 大分支部 - 福岡出張所 • AWS Startup Community ◦ 福岡運営 • Microsoft Startup Tech Community New!! ◦ 運営 ほかにもJagu'e'r 九州分科会(GoogleとNDAが必要)に参加したり、 Fusicさんやヌーラボさんのイベント、エンジニアカフェに出没します 柴尾 哲也(しばお てつや)
流行りもの みなさん、生成AI周りの最新を追えていますか?
社内の状況としては • OpenAI ◦ ChatGPT Plus を全社員 ◦ Platform 側のOrgにMember招待
▪ Opt Out申請 ▪ GPT-4 API 申請 ▪ Plugin申請 • Azure OpenAI Service ◦ AzureAD側整備(セキュリティグループ) ▪ 国内外の社内利用者 ◦ GPT-4申請、DALL・E申請、Codex申請 • GitHub Copilot ◦ 手続きまとめ User 管理の悩ましい Owner と Readerの2つしかないし 運用している人いたら話しましょう
実現したいこと Input Output
実現したいこと Input • Notion API ◦ ブロック単位で取得 ◦ 本文を取得 ◦
CSVで保存(結果の確認用にブロック IDなど) • OpenAI(Azure OpenAIでもいい) ◦ Embeddings それらをPythonで実装
実際にやってみたこと • Notionのデータの持ち方が厄介 ◦ すべてのオブジェクトをブロックとして保持 ▪ jq -c 'path(..)' or
jq-searchkey を使って深さを確認
実際にやってみたこと • Azure でやってみる ◦ Azure App Service + Blob
Storage ▪ デプロイできず断念 ◦ Azure Function + Blob Storage Service ▪ デプロイまでは出来たが、 Blob Storageに出力されず断念 • AWS でやることにする ◦ AWS Lambda + S3 ▪ AWS CDK v2のLambdaのデプロイ手間で断念 ▪ Serverless FrameworkでデプロイしてS3にCSV出力できた
実現したいこと • OpenAI(Azure OpenAIでもいい) ◦ Embeddings ▪ Azure公式Docsに従えば実現できた( Google Colab上)
• text-embedding-ada-002 はダメで(環境要因?) • text-search-curie-doc-001 だとできた https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/tutorials/embeddings
実現したいこと Input Output
Notionから出力するところを改善したい 「LangChainとかLlamaIndexとか使ってみると楽になるんじゃない?」
LlamaIndexでやってみる Notion のコネクタと学習部分を作ってみる 簡単にするなら、これで全部 前処理が「\n\n」除去だけなので注意
None
まとめ • Azure Functionのデプロイは簡単だった ◦ func new –name ${DIrectory} –template
“Timer trigger” ▪ AWSで言えば、AWS Lambda + Evnetbridge Rulesをひと纏め • AWS CDK でLambda(Pythonと追加モジュール)は少し手間で断念 ◦ https://aws.amazon.com/jp/blogs/news/lambda-managed-by-cdk/ • Serverless FrameworkではDockerあれば簡単 ◦ Build時にrequirements.txtを見てAssetを作成する過程でDocker内で処理する • LangChainやLlamaIndexといったライブラリは初心者にとって有益 ◦ 有識者からすると前処理が不足していると感じることもある ◦ 開発が盛んなので破壊的変更、 β版メソッドが使えなくなることもある
LlamaIndexで参考にしたものの 2023.03.23 https://dev.classmethod.jp/articles/llamaindex_with_notion-loader/ https://github.com/jerryjliu/llama_index/issues/3263
宣伝 2023/05/24(水) 19:00 〜 21:00 https://jawsug-saga.doorkeeper.jp/events/155541 2023/06/17(土) 13:00 〜 17:00 https://jawsug-saga.doorkeeper.jp/events/155542 2023/10/7(土)
JAWS Festa 2023 in Kyushu https://jft2023.jaws-ug.jp/ 8/19(土)にもクラウド女子会・佐賀・長崎合同で予定 全国からAWSエンジニアが福岡に来ます
Thank you for your time 😊
Thank you for Bing Image Creator 😊