Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20250614_LT_走れメロスの個人情報マスク処理をMacStudio 512GBメモリマ...
Search
NobuakiOshiro
PRO
June 13, 2025
Technology
1
12
20250614_LT_走れメロスの個人情報マスク処理をMacStudio 512GBメモリマシンで試してみた
https://agifukuoka.connpass.com/event/352826/
NobuakiOshiro
PRO
June 13, 2025
Tweet
Share
More Decks by NobuakiOshiro
See All by NobuakiOshiro
20250726_DeepResearchで何かしらの情報を調べた後のTips
doradora09
PRO
1
42
20250718_分析業務への生成AI活用(テキストマイニングを例題に)
doradora09
PRO
1
76
20250715_AI時代到来・企業リスクへの生成AI活用術
doradora09
PRO
0
65
20250709_MacStudioとLlama-4Maverickでローカル画像認識
doradora09
PRO
1
46
20250709_第3回_GenAIアナリティクス勉強会at東京_オープニングトーク
doradora09
PRO
0
72
20250625_生成 AI 活用2年目の壁を突破せよ_(60min版)
doradora09
PRO
0
51
20250628_生成AIおすすめyoutube共有会_ChatGPT部第69回
doradora09
PRO
0
64
20250607_AIから始めるロボット勉強会_HuggingFaceについて
doradora09
PRO
0
24
20250604_ビール片手に生成AIデモ
doradora09
PRO
0
23
Other Decks in Technology
See All in Technology
メモ整理が苦手な者による頑張らないObsidian活用術
optim
1
160
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
210
Kiro Hookを Terraformで検証
ao_inoue
0
140
AI エンジニアの立場からみた、AI コーディング時代の開発の品質向上の取り組みと妄想
soh9834
8
620
公開初日に個人環境で試した Gemini CLI 体験記など / Gemini CLI実験レポート
you
PRO
3
1.2k
20250728 MCP, A2A and Multi-Agents in the future
yoshidashingo
1
160
Kiroから考える AIコーディングツールの潮流
s4yuba
2
540
AI コードレビューが面倒すぎるのでテスト駆動開発で解決しようとして読んだら、根本的に俺の勘違いだった
mutsumix
0
120
VLMサービスを用いた請求書データ化検証 / SaaSxML_Session_1
sansan_randd
0
150
人と生成AIの協調意思決定/Co‑decision making by people and generative AI
moriyuya
0
220
OpenTelemetry の Log を使いこなそう
biwashi
5
1.1k
2025-07-25 NOT A HOTEL TECH TALK ━ スマートホーム開発の最前線 ━ SOFTWARE
wakinchan
0
180
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
GraphQLとの向き合い方2022年版
quramy
49
14k
Code Review Best Practice
trishagee
69
19k
Designing for humans not robots
tammielis
253
25k
Speed Design
sergeychernyshev
32
1k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
BBQ
matthewcrist
89
9.8k
GitHub's CSS Performance
jonrohan
1031
460k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Transcript
LT : 「⾛れメロス」の 個⼈情報マスク処理を Mac Studio 512GBメモリ マシンで試してみた 2025/6/14 @doradora09
Mac Studio 512GBメモリマシン • メモリ512GBまでマ シましにできるポー タブルPC(4kg) • LLMの⼤きいモデル が動くので今回実験
利⽤
Mac Studio 512GBメモリマシン • ちなみにスペック増 し増しにすると200万 を超えます・・ • ( 3台買ったらカード
を⽌められたのは良 い?思い出・・ )
閑話休題:⾛れメロス • ⻘空⽂庫で全⽂公開されてます • https://www.aozora.gr.jp/cards/000035/files/1567_14913.html • ローカルLLMで「メロス」や「セリヌンティウス」などの名称をマス クしたい -> これができれば、社内でいろんなデータをLLMに⾷わせて処理できる
-> また、マスク後データを外部のさらに性能の良いAPIに投げて分析させるとか もできて良さげ • 現時点での結論 • Mac Studio 512GBならいけそう • 128GBメモリのMac Boop Proだと厳しいかも?
原⽂ • だいたい1万⽂ 字くらいの物語
LM StudioでLlama-4を動かす • Mavericのモデルは230GBくらい容量あるのでダウンロードの 帯域とか注意( スマホテザリングではやらない⽅が吉・・ ) • メモリ使⽤量はこんな感じ
注意:トークン⻑は伸ばしておくこと • ML Studioでロード したモデルのデフォ ルトが4000トークン くらいなので、 input/outputの⽂字 数が全然⾜りない (2000⽂字くらい)
• 設定で5-10万トーク ンにしておけばOK
参考:Llama-4 Mavericのメモリ使⽤量 • 240GBくらい • 頑張れば2本くら い⾛らせられる?
今回⽤いたプロンプト ・指⽰ 以下の原⽂に対して、個⼈が特定できないように⽒名のマスクを お願いします。また後で復元できるように対応表を作成し、最初と 最後に提⽰してください。【⼈物1】のようなイメージでお願いし ます。 ・原⽂ ⾛れメロス 太宰治 メロスは激怒した。必ず、かの邪智暴虐の王を除かなければなら
ぬと決意した。メロスには政治がわからぬ。・・・(以下、最後ま で記載)
実⾏結果① ( Llama-4 Maveric ) • とても良い感じです • 動作中のメモリ使⽤量は 266GBくらい
• 15token/sec、くらいのス ピードは出てそうです
実⾏結果② ( Llama-4 scout-17b-16e ) • やや、いい感じです ( アレキスが⾜りない )
• 動作中のメモリ使⽤量は 116GBくらい • 15token/sec、くらいのス ピードは出てそうです
実⾏結果③ ( Llama-3.3-70b ) • 少し間違えているものの、概ねOK ( 太宰治を⼈物2、とかたまに間 違えている )
• 動作中のメモリ使⽤量は87GBくら い • 5token/sec、くらいのスピードな のでやや遅めですが許容範囲
実⾏結果④ ( Llama-4 dolphin-8B ) • 全然ダメでした ( そもそも指⽰を聞いて おらず、おうむ返し
) ・トークン⻑も8000トー クンくらいが上限だった ので2000⽂字まで縮⼩し て実験
参考:各モデルの特徴⽐較
その他所感等 • Llama-4 mavericでようやく及第点。ただ、⼗分ではない ( ChatGPT-4と4oの中間くらいの感覚 ) • 個⼈情報マスクは⼗分だが、バイブコーディングで分析させる にはまだ弱い印象(
複雑な分析は失敗する ) • ⼀⽅で「どんなデータでもローカルで安全に扱える」という点 はやはりデカい • ローカルLLM活⽤も引き続き⾊々検証していきたいと思います
Enjoy..!!