長文から長文を生成するLLMツールをオープンソースで作ってみた。

株式会社ジェイテックジャパン CTO　Sekiban Framework メンテナ　高丘　知央　(オンライン登壇)

LLMを使う時には長文をまとめることが多く使われていますが、個人的なユースケースとしては、長文から長文を生成したいということがあります。例えば、長い文章を英訳するなど。このセッションではLLMを使用して長文から長文を生成するツールを作って、ご紹介します

https://dotnetlab.connpass.com/event/311594/

Transcript

1. ⻑⽂から⻑⽂を作るLLMツール オープンソースで作ってみた #dotnetlab
2. ⾃⼰紹介 高丘 知央 ( Tomohisa Takaoka ) 株式会社ジェイテックジャパンCTO イベントソーシング・CQRSフレームワーク Sekiban メンテナ 米国カリフォルニア州ロングビーチ在住（ロスの近く） • X : @tomohisa • Github : @tomohisa • Linkedin : tomohisatakaoka 自作キーボード、3Dプリント自作トラックボール製作 London Tech Talk ポッドキャストとブッククラブ出演 #dotnetlab 🆗
3. 株式会社ジェイテックジャパンの紹介 • 創業50年を超えた総合IT企業、株式会社 ジャパンテクニカルソフトウェア (JTS) のグループ企業。 • New York 所在 J-Tech Creations, Inc. の 東京拠点。 • B2C / B2B アプリケーションを 開発‧運⽤するソフトウェア開発企業。 • .NET‧Azure 等 Microsoft の 技術スタックを主に使⽤。 🆗 #dotnetlab
4. Overview 「⻑⽂から⻑⽂を作るLLMツール」 1. どのようなコンセプトで作ったのか 2. 技術的なポイントなど 3. 使い⽅のデモとコードの説明 🆗 #dotnetlab
5. 「⻑⽂から⻑⽂を作るLLMツール」 どのようなコンセプトで作ったのか？
6. LLMを使っていて今までこんなことで困ったことはありませんか？ • ⻑⽂を訳そうとして貼り付けたら、全部⼀気に実⾏せずに、continueを押 しても途中でバグってしまう • ⻑⽂を同じチャットに貼り付けると、LLMの作業キャパを超えるので別チャ ンネルで実⾏して、整理ができない • 別のLLMとの動作を⽐較したいがいろんなところに貼るのが⾯倒 • 本当に⻑い⽂を全部翻訳したりするときに、貼る量の管理が難しい • ブラウザに貼って、待って、ローカルに結果を貼れば全部実⾏できるが、時 間がかかりすぎて⾯倒 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？
7. 欲しいユースケース ⻑⽂から⻑⽂の結果が欲しい。GPTはサマリーが得意だから例になっている が必ずしもサマリーが欲しいわけではない。⻑⽂があればいつでも要約で きる 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？ Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Id nibh tortor id aliquet lectus proin nibh nisl condimentum. Cursus in hac habitasse platea dictumst quisque sagittis purus. Diam quis enim lobortis scelerisque fermentum dui faucibus. Ipsum dolor sit amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. Nibh venenatis cras sed felis eget velit aliquet. Blandit volutpat maecenas volutpat blandit aliquam etiam erat velit. Donec enim diam vulputate ut pharetra sit amet aliquam id. Et tortor consequat id porta nibh. Morbi tristique senectus et netus et. Amet massa vitae tortor condimentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulum rhoncus est pellentesque elit ullamcorper. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Facilisi nullam vehicula ipsum a arcu. Diam maecenas ultricies mi eget mauris pharetra et. Magna sit amet purus gravida quis blandit turpis cursus in. Ac feugiat sed lectus vestibulum mattis ullamcorper. Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed libero enim sed faucibus. Pharetra massa massa ultricies mi. Suspendisse sed nisi lacus sed viverra tellus. Ac tortor vitae purus faucibus ornare. Egestas purus viverra accumsan in. Urna id volutpat lacus laoreet non curabitur gravida. Fermentum et sollicitudin ac orci phasellus egestas tellus. Nec ultrices dui sapien eget mi. Metus dictum at tempor commodo ullamcorper a lacus vestibulum. Vestibulum rhoncus est pellentesque elit. Maecenas sed enim ut sem viverra aliquet eget sit amet. Feugiat vivamus at augue eget arcu dictum varius. Risus in hendrerit gravida rutrum quisque non tellus. Nisl purus in mollis nunc sed id semper. Neque convallis a cras semper auctor neque. In pellentesque massa placerat duis ultricies lacus sed. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Massa ultricies mi quis hendrerit dolor. Et molestie ac feugiat sed lectus vestibulum mattis ullamcorper. At erat pellentesque adipiscing commodo elit. Potenti nullam ac tortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morb 指⽰⽂ A OpenAI API 全原⽂ ⻑⽂ 指⽰⽂A Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Id nibh tortor id aliquet lectus proin nibh nisl condimentum. Cursus in hac habitasse platea dictumst quisque sagittis purus. Diam quis enim lobortis scelerisque fermentum dui faucibus. Ipsum dolor sit amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. Nibh venenatis cras sed felis eget velit aliquet. Blandit volutpat maecenas volutpat blandit aliquam etiam erat velit. Donec enim diam vulputate ut pharetra sit amet aliquam id. Et tortor consequat id porta nibh. Morbi tristique senectus et netus et. Amet massa vitae tortor condimentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulum rhoncus est pellentesque elit ullamcorper. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Facilisi nullam vehicula ipsum a arcu. Diam maecenas ultricies mi eget mauris pharetra et. Magna sit amet purus gravida quis blandit turpis cursus in. Ac feugiat sed lectus vestibulum mattis ullamcorper. Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed libero enim sed faucibus. Pharetra massa massa ultricies mi. Suspendisse sed nisi lacus sed viverra tellus. Ac tortor vitae purus faucibus ornare. Egestas purus viverra accumsan in. Urna id volutpat lacus laoreet non curabitur gravida. Fermentum et sollicitudin ac orci phasellus egestas tellus. Nec ultrices dui sapien eget mi. Metus dictum at tempor commodo ullamcorper a lacus vestibulum. Vestibulum rhoncus est pellentesque elit. Maecenas sed enim ut sem viverra aliquet eget sit amet. Feugiat vivamus at augue eget arcu dictum varius. Risus in hendrerit gravida rutrum quisque non tellus. Nisl purus in mollis nunc sed id semper. Neque convallis a cras semper auctor neque. In pellentesque massa placerat duis ultricies lacus sed. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Massa ultricies mi quis hendrerit dolor. Et molestie ac feugiat sed lectus vestibulum mattis ullamcorper. At erat pellentesque adipiscing commodo elit. Potenti nullam ac tortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morb 全⽂結果 ⻑⽂ 例） ⻑⽂の翻訳 英語 → ⽇本語 ⻑⽂のテキストファイルを編集 ⻑⽂のテキストファイルをマークダウンに変換 ⻑⽂の字幕ファイルの翻訳
8. これらの問題を解決するツールを思い浮かびました！ ⻑⽂を分割して実⾏するツールを使ったら便利じゃないか？ 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？ Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Id nibh tortor id aliquet lectus proin nibh nisl condimentum. Cursus in hac habitasse platea dictumst quisque sagittis purus. Diam quis enim lobortis scelerisque fermentum dui faucibus. Ipsum dolor sit amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. Nibh venenatis cras sed felis eget velit aliquet. Blandit volutpat maecenas volutpat blandit aliquam etiam erat velit. Donec enim diam vulputate ut pharetra sit amet aliquam id. Et tortor consequat id porta nibh. Morbi tristique senectus et netus et. Amet massa vitae tortor condimentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulum rhoncus est pellentesque elit ullamcorper. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Facilisi nullam vehicula ipsum a arcu. Diam maecenas ultricies mi eget mauris pharetra et. Magna sit amet purus gravida quis blandit turpis cursus in. Ac feugiat sed lectus vestibulum mattis ullamcorper. Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed libero enim sed faucibus. Pharetra massa massa ultricies mi. Suspendisse sed nisi lacus sed viverra tellus. Ac tortor vitae purus faucibus ornare. Egestas purus viverra accumsan in. Urna id volutpat lacus laoreet non curabitur gravida. Fermentum et sollicitudin ac orci phasellus egestas tellus. Nec ultrices dui sapien eget mi. Metus dictum at tempor commodo ullamcorper a lacus vestibulum. Vestibulum rhoncus est pellentesque elit. Maecenas sed enim ut sem viverra aliquet eget sit amet. Feugiat vivamus at augue eget arcu dictum varius. Risus in hendrerit gravida rutrum quisque non tellus. Nisl purus in mollis nunc sed id semper. Neque convallis a cras semper auctor neque. In pellentesque massa placerat duis ultricies lacus sed. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Massa ultricies mi quis hendrerit dolor. Et molestie ac feugiat sed lectus vestibulum mattis ullamcorper. At erat pellentesque adipiscing commodo elit. Potenti nullam ac tortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morb Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Id nibh tortor id aliquet lectus proin nibh nisl condimentum. Cursus in hac habitasse platea dictumst quisque sagittis purus. Diam quis enim lobortis scelerisque fermentum dui faucibus. Ipsum dolor sit amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. Nibh venenatis cras sed felis eget velit aliquet. Blandit volutpat maecenas volutpat blandit aliquam etiam erat velit. Donec enim diam vulputate ut pharetra sit amet aliquam id. Et tortor consequat id porta nibh. Morbi tristique senectus et netus et. Amet massa vitae tortor condimentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulu cus est pellentesque elit ullamcorper. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Facilisi nullam vehicula ipsum a arcu. Diam maecenas ultricies mi eget mauris pharetra et. Magna sit amet purus gravida quis blandit turpis cursus in. Ac feugiat sed lectus vestibulum mattis ullamcorper. Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed libero enim sed faucibus. Pharetra massa massa ultricies mi. Suspendisse sed nisiqua Risus in hendrerit gravida rutrum quisque non tellus. Nisl purus in mollis nunc sed id semper. Neque convallis a cras semper auctor neque. In pellentesque massa placerat duis ultricies lacus sed. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Massa ultricies mi quis hendrerit dolor. Et molestie ac feugiat sed lectus vestibulum mattis ullamcorper. At erat pellentesque adipiscing commodo elit. Potenti nullam ac tortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morbi tristique senectus et netus. Aliquam sem et tortor consequat id. Nulla pellentesque dignissim enim sit. Quis auctor elit sed vulputate mi sit amet mauris commodo. Nunc sed blandit libero volutpat sed cras ornare. Iaculis at erat pellentesque adipiscing commodo. Nunc mattis enim ut tellus elementum sagittis. Nunc eget lorem dolor sed viverra ipsum nunc. Enim diam vulputate ut pharetra sit amet aliqua 分割 指⽰⽂ A OpenAI API 指⽰⽂ A OpenAI API 指⽰⽂ A OpenAI API 指⽰⽂ A OpenAI API Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Id nibh tortor id aliquet lectus proin nibh nisl condimentum. Cursus in hac habitasse platea dictumst quisque sagittis purus. Diam quis enim lobortis scelerisque fermentum dui faucibus. Ipsum dolor sit amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果① 原⽂① 原⽂② 原⽂③ 原⽂④ 全原⽂ ⻑⽂ Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Id nibh tortor id aliquet lectus proin nibh nisl condimentum. Cursus in hac habitasse platea dictumst quisque sagittis purus. Diam quis enim lobortis scelerisque fermentum dui faucibus. Ipsum dolor sit amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果② Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Id nibh tortor id aliquet lectus proin nibh nisl condimentum. Cursus in hac habitasse platea dictumst quisque sagittis purus. Diam quis enim lobortis scelerisque fermentum dui faucibus. Ipsum dolor sit amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果② Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Id nibh tortor id aliquet lectus proin nibh nisl condimentum. Cursus in hac habitasse platea dictumst quisque sagittis purus. Diam quis enim lobortis scelerisque fermentum dui faucibus. Ipsum dolor sit amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果② 指⽰⽂A Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Id nibh tortor id aliquet lectus proin nibh nisl condimentum. Cursus in hac habitasse platea dictumst quisque sagittis purus. Diam quis enim lobortis scelerisque fermentum dui faucibus. Ipsum dolor sit amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. Nibh venenatis cras sed felis eget velit aliquet. Blandit volutpat maecenas volutpat blandit aliquam etiam erat velit. Donec enim diam vulputate ut pharetra sit amet aliquam id. Et tortor consequat id porta nibh. Morbi tristique senectus et netus et. Amet massa vitae tortor condimentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulum rhoncus est pellentesque elit ullamcorper. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Facilisi nullam vehicula ipsum a arcu. Diam maecenas ultricies mi eget mauris pharetra et. Magna sit amet purus gravida quis blandit turpis cursus in. Ac feugiat sed lectus vestibulum mattis ullamcorper. Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed libero enim sed faucibus. Pharetra massa massa ultricies mi. Suspendisse sed nisi lacus sed viverra tellus. Ac tortor vitae purus faucibus ornare. Egestas purus viverra accumsan in. Urna id volutpat lacus laoreet non curabitur gravida. Fermentum et sollicitudin ac orci phasellus egestas tellus. Nec ultrices dui sapien eget mi. Metus dictum at tempor commodo ullamcorper a lacus vestibulum. Vestibulum rhoncus est pellentesque elit. Maecenas sed enim ut sem viverra aliquet eget sit amet. Feugiat vivamus at augue eget arcu dictum varius. Risus in hendrerit gravida rutrum quisque non tellus. Nisl purus in mollis nunc sed id semper. Neque convallis a cras semper auctor neque. In pellentesque massa placerat duis ultricies lacus sed. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Massa ultricies mi quis hendrerit dolor. Et molestie ac feugiat sed lectus vestibulum mattis ullamcorper. At erat pellentesque adipiscing commodo elit. Potenti nullam ac tortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morb 全結果 ⻑⽂ 結合
9. これらの問題を解決するツールを思い浮かびました！ ⻑⽂を分割して実⾏するツールを使ったら便利じゃないか？ 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？ Q. ただ分割すればいいのでしょうか？ A. ChatGPTに「トークン数」という概念が あり、計算ツールも公開されているので、分 割のトークン数を指定すれば⼀度で処理でき るサイズにコントロールできそう。 でも、⽂の途中で切れたりしたら内容が前後 に分かれるので、それはできるだけ避けた い。
10. これらの問題を解決するツールを思い浮かびました！ ⻑⽂を分割して実⾏するツールを使ったら便利じゃないか？ 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？ Q. 分割した時に前後のコンテキストを⾒せ てあげないといけないのかな？ A. 前後のコンテキストや、それ以前の要約が あればベストなのは間違いないが、最初はシ ンプルに前後のコンテキストを全く読ませな いものにしてみます。
11. これらの問題を解決するツールを思い浮かびました！ ⻑⽂を分割して実⾏するツールを使ったら便利じゃないか？ 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？ Q. ChatGPTで1時間とかの⻑⽂を英訳すると すごく時間がかかって⼤変ですよね？ A. はい、ずっと張り付いて終わったら次の をきりはりすると⾯倒ですが、ほったらかし にしてしばらくすれば完成すれば結構楽か も。しかも、前後のコンテキストを使わなく て良い設計にすれば、並列実⾏できますね！ そうすれば3倍くらいのスピードにできるか も
12. これらの問題を解決するツールを思い浮かびました！ ⻑⽂を分割して実⾏するツールを使ったら便利じゃないか？ 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？ Q. Geminiの⽅が早いらしい？Anthropic Claude Opusの⽅が頭がいいらしい？ A. たしかに！じゃあそれらも並列で実⾏し て結果を⽐較できればいいんでしょうか！は い、やりますよ。
13. 処理の流れ！ 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？ s et. Amet massa vitae tortor condimentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulum rhoncus est pellentesque elit ullamcorper. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Facilisi nullam vehicula ipsum a arcu. Diam maecenas ultricies mi eget mauris pharetra et. Magna sit amet purus gravida quis blandit turpis cursus in. Ac feugiat sed lectus vestibulum mattis ullamcorper. Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed libero enim sed faucibus. Pharetra massa massa ultricies mi. Suspendisse sed nisi lacus sed viverra tellus. Ac tortor vitae purus faucibus ornare. Egestas purus viverra accumsan in. Urna id volutpat lacus laoreet non curabitur gravida. Fermentum et sollicitudin ac orci phasellus egestas tellus. Nec ultrices dui sapien eget mi. Metus dictum at tempor commodo ullamcorper a lacus vestibulum. Vestibulum rhoncus est pellentesque elit. Maecenas sed enim ut sem viverra aliquet eget sit amet. Feugiat vivamus at augue eget arcu dictum varius. Risus in hendrerit gravida rutrum quisque non tellus. Nisl purus in mollis nunc sed id semper. Neque convallis a cras semper auctor neque. In pellentesque massa placerat duis ultricies lacus sed. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Massa ultricies mi quis hendrerit dolor. Et molestie ac feugiat sed lectus vestibulum mattis ullamcorper. At erat pellentesque adipiscing commodo elit. Potenti nullam ac tortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morb consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. Nibh veentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulu Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed ortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morbi tristique senectus et netus. Aliquam sem et tortor consequat id. Nulla pellentesque dignissim enim sit. Quis auctor elit sed vulputate mi sit amet mauris commodo. Nunc sed blandit libero volutpat sed cras ornare. Iaculis at erat pellentesque adipiscing commodo. Nunc mattis enim ut tellus elementum sagittis. Nunc eget lorem dolor sed viverra ipsum nunc. Enim diam vulputate ut pharetra sit amet aliqua 分割 指⽰⽂ A OpenAI API ue diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ① 原⽂① 原⽂② 原⽂③ 原⽂④ 全原⽂ ⻑⽂ s et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ② amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ② consectetur adipiscing. Donec et odio orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ② 指⽰⽂A nibh. Morbi tristique senectus et netus et. Amet massa vitae tortor condimentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulum rhoncus est pellentesque elit ullamcorper. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Facilisi nullam vehicula ipsum a arcu. Diam maecenas ultricies mi eget mauris pharetra et. Magna sit amet purus gravida quis blandit turpis cursus in. Ac feugiat sed lectus vestibulum mattis ullamcorper. Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed libero enim sed faucibus. Pharetra massa massa ultricies mi. Suspendisse sed nisi lacus sed viverra tellus. Ac tortor vitae purus faucibus ornare. Egestas purus viverra accumsan in. Urna id volutpat lacus laoreet non curabitur gravida. Fermentum et sollicitudin ac orci phasellus egestas tellus. Nec ultrices dui sapien eget mi. Metus dictum at tempor commodo ullamcorper a lacus vestibulum. Vestibulum rhoncus est pellentesque elit. Maecenas sed enim ut sem viverra aliquet eget sit amet. Feugiat vivamus at augue eget arcu dictum varius. Risus in hendrerit gravida rutrum quisque non tellus. Nisl purus in mollis nunc sed id semper. Neque convallis a cras semper auctor neque. In pellentesque massa placerat duis ultricies lacus sed. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Massa ultricies mi quis hendrerit dolor. Et molestie ac feugiat sed lectus vestibulum mattis ullamcorper. At erat pellentesque adipiscing commodo elit. Potenti nullam ac tortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morb 全結果 GPT 4 ⻑⽂ 結合 指⽰⽂B ue diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ① s et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ② amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ② consectetur adipiscing. Donec et odio orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ② 指⽰⽂ A OpenAI API 指⽰⽂ A OpenAI API 指⽰⽂ A OpenAI API 指⽰⽂ A API 指⽰⽂ A API 指⽰⽂ A API 指⽰⽂ A API nibh. Morbi tristique senectus et netus et. Amet massa vitae tortor condimentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulum rhoncus est pellentesque elit ullamcorper. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Facilisi nullam vehicula ipsum a arcu. Diam maecenas ultricies mi eget mauris pharetra et. Magna sit amet purus gravida quis blandit turpis cursus in. Ac feugiat sed lectus vestibulum mattis ullamcorper. Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed libero enim sed faucibus. Pharetra massa massa ultricies mi. Suspendisse sed nisi lacus sed viverra tellus. Ac tortor vitae purus faucibus ornare. Egestas purus viverra accumsan in. Urna id volutpat lacus laoreet non curabitur gravida. Fermentum et sollicitudin ac orci phasellus egestas tellus. Nec ultrices dui sapien eget mi. Metus dictum at tempor commodo ullamcorper a lacus vestibulum. Vestibulum rhoncus est pellentesque elit. Maecenas sed enim ut sem viverra aliquet eget sit amet. Feugiat vivamus at augue eget arcu dictum varius. Risus in hendrerit gravida rutrum quisque non tellus. Nisl purus in mollis nunc sed id semper. Neque convallis a cras semper auctor neque. In pellentesque massa placerat duis ultricies lacus sed. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Massa ultricies mi quis hendrerit dolor. Et molestie ac feugiat sed lectus vestibulum mattis ullamcorper. At erat pellentesque adipiscing commodo elit. Potenti nullam ac tortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morb 全結果 Gemini ⻑⽂ 結合
14. これらの問題を解決するツールを思い浮かびました！ ⻑⽂を分割して実⾏するツールを使ったら便利じゃないか？ 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？ Q. ChatGPTのWeb UIは便利なんだけど、結果を管理するのが⾯倒な気がしません か？ A. はい、とくに複数の⻑⽂が章⽴てになっていたりする時にその管理がすごく⾯ 倒なので、今回のアプリはローカルで動いて、ファイル→ファイルに変換する形 にしましょう。将来的にWebアプリにして、サービスとして提供できるといいの で、Webでも実⾏できるプログラミングはしておきますから。
15. これらの問題を解決するツールを思い浮かびました！ ⻑⽂を分割して実⾏するツールを使ったら便利じゃないか？ 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？ Q. 字幕を和訳して、マークダウンにするという2つのタスクの命令分を書いてい るのだけど、なんかうまくやってくれないのですが、なんとかしてくれません か？ A. １回⽬の結果に対して別の命令⽂を実⾏すればそれぞれのシンプルなタスクを 実⾏できますね。ただAPIのコストは倍になりますよ！
16. 処理の流れ！ 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？ s et. Amet massa vitae tortor condimentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulum rhoncus est pellentesque elit ullamcorper. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Facilisi nullam vehicula ipsum a arcu. Diam maecenas ultricies mi eget mauris pharetra et. Magna sit amet purus gravida quis blandit turpis cursus in. Ac feugiat sed lectus vestibulum mattis ullamcorper. Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed libero enim sed faucibus. Pharetra massa massa ultricies mi. Suspendisse sed nisi lacus sed viverra tellus. Ac tortor vitae purus faucibus ornare. Egestas purus viverra accumsan in. Urna id volutpat lacus laoreet non curabitur gravida. Fermentum et sollicitudin ac orci phasellus egestas tellus. Nec ultrices dui sapien eget mi. Metus dictum at tempor commodo ullamcorper a lacus vestibulum. Vestibulum rhoncus est pellentesque elit. Maecenas sed enim ut sem viverra aliquet eget sit amet. Feugiat vivamus at augue eget arcu dictum varius. Risus in hendrerit gravida rutrum quisque non tellus. Nisl purus in mollis nunc sed id semper. Neque convallis a cras semper auctor neque. In pellentesque massa placerat duis ultricies lacus sed. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Massa ultricies mi quis hendrerit dolor. Et molestie ac feugiat sed lectus vestibulum mattis ullamcorper. At erat pellentesque adipiscing commodo elit. Potenti nullam ac tortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morb consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. Nibh veentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulu Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed ortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morbi tristique senectus et netus. Aliquam sem et tortor consequat id. Nulla pellentesque dignissim enim sit. Quis auctor elit sed vulputate mi sit amet mauris commodo. Nunc sed blandit libero volutpat sed cras ornare. Iaculis at erat pellentesque adipiscing commodo. Nunc mattis enim ut tellus elementum sagittis. Nunc eget lorem dolor sed viverra ipsum nunc. Enim diam vulputate ut pharetra sit amet aliqua 分割 指 ⽰ ⽂ A O penAI API ue diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ① 原⽂① 原⽂② 原⽂③ 原⽂④ 全原⽂ ⻑⽂ s et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ② amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ③ consectetur adipiscing. Donec et odio orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ④ 指⽰⽂A nibh. Morbi tristique senectus et netus et. Amet massa vitae tortor condimentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulum rhoncus est pellentesque elit ullamcorper. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Facilisi nullam vehicula ipsum a arcu. Diam maecenas ultricies mi eget mauris pharetra et. Magna sit amet purus gravida quis blandit turpis cursus in. Ac feugiat sed lectus vestibulum mattis ullamcorper. Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed libero enim sed faucibus. Pharetra massa massa ultricies mi. Suspendisse sed nisi lacus sed viverra tellus. Ac tortor vitae purus faucibus ornare. Egestas purus viverra accumsan in. Urna id volutpat lacus laoreet non curabitur gravida. Fermentum et sollicitudin ac orci phasellus egestas tellus. Nec ultrices dui sapien eget mi. Metus dictum at tempor commodo ullamcorper a lacus vestibulum. Vestibulum rhoncus est pellentesque elit. Maecenas sed enim ut sem viverra aliquet eget sit amet. Feugiat vivamus at augue eget arcu dictum varius. Risus in hendrerit gravida rutrum quisque non tellus. Nisl purus in mollis nunc sed id semper. Neque convallis a cras semper auctor neque. In pellentesque massa placerat duis ultricies lacus sed. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Massa ultricies mi quis hendrerit dolor. Et molestie ac feugiat sed lectus vestibulum mattis ullamcorper. At erat pellentesque adipiscing commodo elit. Potenti nullam ac tortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morb 全結果 GPT 4 ⻑⽂ 結合 指⽰⽂B ue diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ① s et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ② amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ③ consectetur adipiscing. Donec et odio orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ④ nibh. Morbi tristique senectus et netus et. Amet massa vitae tortor condimentum lacinia quis vel eros. Orci sagittis eu volutpat odio facilisis mauris. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Ut enim blandit volutpat maecenas. Amet nulla facilisi morbi tempus iaculis urna. Dolor sed viverra ipsum nunc aliquet bibendum enim. Bibendum at varius vel pharetra. Vestibulum rhoncus est pellentesque elit ullamcorper. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Facilisi nullam vehicula ipsum a arcu. Diam maecenas ultricies mi eget mauris pharetra et. Magna sit amet purus gravida quis blandit turpis cursus in. Ac feugiat sed lectus vestibulum mattis ullamcorper. Purus ut faucibus pulvinar elementum integer enim neque. Rhoncus mattis rhoncus urna neque viverra justo nec ultrices dui. Viverra maecenas accumsan lacus vel facilisis. Mattis nunc sed blandit libero volutpat sed. Fermentum odio eu feugiat pretium nibh. Proin sed libero enim sed faucibus. Pharetra massa massa ultricies mi. Suspendisse sed nisi lacus sed viverra tellus. Ac tortor vitae purus faucibus ornare. Egestas purus viverra accumsan in. Urna id volutpat lacus laoreet non curabitur gravida. Fermentum et sollicitudin ac orci phasellus egestas tellus. Nec ultrices dui sapien eget mi. Metus dictum at tempor commodo ullamcorper a lacus vestibulum. Vestibulum rhoncus est pellentesque elit. Maecenas sed enim ut sem viverra aliquet eget sit amet. Feugiat vivamus at augue eget arcu dictum varius. Risus in hendrerit gravida rutrum quisque non tellus. Nisl purus in mollis nunc sed id semper. Neque convallis a cras semper auctor neque. In pellentesque massa placerat duis ultricies lacus sed. Condimentum vitae sapien pellentesque habitant morbi tristique senectus et. Massa ultricies mi quis hendrerit dolor. Et molestie ac feugiat sed lectus vestibulum mattis ullamcorper. At erat pellentesque adipiscing commodo elit. Potenti nullam ac tortor vitae purus faucibus ornare. Porttitor rhoncus dolor purus non enim praesent elementum. Nisi scelerisque eu ultrices vitae. Adipiscing elit pellentesque habitant morb 全結果 Gemini ⻑⽂ 結合 指 ⽰ ⽂ A O penAI API 指 ⽰ ⽂ A O penAI API 指 ⽰ ⽂ A O penAI API 指 ⽰ ⽂ A G em ini API 指 ⽰ ⽂ A G em ini API 指 ⽰ ⽂ A G em ini API 指 ⽰ ⽂ A G em ini API 指⽰⽂ B OpenAI API ue diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ① s et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ② amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ③ consectetur adipiscing. Donec et odio orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ④ ue diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ① s et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ② amet consectetur adipiscing. Donec et odio pellentesque diam volutpat commodo. Et netus et malesuada fames ac turpis egestas. Odio tempor orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ③ consectetur adipiscing. Donec et odio orci dapibus ultrices in iaculis nunc sed augue. Lacinia at quis risus sed vulputate odio. Elementum sagittis vitae et leo duis. Suspendisse ultrices gravida dictum fusce. Platea dictumst quisque sagittis purus. Amet luctus venenatis lectus magna fringilla urna porttitor. Magna fermentum iaculis eu non. 結果 ④ 指⽰⽂ B OpenAI API 指⽰⽂ B OpenAI API 指⽰⽂ B OpenAI API 指⽰⽂ B Gemini API 指⽰⽂ B Gemini API 指⽰⽂ B Gemini API 指⽰⽂ B Gemini API
17. これらの問題を解決するツールを思い浮かびました！ ⻑⽂を分割して実⾏するツールを使ったら便利じゃないか？ 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？ Q. 別に⼊⼒があるわけじゃなくて、複数LLM⽐較したいだけなんですが。 A. わかりました。⼊⼒なしでもいいですよ。
18. アプリケーションの設計！ ⻑⽂を分割して実⾏するツール • 綺麗に⻑⽂を分割してLLMに渡して全実⾏する • 全ての結果を結合する。前後のコンテキストは渡さない • 並列実⾏で実⾏を⾼速に • Azure OpenAI, OpenAI, Gemini, Anthropic Claude Opus同時実⾏対応 • ローカルファイルからローカルファイルを作成するコンソールアプリ • 複数の指⽰⽂を連続で実⾏してくれる 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」どのようなコンセプトで作ったのか？
19. 「⻑⽂から⻑⽂を作るLLMツール」 技術的なポイントなど
20. ⻑⽂から⻑⽂を作るコンソールアプリケーション Long2Long https://github.com/tomohisa/Long2Long 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」技術的なポイントなど
21. ⻑⽂から⻑⽂を作るコンソールアプリケーション Long2Long • C# コンソールアプリケーション • 設定が多いので、JSONファイルで設定する • ファイルで⼊⼒ ファイルで出⼒ • オープンソースなので、誰でも今から使えます！ 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」技術的なポイントなど
22. C#でLLMを試すためには？ • Semantic Kernel いろいろな便利機能 (C#対応！) • Langchain⾊々便利機能 (C#は対応していない) • APIをそのまま叩く(シンプル) →簡単に⽂字を⼊⼒し て、⽂字を出⼒する。 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」技術的なポイントなど 今回はシンプルでいいのでAPIを直接叩くようにし ます。
23. C#でLLMを試すためには？ Nugetに簡単にAPIのキーを渡せば使えます。 • Azure OpenAI + OpenAI ◦ Azure.AI.OpenAI 1.0.0-beta.15 • Anthropic Claude ◦ Claudia 1.0.1 by @neuecc • Google Gemini ◦ Google_GenerativeAI 0.1.15 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」技術的なポイントなど
24. C#でLLMを試すためには？ APIのキーは各サービスから取得可能。個⼈でOpenAIやClaudeを購⼊するより は安い（はず） • Azure OpenAI ◦ https://portal.azure.com • OpenAI ◦ https://oai.azure.com/portal プリペイドでAPI使⽤を購⼊ 有料プラン とは別管理(のはず) • Anthropic Claude ◦ https://www.anthropic.com/api プリペイドでAPI使⽤を購⼊ 有料プ ランとは別管理 • Google Gemini ◦ https://aistudio.google.com/ 無料でキー作れて使えている 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」技術的なポイントなど
25. 同時実⾏耐性は？ APIのキーを使って同時アクセスすると、同時接続エラーが出る場合があるため、同時実 ⾏の制限をする必要がある • Azure OpenAI ◦ かなり強い - 3スレッド同時実⾏でほぼエラーにならない 結果は遅い • OpenAI ◦ かなり強い - 3スレッド同時実⾏でほぼエラーにならない 結果は遅い • Anthropic Claude Opus ◦ あまり強くない - 3スレッド同時実⾏で結構エラーが出る。⽇によるので多分 サーバー⾃体がBusyになっている 実⾏は遅い • Google Gemini ◦ 同時実⾏したらエラー、直列実⾏ でもめちゃくちゃ早い Gemini Pro 1.0 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」技術的なポイントなど
26. トークンの計算をする⽅法？ • AI.Dev.OpenAI.GPT Nuget Package ◦ GPT3時代のトークン計算⽅法をローカルで実⾏ できる ◦ GPT 4のトークン数はGPT 3.5時代と計算⽅法が 違い、0.75倍程度 https://www.jiang.jp/posts/20230505_tiktoken/ ◦ 切れない量がわかればいいので、このま ま使⽤する 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」技術的なポイントなど
27. チャンクの計算アルゴリズム • トークン最⼩量、最⼤量を指定 • ⾏ごとにチャンクに追加、最⼤量を超えたらその⾏は次のチャンクとする • 最⼤量を超える前に、最⼩量を超えていなかったら⽂ごとに切って、最⼩量 を超えるようにする 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」技術的なポイントなど 最⼩量 最⼤量 これは次チャンク これは次チャンク これは長すぎるので、文や単語に 分割して最小量を超えるようにする これは次チャンク これは次チャンク
28. 「⻑⽂から⻑⽂を作るLLMツール」 使い⽅のデモ＋コード紹介
29. デモ1: Youtubeを英訳or和訳しましょう？ • d1.json に設定 • 15分くらいの⽇本語のsrtファイル • そのまま英訳させる • 1時間くらいのものでも10分くらいで完成する 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」使い⽅のデモ＋コード紹介
30. デモ2: Youtubeを英訳or和訳 + マークダウンに変換しましょう？ • d2.json に設定 • 15分くらいの⽇本語のsrtファイル • そのまま英訳させる • 第⼆フェーズで英語のまま、マークダウンファイルに編集する • 別ファイルで保存してくれるので、フェーズの進⾏を⾒ることができる 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」使い⽅のデモ＋コード紹介
31. デモ3: ⼊⼒なしで質問だけさせる • d3.json に設定 • 別ファイルで保存してくれるので、フェーズの進⾏を⾒ることができる 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」使い⽅のデモ＋コード紹介
32. 時間があればコードに関して • Domain Modeling Made Functional本にイン スパイアされて、代数的データ型（ADT）の 概念で、オブジェクトの状態の遷移を型の遷 移で表している • 昨⽇ADTとユニットテストに関して別イベン トで登壇しました。よかったらご覧くださ い。 • 副作⽤のない（メソッド内で⼊出⼒しない） ことにより、将来Azureにも対応 🆗 #dotnetlab 「⻑⽂から⻑⽂をつくるLLMツール」使い⽅のデモ＋コード紹介
33. まとめ
34. まとめ • L2Lコンソールは個⼈的にすごく便利 • 検索とか、Function Calling、Code Interpreterな どの機能は使えずに、純LLMの機能だけなので万 能ではない • ファイルで保存しているため、テキストだけある 英語の本の全翻訳など、ローカルで検索できるの ですごく便利、管理ができる • Webサービス化して、それぞれが⾃分のAPIキー ⼊れて動作させるとかできるかもですが、APIの 費⽤はかなりかかる 🆗 #dotnetlab
35. 質問、感想などありましたらXなどで連絡ください @tomohisa Long2Longはこちら https://github.com/tomohisa/Long2Long 昨⽇の登壇まとめはこちら https://zenn.dev/jtechjapan_pub/articles/d4e1dacb6f00a2 来週、.NET Aspireのイベントで話します https://csharp-tokyo.connpass.com/event/312383/ Sekiban GitHub https://github.com/J-Tech-Japan/Sekiban J-Tech Japan Tech Blog https://zenn.dev/p/jtechjapan_pub おわり 🆗 #dotnetlab