Slide 8
Slide 8 text
© 2024 LayerX Inc. 8
LLMのコスト低下・速度向上に期待
● コンテキストサイズの制限があっても、大抵はデータを分割して処理すれば問題ない
○ むしろその方が精度が良い (“Lost in the middle”現象 [1])
● 一方、現実にはインフラコストの観点から、検索 (retrieval) で絞り込む必要
○ 検索は技術的にLLMほど進化していないため、ここが全体の精度のネックに
○ よって、コストが下がると検索の精度の要件が下がるメリットがある
■ GPT-4 Turboで値段が約1/3に下がった = 検索精度が1/3でも同じコスト
● 同様に、ユーザーへのレスポンス速度も、特に既存SaaSへの組み込みで重要
一方、速度とコストの地道な改善により、「実用化水準」を超えるユースケースが増えていく
自社視点で見た2024年の生成AIトレンド予測
[1] Lost in the middle: How language models use long contexts. NF Liu, et al.