(“Lost in the middle”現象 [1]) • 一方、現実にはインフラコストの観点から、検索 (retrieval) で絞り込む必要 ◦ 検索は技術的にLLMほど進化していないため、ここが全体の精度のネックに ◦ よって、コストが下がると検索の精度の要件が下がるメリットがある ▪ GPT-4 Turboで値段が約1/3に下がった = 検索精度が1/3でも同じコスト • 同様に、ユーザーへのレスポンス速度も、特に既存SaaSへの組み込みで重要 一方、速度とコストの地道な改善により、「実用化水準」を超えるユースケースが増えていく 自社視点で見た2024年の生成AIトレンド予測 [1] Lost in the middle: How language models use long contexts. NF Liu, et al.