2024年における ⽣成AIエンジニアとは何者か Generative AI/LLM Engineer Career Meetup #1 Yudai Yamamoto (@yyo616)

👦 ⾃⼰紹介 ⼭本 雄⼤ (@yyo616) ⽣成AIエンジニア • NTT Communications • LLMに関する研究開発、新規プロダクト開発 • フロントエンド → ⽣成AI のキャリアチェンジ • 最近は刃⽛にハマっている @yyo616

🙇 おことわり • 最近⽣成AIの業界に参⼊した素⼈の意⾒ • 客観性弱め、主観性強め、⽂字多め • ⽣成AIエンジニア = LLMエンジニア = AI Engineer として話します • あくまで参考程度に

❓⽣成AIエンジニアとは何者か

• 国産⽇本語LLMが⾬後の筍のように誕⽣ • 業界・会社の規模問わずに⽣成AI活⽤が加速 • 社内ドキュメント検索から⽣成AIをコアに据えたプロダクト開発のフェーズへ突⼊ 📈 最近の⽣成AI活⽤の状況 https://layerx.co.jp/news/20240610/ https://www.nikkei.com/article/DGXZQOTG13CRV0T10C24A5000000/ https://group.ntt/jp/magazine/blog/tsuzumi20240325/ https://exawizards.com/archives/27549/

🐣 ⽣成AIエンジニアという職種の出現 • ⽣成AIの社会実装に向けた専属⼈材、専属チームを各社が配置 • LLMエンジニア、⽣成AIエンジニアという職種が出現 • エンジニア界隈での注⽬度も上がってきている

• 前提 : 業界的に⽣成AIエンジニアの役割についてコンセンサスは取れていない • The Rise of the AI Engineer (Shawn Wang, 2023) を参考にすると「AIをうまく 評価、適⽤、製品化するための専⾨のエンジニア」と役割を定義できそう • ⽣成AIの製品化で特に課題となる、モデルの評価、外部ツール (chains, search tool, agents) とのオーケストレーション、最新研究の調査が典型的な業務内容 🧑💻 ⽣成AIエンジニアの役割 https://www.latent.space/p/ai-engineer

🧐 従来的なMLエンジニアリングとの差分 • モデル構築ではなくモデル適応技術に重点を置く • プロンプトエンジニアリングやFine Tuning など適応技術の⽅に⽐重が移った • 従来的なMLエンジニアリングには含まれない専⾨性が必要 • AI開発のフローが変化 • 基盤モデルやAPI、周辺ツールを組み合わせた価値検証を最初に⾏う • 相対的にアプリケーション側の開発の重要性が増加 • モデル評価の重要性が増加 • モデル評価の難易度と複雑性が増加する⼀⽅でその重要性はより増加 https://www.latent.space/p/ai-engineer

*求⼈サイトで記載されていた各社(21社)のLLMエンジニアの必須スキル項⽬(テクニカルスキルに限定)をカテゴリ分けして独⾃に集計 • ソフトウェアエンジニアのスキル + ⾃然⾔語処理・機械学習に関する知識 • Web開発の経験、コンピュータサイエンスの基本知識は must-have • 前職でWebエンジニアやSEだった⼈の割合は⾼め • 特にバックエンドやソフトウェアアーキテクチャに関する知⾒があると強い • ⾃然⾔語処理・機械学習に関する知識や経験も⼀定レベル必要 • ゼロつく①② 辺りの内容は理解しているレベル • must-have ではなく nice-to-have の求⼈も実は存在する 🧐 ⽣成AIエンジニアのテクニカルスキルの要件 16 15 11 3 1 0 2 4 6 8 10 12 14 16 18 機 械 学 習 の 関 連 経 験 W eb開 発 経 験 プ ロ グ ラ ミ ン グ ⾔ 語 ス キ ル ク ラ ウ ド サ ー ビ ス 経 験 そ の 他 *求⼈における必須スキル項⽬の集計結果

• 常にアンテナを張り続けキャッチアップしていく姿勢 • 素早く情報に反応して試⾏錯誤する姿勢が重要 • 技術だけでなくビジネス価値に向き合う必要性 • 各社が社内検索をRAGで実装して、次に何に取り組むかを模索中 • AIで何を解決するのか、AIならではの体験とは何か • ⼀般的なエンジニアよりも顧客視点、ビジネス視点を求められる ❤ ⽣成AIエンジニアに必要なマインドセット https://layerx.connpass.com/event/324728 https://www.meti.go.jp/shingikai/mono_info_service/digital_jinzai/pdf/016_03_00.pdf

• 評価パイプラインの構築・運⽤のスキル • 数ある基盤モデルからユースケースに最適なモデルを効率的に選定する必要 がある • 独⾃データセットの作成・評価を必要とするケースが増加 • プロンプトやRAGなどのLLM特有の要素に対応する必要がある • 従来的なMLエンジニアリングのスキル • LLMと従来的な機械学習モデルを適材適所で使うハイブリッドなアプローチが 現時点では⼀番有望に⾒える • 「AIで作る or AI で作らない」「LLMを使う or LLMを使わない」 の審美眼 と⼿札をいかに備えることができるか • nice-to-have として挙げた従来的なMLエンジニアリングの専⾨性が⽣成AI エンジニアにとっての⼤きな差別化要因になる 🧐 今後重要となるスキルの予想（妄想）

📣 宣伝

担当できるスコープ • 実は NTTコミュニケーションズも結構⽣成AIに取り組んでいます • 新規プロダクト開発、研究開発、⽣成AIに関する技術⽀援 • フロントエンド〜インフラ • RAG、ファインチューニング、継続事前学習、評価、データセット作成など • もしも興味ある⽅いればお話ししましょう︕ https://www.latent.space/p/ai-engineer

🙇 ご清聴ありがとうございました