1 © PKSHA Technology All rights reserved. PKSHAでアルゴリズムを 社会実装する楽しみ 2023/12/05 株式会社PKSHA Workplace 中川 岳

2 © PKSHA Technology All rights reserved. $ whoami 中川 岳（なかがわ　がく） 博士課程修了後、富士通研究所でミドルウェアの研究に従事 その後、フィックスターズでSaaS事業立ち上げに参加 AI SaaSのプラットフォームを最前線で見るためにPKSHAへ参画 現在はPKSHA Chatbot開発チームのマネジメントおよび運用開発 開発組織を横断した制度設計・施策の推進、エンジニア採用を担当 (株) PKSHA Workplace AI SaaS開発部 エンジニアリング・マネージャー

3 未来の ソフトウエアを 形にする MISSION 人と ソフトウエアの 共進化 VISION

4 © PKSHA Technology All rights reserved. PKSHAにおけるエンジニア職種 Algorithm Engineer (AE) 問題の解決手法を考え、そのコアとなるアルゴリズムを開発する専門家 機械学習/数理最適化/自然言語処理などの技術で社会の問題を解いていく Kaggle Grandmasterが複数在籍 Software Engineer (SWE) アルゴリズムをサービスとして実装、運用する専門家 AI SaaSプロダクト、Solution事業における個社向けサービスの運用開発を担当 アルゴリズムの価値が最大限発揮できるようにサービスを作り込む

5 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: アルゴリズムをサービスへ 最先端アルゴリズムをカタチにしていく アルゴリズム単体では社会実装はできない 課題に正しく適用し、利用しやすい形態に仕立てる 考えることはたくさんある。SWEの腕の見せ所 どんな課題を解くのか/どんな形態が最も効果的か？/ どんなアルゴリズムを使うべきか？/根本課題は何か？/etc… 例: ChatGPTブームへの対応 2023年春のChatGPTの登場はPKSHAにも衝撃 SWEは冷静に調査、議論ができた 「XXXという課題にはつかえる」「YYYには使ってはいけない」

6 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: AIを安定的に提供する技術 シンプルな実装: 十分な品質でAI SaaSを提供できないことも 推論のレイテンシが満たせない、コスト問題、モデル劣化など 新しい問題: 学習モデルの管理、ロード、切り替え 例: PKSHA Chatbotにおける推論性能の改善 独自開発のキャッシュ機構により推論レイテンシを安定化

7 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: 「推論層」に挑む 伝統的なWeb3層アーキテクチャ = プレゼン層/アプリ層/データ層 AI SaaSでは機械学習による推論が入る。お楽しみはたくさんある モデル管理/キャッシュ/モデル圧縮・共通化/etc.. image from flaticon.com

8 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: AEとのコラボレーション SWEとAEが協働して、アルゴリズムを社会実装していく 新プロダクトを立ち上げ/新しい機能が欲しい/アルゴリズムを改善したい SWEの要請に合わせてAEがアサインされる 専門性を持ち寄ってアウトプットを最大化 アルゴリズム開発も、サービス運用開発も、両方極めるのは困難 コラボすることで、それぞれの専門性高く、よいものを作り上げる AIに関する最新動向が自然と手に入る 研究担当/AEは常に業界動向をキャッチアップ 重要なトピックがあれば速やかに社内共有される アルゴリズムに関する社内勉強会は職種問わず参加可能

9 © PKSHA Technology All rights reserved. コラボ例: 対話アルゴリズムの改善（PKSHA Chatbot） PKSHA Chatbot 高い対話精度を誇るAIチャットボットSaaS 対顧客コミュニケーション領域 + 社内DX領域に展開中 SWEとAEの協力により日々改善が行われている SWEから実運用で得られたリアルな課題、対話データなどを提供 AEは最新技術、実データ分析により、新しいアルゴリズムを設計実装 SWEは実環境でのテスト、既存実装への新アルゴ組み込みを実施 AEによるSWE向け勉強会の開催 アルゴ改善に役立つ最新技術を易しく本格的に 教えてくれる

10 © PKSHA Technology All rights reserved. コラボ例: 対話アルゴリズムの改善（PKSHA Chatbot） 特定顧客向けのChatbotで回答精度が頭打ち 大規模で使うがゆえの推論精度の低下が原因 AEによる問題分析、新アルゴの設計・実装 対話の実データの分析、SWEとの議論により問題を特定 最適なアルゴリズムを設計・実装 対話精度を大幅改善 顧客による受け入れテストで対話精度を10%以上改善 従来のアルゴリズムでは回答できなかったケースでも回答が可能に

11 © PKSHA Technology All rights reserved. コラボ例: 雑談から新機能（PKSHA Chatbot） Chatbotの精度を上げるには、質問のバリエーションが必要 AIによる推論で表記揺れはある程度カバーできるが、表現の幅を拾うのは難しい 精度を求めるならば、ユーザが手動で類似質問を考える必要がある 料金表はどこ？ 料金表　どこ 料金表が欲しい 料金表はありますか 料金表はどこですか？

12 © PKSHA Technology All rights reserved. ある日のSlackにて: これってAIでできないですかね？ image from flaticon.com 「言い換え」という分野で研究が既にありますよ！ わからないことがあった聞いてください 自動で質問バリエーション作ることできないかな… 既存研究があったりして…！ ありがとうございます🙌 作ってみたらできたよ！！！ 〜３週間後〜

13 © PKSHA Technology All rights reserved. さっそくサービスに実装

14 © PKSHA Technology All rights reserved. コラボ例: 社内ハッカソンから製品化へ GPT-4ハッカソン GPT-4を活用したプロトタイピングを行う2週間のハッカソン 全職種が対象: 「自然言語はもはやプログラミング言語、全員がプログラマ」 詳しくは: 「PKSHA ハッカソン」で検索 成果物の1つが製品に組み込み！ SWEがメインで実装したものがイベント終了後に正式にプロジェクト化 SWEとAEが協働して製品実装、客先デモによる磨き込みを経てベータリリース

15 © PKSHA Technology All rights reserved. Summary: 専門性を持ち寄り、楽しく社会実装 PKSHAでSWEとして働くのは楽しい プロダクト組み立て/AIを安定してホストする技術/推論層/etc… SWEとAEが協働してアルゴリズムを社会実装している それぞれの専門性をもちつつ、協働することで最大限にアウトプット AEとのコラボレーション例は多数、今日もまた新たな成果が生まれている SaaSで用いるアルゴリズムの精度改善/雑談から生まれる新機能/ 社内ハッカソンからの製品化 PKSHAでは共に社会実装を推進してくれる仲間を募集中です みんなでΔを持ち寄って未来のソフトウェアをカタチにしましょう