Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Nishika_テックチーム_ご紹介資料 / Nishika_TechTeam_Introdu...

Avatar for Nishika-Inc Nishika-Inc
February 14, 2024

Nishika_テックチーム_ご紹介資料 / Nishika_TechTeam_Introduction

Nishikaテックチームのご紹介資料です。

Avatar for Nishika-Inc

Nishika-Inc

February 14, 2024

More Decks by Nishika-Inc

Other Decks in Business

Transcript

  1. 会社概要 高 精 度A I議 事 録 ソフ トウェ ア

    SecureMemoシリーズ 社名 Nishika株式会社 設立 20 19年5月7日 ビジョン テクノロジ ーです べての人が誇りを持てる 社会を 所在 東京都・五反田 役員 代表取締役CE O 山下達朗 代表取締役CTO 松田裕之 主要株主 創業者、 サイバーエージェント ・キャピタル リヴァンプ 、グロービス 他 事業内容 AIプロダクト事業 AIソリューション事業 © Nishika, Inc オンプレミス 版 クラウド版 4
  2. ビジョン テクノロジーですべての人が誇りを持てる社会を Nishikaは「テクノロジーですべての人が誇りを持てる社会の実現」をミッションに掲げています。 Nishikaは、すべての人が自分自身の生き方や仕事に誇りを持って日々を過ごしていける社会を実現することが、豊かで幸せな人生を生きる上 での礎になると信じています。 自分がやるべきだと思ったことができる、自分がやったことが評価される、自分だからできると思ったことができることで、人は誇りを持てると考えます‍。 社名"Nishika"は、私達のサービスを通じて世界中の人々が「自分”にしか”できないと感じることをして欲しい」、 私達自身も「Nishika”にしか”できない仕事をしていきたい」、 という願いから名付けています。 Nishikaは、誇りを持てる社会を実現するための道具として、AIやデータサイエンスといったテクノロジーは大いに役立つものだと考えています。

    しかし、高度なテクノロジーは必ずしも多くの人が当たり前に使うことのできる状態にはなっていません。 Nishikaは、テクノロジーを、普段テクノロジーからは縁の遠い人にとっても当たり前の存在としていき、皆の仕事の付加価値・業務効率を向上さ せることに貢献したいと考え、日々活動しています。 © Nishika, Inc 5
  3. 強み:高精度音声認識 国内最高水準の精度を誇る音声認識AI「shirushi」を開発。低品質音声でも精度を維持 高品質な音声 ✓雑音が少ない ✓明瞭な発生 ✓高性能なマイクを利用 © Nishika, Inc 低品質な音声

    ✓雑音が多い ✓明瞭でない発声 ✓低性能なマイクを利用 ✓マイク志向性との不一致 ※Fleurs一部データによる自社評価結果。評価は正解テキストから文字単位で誤りがあった割合(CER)を元に算出 ※ファイル全体のバッチ処理結果より算出 7
  4. 強み:パーソナライズ校正 【特許取得】ユーザーの修正履歴を利用し音声認識結果を改善する「パーソナライズ校正」 ユーザーの修正 前処理 私たちのプロダクトの隙間メモは高 制度で文字起こしができるんです ね 言語処理により重要情報抽出 LLM指示へ動的追加 私たちのプロダクトのセキュアメモ

    は高精度で文字起こしができます LLMによる自動校正 セキアメモを紹介をした後に、社 内制度の紹介をします セキュアメモを紹介した後に、社 内制度の紹介をします 単純な置換ではなく、文脈を理解 した判断により過剰修正を防止 © Nishika, Inc 9
  5. 発信 音声認識AI「shirushi」の開発とLLMとの組み合わせによる展望 進化するヒトと機械の音声コミュニケーション Vol.2 〜AIの活用と感情に寄り添う音声認識・合成の新展開〜 ◆人工知能の発展に伴い、飛躍的に進歩している音声認識・合成技術 ◆聴覚・発声のメカニズムから音声の認識・合成の最新技術、今後の展望まで 網羅&詳解 ◆娯楽・情報・福祉等、実用化事例も満載。より豊かな生活に向けたコミュニ ケーションの実現へ

    【担当箇所】 ⚫ 第2編 音声認識・合成・コミュニケーションの応用技術 第1章 音声認識の応用技術 第4節 世界最高水準の高精度音声認識AI「shirushi」の開発 松田 裕之/渡辺 光太朗 1. はじめに 2. 音声認識の課題と昨今の技術発展 3. Whisper実用化のための取り組み 4. 大規模言語モデル (LLM) との組み合わせによるさらなる性能向上 5. 今後の展望 © Nishika, Inc 10
  6. 強み:ハイブリッド話者認識 【特許申請中】業界随一の高精度・高速を両立した半教師あり話者認識 Inputs 入力1: 発話テキスト Teacher Data 入力2: 会議音声ファイル 開始

    入力3: 会議参加者数 半教師あり 話者認識 出力: 話者付き 文字起こし結果 終了 入力4: 既知の話者の 声紋リスト © Nishika, Inc 11
  7. 目指す姿 会議には、企業活動を理解するためのコンテキストが集まる ◼AIエージェントの性能は、与えられたコンテキストで決まる ◼会議データを抑えれば、企業活動のコンテキストを多方面で獲得できる インプット 問い合わせ 会議音声・動画 関連資料 何を知りたいか/何に関心があるか 修正・加工

    文字起こし・議事録の修正 企業コンテキスト 出力の利用 閲覧・引用・共有 どの回答を採用したか 分類・整理 行動と結果 タグ付与による会議の整理 会議を受けた行動がどんな結果を 生んだか では、会議データからAIはどのように企業固有の知識を学ぶのか? © Nishika, Inc 13
  8. 目指す姿 会議を記録し、直し、使うたびに、企業固有の学習信号が蓄積する 文字の修正で得られる学習信号 タグ付けで得られる学習信号 「セコイアメモ →‍セキュアメモ」のような修正を、専門用語・社内用語の正解と して学習。汎用的な音声認識では捉えにくい、組織固有の表現に適応する。 人が付けたタグと会議内容から、そのタグが表す会議の内容を学習。 既存タグの名寄せと自動提案により、表記ゆれや付け漏れも抑える。 →

    使うほど、その組織の認識精度が育つ → 使うほど、その組織の分類軸が育つ 意味の修正で得られる学習信号 会話で得られる学習信号 「SMC‍→‍SecureMemoCloud」のような言い換えから、組織固有の略語・ 同義語を学ぶ。 ベテラン営業の顧客の質問に対する回答を、商談状況と併せて蓄積。 新人の商談で、蓄積データから回答候補をリアルタイムに提示。 → 使うほど、その組織の辞書が育つ → 使うほど、その組織のノウハウが育つ © Nishika, Inc 14
  9. 目指す姿 学習信号を統合すると、企業の理解を更新し続ける「世界モデル」となる 1. 会議で 現実を言語化 企業の世界モデル 「誰が・何について・どの状況で・何を決め、 その後どうなったか」を、 関係と状態変化として表現し、会議の度に更新する 言葉

    関係 SMC = SecureMemoCloud 顧客・製品・案件の繋がり 状態 行動 検討中→提案→受注 この状況ではこう対応 4. アプリケーションで 価値を生む 2. 学習信号を得る 3. 世界モデルを更新 この構想を、研究開発とプロダクト開発の両面から実装するのがNishikaのテックチームです © Nishika, Inc 15
  10. テックチーム CTO AIエンジニアリングチーム • モデル実装・最適化 • ML/LLM基盤・パイプライン構築 • CI/CD・デプロイメント •

    AIカスタム開発プロジェクト推進 6名 © Nishika, Inc アプリエンジニアリングチーム SecureMemo SecureMemoCloud • SecureMemoの開発 • SecureMemo AIモジュールを用い たカスタム開発プロジェクト推進(新 AIプロダクト候補) • SecureMemoCloudの開発 • SecureMemoCloud AIモジュー ルを用いたカスタム開発プロジェクト推 進(新AIプロダクト候補) 4名 4名 17
  11. テックチームメンバー 松田 裕之 | 代表取締役CTO 東京大学大学院卒業後、野村総合研究所を経て、日本アイ・ビー・エムにてデータサ イエンティストとして人工知能Watson・機械学習搭載システムの技術検証を主導。 2019年にNishikaを創業、代表取締役CTOを務める。SecureMemo事業の立ち 上げを牽引、現在はAIプロダクト全般の開発およびR&Dを統括。 趣味は囲碁。

    髙山 雄貴 | AIエンジニア 早稲田大学卒業後、システムインテグレーターにてサーバー運用やアプリケーション開 発に従事。ソフトウェアベンダーにて、主にデータベースの設計、運用に従事する傍ら、 データ利活用案件にも参画。Nishika参画後は、生成AI活用プロジェクトの推進・ AIプロダクト機能開発の両方を担うデータサイエンティストとして活躍。 Kaggle Expert。趣味はボードゲーム。 渡辺 光太朗 | AIエンジニア 中央大学卒業後、製造業の情報システム部にて、販売システムの刷新などに従事。 その後、データサイエンス関連企業にてSNSデータの解析、アプリケーションや機械学 習モデルの開発に従事。Nishika参画後は、AIプロダクトのモデル性能向上・アルゴリ ズム考案を中心的に担うデータサイエンティストとして活躍。 Kaggle Master。趣味は料理。 山口 史晃 | AIエンジニア 九州工業大学大学院修了後、医療機器分野のソフトウェア設計、データ分析業務 に従事した後にNishikaに参画。データの分析、可視化業務を得意とする。 統計検定準一級、Kaggle Expert。趣味はソフトバンクホークスの応援。 © Nishika, Inc 18
  12. テックチームメンバー 冨野 恭兵 | アプリエンジニア 熊本大学大学院卒業後、システムインテグレーターにおけるシステムエンジニア・インフ ラエンジニアとしての勤務経験を経て、創業4ヶ月目に第一号社員としてNishikaに参 画。オンプレ・Web、アプリ・AI問わず、Nishikaのエンジニアリング全般をリードする。 猫を2匹飼っている。 岸本

    光司 | アプリエンジニア 高知工業高等専門学校卒業後、RPAプロダクト開発エンジニアとしての勤務経験を 経て、Nishikaに参画。 最も得意とするのはフロントエンド開発だが、フルスタックの開発も担うNishikaプロダク ト開発の中心的存在。 お昼休みはいつも散歩している。 室本 国人 | アプリエンジニア 九州工業大学卒業後、SESエンジニアとして複数プロジェクトでの開発経験を経て、 Nishikaに参画。フロントエンドからバックエンドまで幅広く対応し、全体最適な解決策 の提案を得意とする。 休日は基本的にインドア派。 © Nishika, Inc 19
  13. 私たちが大切にしている姿勢 1 常にユーザー目線の機能開発 • この機能に「熱量を向けてくれる」「お金を払ってくれる」ユー ザーの顔が見えるかを常に頭の片隅で意識しながら、開発アイ デア出し・優先順位決めを行なっています • 「自分が作った機能がユーザーに使われない」が極力発生しな い意思決定を行なっています

    3 2 「まずは互いの意見を求める」コミュニケーション • Nishikaは総勢30名ほどのチームで、テックチーム・ビジネスチー ムの距離が非常に近いです • 単に距離が近いだけでなく、コミュニケーションにおいては「まずあ なたの考えは何なのか」を出発点にする文化があります。どのよ うな立場であっても意見表明することを当たり前としています 「面白い」「他にない」を忘れない • Nishikaで仕事をする時間は、人生の中で決して短い時間で はありません。貴重な時間を費やすのであれば、やはり「面白 い」「他にない」ことに時間を費やしたいものです • 仕事の自由度が少しでもあるなら、より「面白い」「他にない」の はどっちだ、と考えて指針を決めています © Nishika, Inc 20
  14. ②「まずは互いの意見を求める」コミュニケーション BizDev相互理解 • • BizDevミーティングにエンジニアが参加、開発方針決定に関与 ビジネス判断の背景を理解した上での技術的な提案 気づきは即反映 • • スプリントレビューでの気づきを即座に反映

    「わからなければやってみる」 全員が当事者 • • • エンジニアが担当した開発カードは自身でカード起案者と仕様調整 R&Dテーマは持ち寄り トップダウンは「決めなければいけない」ときのみ © Nishika, Inc 22
  15. ③「面白い」「他にない」を忘れない 「AIよもやま定例」で R&D・エンジニアリングナレッジ共有 • • • R&Dの検証内容 • 音声認識モデルのファインチューニング •

    新しい話者認識アルゴリズム 輪読会 • 音声処理とは • Pythonの型ヒント • パフォーマンスエンジニアリング 日々の開発で気になっていること • 「技術的負債」の誤解 © Nishika, Inc AIエージェント活用事例共有 • 職種の壁を超えてAIエージェント活用事例を共有 23
  16. 弊社が取り組む課題 企業コンテキストの充実・更新を実現する UX・処理フローの構築 企業コンテキストを理解した前提の精度 向上の追求 • 企業コンテキストが常に流入・更新される状 態を作ることができれば、会議を軸としたAI エージェントとして唯一無二の価値が出せる。 •

    そのためには、ユーザーにストレスのない形で 日々フィードバックしてもらえるUXと、裏でAI がメタデータを抽出するフローが重要。 • ユーザーが求めるのはただの認識精度ではな く、企業コンテキストを理解した前提の精度。 • パーソナライズ校正はファインチューニングを ROIで大きく上回る手法だが、溜まった履歴 をどう校正に反映し精度を高めるかは改善 の余地がある。 © Nishika, Inc 24
  17. 技術スタック 常に課題起点で技術を評価し、チームで意思決定します Programming Python Application Framework TypeScript Flutter DevOps Github

    Actions Docker Infrastructure AWS © Nishika, Inc GCP PyTorch vLLM Llama.cpp Langfuse Wandb API Sendgrid Sentry Terraform SageMaker (AWS) Monitoring Azure Vercel CodeBuild (AWS) LangChain MLOps Next.js FastAPI Dart ML/LLM Tool CloudWatch (AWS) Auth0 Stripe 26
  18. 働き方 働き方 制度 フレックス 健康診断補助 ハイブリッドワーク 結婚祝い金・出産祝い金 PC貸与(Mac/Windows) インフルエンザワクチン補助 AWS/GCP/Azure利用可

    休日出勤手当・出張手当 Claude Code, Codex利用可 技術書購入補助 高性能GPU環境利用可(クラウド/オンプレ) 副業可 社内勉強会(AIよもやま研究) © Nishika, Inc 29