いかにして IVRyのエンジニアは 
 電話の未来を創造しているか 
 IVRy 町田
 

confidencial ⾃⼰紹介 ■ 学⽣時代: 京都⼤学･⼤学院  ⾃然⾔語処理を学ぶ ■ 2015年: 株式会社リクルートホールディングス  アプリ･Webのディレクター、データ分析等 ■ 2019年: エクサウィザーズ  NLPエンジニア、チームリード、エンジニアリングマネージャー ■ 2022年: IVRy  Point: 休⽇はボルダリングしかしていません 町⽥ 雄⼀郎 VP of AIE 

対話型電話AI SaaS IVRy 対話型電話AI SaaS IVRy(アイブリー)は、 ⽉額3,000円からカスタム電話をカンタンに作成できるサービス。 全ての電話業務を誰でもすぐにAIを使って効率化できます 

confidential 累計5000万着電に⾃動応答しています 

confidential IVRyのMission 最⾼の技術を、すべての⼈と企業に届ける →どのような仕組みで実現しているか？ 

confidential Mission実現のための開発体制 - Project制の採⽤ - ユーザーインタビューへの積極的な参加 - Slackでのオープンなコミュニケーション - Whyからの関与 - Feature Flag - Coding Agentによる開発⽣産性の向上 - 信頼できる対話体験の確⽴ 

confidential Project制の採⽤ - 3ヶ⽉に1回 Projectが⾒直される - Projectのフェーズに応じた⽬的‧⼈員構成 - フェーズに応じた⾼速な仮説検証 技術検証 PJ PoC PJ PMF PJ 

confidential Mission実現のための開発体制 - Project制の採⽤ - ユーザーインタビューへの積極的な参加 - Slackでのオープンなコミュニケーション - Whyからの関与 - Feature Flag - Coding Agentによる開発⽣産性の向上 - 信頼できる対話体験の確⽴ 少しだけ技術的な話 

confidential 信頼できる対話体験のために: 対話の評価技術 ユーザー体験の向上のためには⾼速な仮説検証が必要 ↓ 「本当によくなったのか？」を⽰す指標が必要 → IVRyでは様々な客観指標で⾃動評価している 

confidential 対話の評価技術: オフライン評価 IVRyのAIはworkflow的に複数のモジュールからできている。 それらのモジュールについては評価データによって外部評価を常に実⾏している。 なんとなく良くなったではなく客観的に評価することが⼤事 

confidential 対話の評価技術: オフライン評価 例: 以前のモデルではFew-Shotデータを与えることで性能を向上させることができていたが 最新のモデルではむしろ悪影響となるケースがある 

confidential 対話の評価技術: 完了率評価 実際の対話がうまくいったかどうかは、例えば最後のタスクが成功したかどうか(Task Completed Ratio)で⽐較することもできるが、対話全体をLLMに評価させることもで きる(LLM as a judge) 様々なユースケースでの完了率のモニタリング figure 

confidential 対話の評価技術: End2Endの対話テスト 電話アプリケーションQAではWebとは異なり、実際に電話しなければならない。 IVRyではテスト⽤のペルソナを与えたLLMに実際に電話をかけさせ、完全 End-to-Endの対話QAシステムを作成中している。 XXXです 080... お名前は？ 電話番号は？ 

confidential