Save 37% off PRO during our Black Friday Sale! »

スマートデバイス用の高速なアノテーションツール / Fast Annotation system for SmarT devices

スマートデバイス用の高速なアノテーションツール / Fast Annotation system for SmarT devices

WebSite: https://www.fast-annotation-tool.app
Github: https://github.com/CyberAgent/fast-annotation-tool

NLGシステムの生成結果の評価、あるいは極性判定のような応用タスクのアノテーションでは、実応用時と同様の幅広い属性のアノテーターによる作業が重要である。こうした応用事例ではクラウドソーシングのような仕組みを利用して多様なアノテーターを集めることが多い一方で、実世界のユーザの多くはスマートフォンなどのモバイル端末を利用する割合が多い。
本稿では、これまで注力されていなかったスマートフォンなどのモバイル端末におけるUXを重視した、応用タスク向けのアノテーションツール "FAST" を提案する。実験では、複数名のアノテーターによるアノテーションを実施し、ツールのログやユーザアンケートから速度や品質、使いやすさといった指標を評価した。結果、本システムは特定のタスクにおいて、既存の手法と比較して、品質を維持しつつ高速にアノテーションできることを確認した。

B6aef8e21fa434d9288c285cb7c38b20?s=128

Shunyo Kawamoto

June 30, 2021
Tweet

Transcript

  1. 川本 峻頌, 澤井 悠, 脇本 宏平, 張 培楠 株式会社サイバーエージェント FAST

    スマートデバイス用の高速なアノテーションツール
  2. 本研究の貢献 2 • モバイル体験を重視したアノテーションツールのUI/UXを提案, 開発 • アノテーターの作業効率と快適性の向上を確認 • OSSとして公開

  3. 背景 3

  4. 幅広い属性のユーザーによるアノテーションが重要 • 実応用時と同じ属性のユーザーによる評価を重視 • 多数の非エキスパート > 少数のエキスパート1 例: • 自動生成した広告の評価

    • 商品レビューの極性判定 応用タスクのアノテーション 4 1Best practices for the human evaluation of automatically generated text, INLG 2019
  5. スマートデバイスの重要性 多くのユーザーがモバイル端末を利用 → モバイルに対する習熟度の上昇 → モバイルファーストなプロダクトの増加 5 総務省|情報通信機器の保有状況 https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r02/html/nd252110.html
 LI

    E 媒体資料 https://www.linebiz.com/jp/download/ スマートフォン
  6. UI/UXの向上によってアノテータの作業負荷を下げる • 疲れにくいUI/UX → 高品質化 • 作業の高速化・タスク達成率の向上 → コスト削減 アノテーションにおけるUI/UX

    6
  7. • アノテーションツールの長期運用を想定 ◦ Ops にアノテーションを入れ込む • 運用コスト削減 ◦ 簡単にアノテーションが発行/取得できる ◦

    インフラの面倒を見なくても良い 運用時のコスト削減 7
  8. 従来ツール • 言語学的アノテーション ◦ Brat, MAE, INCEpTION, Anafora • 応用タスクの評価

    ◦ doccano モバイルを重視したツールは未だない 8
  9. 9

  10. FASTの特徴 • モバイルの体験を重視し、一般的に馴染みのあるUIを採用 • 詳細なログ機能 • API経由のデータアップロード, 結果取得 • サーバーレス設計

    11
  11. ユースケース 12 生成文の二値判定 ペアワイズ評価 テキストラベリング 画像ラベリング

  12. 全体の流れ 13 アノテータ 運用者 ツールの デプロイ ユーザ登録 タスクの 振り分け データの

    アップロード アノテーション アノテーション結果 の分析 進捗の確認 ・タスク完了率 ・Google Analytics ・アプリログ ・Slack 通知
  13. 実験 14

  14. 評価実験 15 商品レビューの極性判定タスク 評価指標: • 作業効率(速さ) • 品質(正解率, 一致率) •

    使いやすさ(アンケート) 比較ツール: • doccano1 アノテータ: • 18人の幅広い属性のユーザーに依頼 1https://github.com/doccano/doccano ▼ 比較パターン
 ・提案ツール × C
 ・提案ツール × C
 ・提案ツール × モバイル 
 ・提案ツール × モバイル 
 ・比較ツール × C
 ・比較ツール × モバイル 
 
 × カード式 I
 × マルチラベル式 I
 × カード式 I
 × マルチラベル式 I
 
 

  15. 結果 • 作業効率: FA のカード式 Iが優位 
 ◦ アクションのコスト(動作の数, 長さ)が寄与

    
 
 • 使いやすさ: モバイル-カード式が優位 
 ◦ アノテーションの手軽さ 
 ◦ 隙間時間に作業したケースも 
 16
  16. まとめ • これまで注力されていなかった、 モバイルを重視したアノテーションツールの提案と開発 ◦ 幅広い属性のアノテータによる作業が可能 • 極性判定タスクによる比較実験 ◦ 作業効率,

    品質, 使いやすさを比較 ◦ 速度面ではカード式UIが優位(既存ツールと比較し43%の時間短縮) ◦ モバイル-カード式 が最も使いやすい 17
  17. 今後 • 対応できるタスクの拡充 • カスタマイズ性の強化 ◦ 画像への対応 ◦ より実運用に近い形でのアノテーションを可能に 18

  18. OSS WebSite: fast-annotation-tool.app Github: https://github.com/CyberAgent/fast-annotation-tool コミットお待ちしております! 19