Upgrade to Pro — share decks privately, control downloads, hide ads and more …

スマートデバイス用の高速なアノテーションツール / Fast Annotation system for SmarT devices

スマートデバイス用の高速なアノテーションツール / Fast Annotation system for SmarT devices

WebSite: https://www.fast-annotation-tool.app
Github: https://github.com/CyberAgent/fast-annotation-tool

NLGシステムの生成結果の評価、あるいは極性判定のような応用タスクのアノテーションでは、実応用時と同様の幅広い属性のアノテーターによる作業が重要である。こうした応用事例ではクラウドソーシングのような仕組みを利用して多様なアノテーターを集めることが多い一方で、実世界のユーザの多くはスマートフォンなどのモバイル端末を利用する割合が多い。
本稿では、これまで注力されていなかったスマートフォンなどのモバイル端末におけるUXを重視した、応用タスク向けのアノテーションツール "FAST" を提案する。実験では、複数名のアノテーターによるアノテーションを実施し、ツールのログやユーザアンケートから速度や品質、使いやすさといった指標を評価した。結果、本システムは特定のタスクにおいて、既存の手法と比較して、品質を維持しつつ高速にアノテーションできることを確認した。

Shunyo Kawamoto

June 30, 2021
Tweet

Other Decks in Research

Transcript

  1. 川本 峻頌, 澤井 悠, 脇本 宏平, 張 培楠 株式会社サイバーエージェント FAST

    スマートデバイス用の高速なアノテーションツール
  2. 9

  3. 全体の流れ 13 アノテータ 運用者 ツールの デプロイ ユーザ登録 タスクの 振り分け データの

    アップロード アノテーション アノテーション結果 の分析 進捗の確認 ・タスク完了率 ・Google Analytics ・アプリログ ・Slack 通知
  4. 評価実験 15 商品レビューの極性判定タスク 評価指標: • 作業効率(速さ) • 品質(正解率, 一致率) •

    使いやすさ(アンケート) 比較ツール: • doccano1 アノテータ: • 18人の幅広い属性のユーザーに依頼 1https://github.com/doccano/doccano ▼ 比較パターン
 ・提案ツール × C
 ・提案ツール × C
 ・提案ツール × モバイル 
 ・提案ツール × モバイル 
 ・比較ツール × C
 ・比較ツール × モバイル 
 
 × カード式 I
 × マルチラベル式 I
 × カード式 I
 × マルチラベル式 I
 
 

  5. 結果 • 作業効率: FA のカード式 Iが優位 
 ◦ アクションのコスト(動作の数, 長さ)が寄与

    
 
 • 使いやすさ: モバイル-カード式が優位 
 ◦ アノテーションの手軽さ 
 ◦ 隙間時間に作業したケースも 
 16
  6. まとめ • これまで注力されていなかった、 モバイルを重視したアノテーションツールの提案と開発 ◦ 幅広い属性のアノテータによる作業が可能 • 極性判定タスクによる比較実験 ◦ 作業効率,

    品質, 使いやすさを比較 ◦ 速度面ではカード式UIが優位(既存ツールと比較し43%の時間短縮) ◦ モバイル-カード式 が最も使いやすい 17