Slide 53
Slide 53 text
© 2020 International Business Machines Corporation 53
IBM Data and AI
• エンティティに対するFuzzy Matching機能により単純なミスタイプや、語幹が同⼀の語(“bananas”
と“banana”など)を同じと認識するなどのことが可能となっています。以下の3つのコンポーネント
が含まれており、⽇本語では Misspelling のみが実装されています。
- Stemming : エンティティの語幹(Stem)を認識する(bananasとbanana, runningとrun 等)
- Misspelling : ミスタイプを認識する
- Partial match : ⽂字列の⼀部のマッチングを認識する
Fuzzy Matching はエンティティの設定画⾯で、エンティティ毎に on/off することができます。
Fuzzy Match で抽出されたエンティティは confidence が 1より⼩さい値になります。(以下は「ア
ジェンダ」を「アジェンド」とミスタイプした例)
"entities": [
{
"entity": "アジェンダ",
"location": [5,10],
"value": "アジェンダ",
"confidence": 0.83
}
エンティティのFuzzy Matching