Share
Embed
Transcript
19 slides
-
Mô hình ngôn ngữ N-gram Nguyễn Văn Hải Pgs. Yamamoto
Kazuhide Ptn.Xử Lý Ngôn Ngữ Tự Nhiên Trường Đại Học Khoa Học Kỹ Thuật Nagaoka -
Tóm tắt: Mô hình ngôn ngữ n-gram Thuật
toán chiết khấu(discounting): - phương pháp add-one - phương pháp witten-bell -phương pháp good-turing -
Phương pháp truy hồi Trong phương pháp add-one và
witten-bell cụm −+1 −+2 … −1 và cụm −+1 −+2 … −1 đồng thời không xuất hiện thì xác suất của cụm −+1 −+2 … −1 sau khi làm mịn vẫn bằng 0. Phương pháp truy hồi giải quyết vần đề bằng cách ước lượng các cụm n-gram chưa xuất hiện dựa vào các cụm n-gram ngắn hơn. -
Phương pháp truy hồi Xác suất cụm −+1 −+2
… −1 được tính lại như sau: ( |−+1 −+2 … −1 )= −+1 … −1 ếu C −+1 … > 0 ∗ −+1 … −1 ếu C −+1 … = 0 (1) -
Phương pháp truy hồi Áp dụng cho bigram ta
có: ( |−1 )= −1 ếu C −1 > 0 ∗ ( ) ếu C −1 = 0 Ta có thể viết lại như sau: ( |−1 )= −1 + −1 ∗ ∗ ( ) u(x)= 1 ế = 0 0 ế > 0 (2) (3) (4) -
Phương pháp truy hồi Áp dụng cho trigram ta
có: ( |−2 −1 )= −2 −1 ếu C −2 −1 > 0 1 ∗ |−1 ếu C −2 −1 = 0 à C −1 > 0 2 ∗ ếu C −2 −1 = 0 à C −1 = 0 (5) -
Phương pháp truy hồi Ta có thể viết lại
như sau: ( |−2 −1 )= −2 −1 + −2 −1 ∗ 1 ∗ |−1 + −1 ∗ 2 ∗ Độ chính xác của mô hình truy hồi phụ thuộc vào các tham số 1 , 2 . Do đó ta chọn tham số như 1 hàm n-gram: 1 = 1 −1 và 2 = 2 (6) -
Phương pháp nội suy Sử dụng các cụm n-gram
ngắn hơn để tính xác suất cho các cụm n-gram dài hơn Phương pháp này không phụ thuộc vào sự xuất hiện của các n-gram. Công thức như sau: ( |−+1 … −1 )= λ ( |−+1 … −1 ) + (1 − λ) ∗ |−+2 … −1 (7) -
Phương pháp nội suy Áp dụng cho bigram: (
|−1 )= λ ( |−1 ) + (1 − λ) ∗ Áp dụng cho trigram: ( |−2 −1 )= λ1 −2 −1 + λ2 −1 + λ3 ( ) λ = 1 (9) (8) -
Phương pháp nội suy Để đơn giản ta có
thể chọn tất cả λ bằng nhau và bằng 1/3. Hoặc chọn các tham số λ bằng hàm của n-gram: λ1 = λ1 −2 −1 , λ2 = λ2 −1 và λ3 = λ3 (10) -
Phương pháp Kneser-Ney Xây dựng dựa trên 2 phương
pháp: truy hồi và nội suy. Không cần áp dụng các thuật toán chiết khấu trước khi sử dụng nội suy -
Mô hình truy hồi Xác suất cụm −+1 −+2
… −1 được tính lại như sau: ( |−+1 … −1 )= C −+1 … − C −+1 … −1 ếu C −+1 … > 0 −+1 … −1 ∗ −+1 … −1 ếu C −+1 … = 0 (11) -
Mô hình truy hồi Trong đó: = N −
() N : số lượng từ v khác nhau xuất hiện trước w. −+1 … −1 = 1 − :C −+1…−1 >0 C −+1 … −1 − C −+1 … −1 1 − :C −+1…−1 >0 ( |−+1 … −1 ) (12) (13) -
Mô hình truy hồi Như vậy: ( |−2 −1
)= C −2 −1 − C −2 −1 ếu C −2 −1 > 0 −2 −1 ∗ −1 ếu C −+1 … = 0 (14) -
Mô hình truy hồi Như vậy: ( |−1 )=
C −1 − C −1 ếu C −1 > 0 −1 ∗ ếu C −1 = 0 = N − () (15) (16) -
Mô hình nội suy Xác suất cụm −+1 −+2
… −1 được tính lại như sau: −+1 … −1 = C −+1 … − C −+1 … + λ(−+1 … −1 ) −+1 … −1 (17) -
Mô hình nội suy Trong đó: λ −+1 …
−1 = N −+1 … −1 C −+1 … −1 Với N −+1 … −1 là số lượng từ v khác nhau xuất hiện liền sau cụm −+1 … −1 (18) -
Mô hình nội suy = C − () + λ
1 λ = N () = 1 1 + 22 (19) (20) (21) -
Mô hình nội suy Như vậy: −2 −1 =
C −2 −1 − C −2 −1 + λ(−2 −1 ) −1 −1 = C −1 − C −1 + λ(−1 ) ( ) ( ) = C − () + λ 1 (23) (24) (22)