fix(sent-tokenizer): normalised sentence is included in sentence tokens

Author: kaldan007

botok/tokenizers/sentencetokenizer.py

@@ -1,5 +1,5 @@
 # coding: utf8
-
+import re
 # variables used in the tests
 ending_particles = [
     "གོ་",
@@ -34,17 +34,47 @@
 clause_boundaries = te_particles + ["ནས་", "ན་"]
 dagdra = ["པ་", "བ་", "པོ་", "བོ་"]
 
+normalization_patterns = [(' <utt>', ''),
+            ('༑', '།'), 
+            ('\s\s+', ' '), 
+            ('ln\d ', ''), 
+            ('([^༅།་ ]) །', '\g<1>་ །'), 
+            ('༅ །', '༅།'), 
+            ('([^་།\d] )', '\g<1>-'), 
+            ('([\s\n་།][གདབམའ][ཀཁགངཅཆཇཉཊཋཌཎཏཐདནཔཕབམཙཚཛཝཞཟའཡརལཤཥསཧཨཪ]) ', '\g<1>འ་ '), 
+            ('([^་།])\s-', '\g<1>་ -'), 
+            ('ཁྱད་པ་ -ར་', 'ཁྱད་པར་'), 
+            ('སངས་ རྒྱ་ -ས་', 'སངས་རྒྱས་'), 
+            ('བྱང་ཆུབ་སེམས་ དཔའ་', 'བྱང་ཆུབ་སེམས་དཔའ་'), 
+            ('ལ་ -ས་', 'ལས་'),
+            ('༌་', '་')]
+
+def get_normalized_sentence(tokens):
+    sentence = ''
+    for token in tokens:
+        sentence += f'{token.text} '
+    sentence = sentence.strip()
+    normalized_sentence = sentence
+    for pattern in normalization_patterns:
+        normalized_sentence = re.sub(pattern[0], pattern[1], normalized_sentence)
+    return normalized_sentence
 
 # Turn sentences as indices into sentences as follows:
-# (<sent_length>, [token1, token2, ..., tokenn]) where tokens are Token objects
+# { 'length':<sent_length>, 'tokens':[token1, token2, ..., tokenn], 'norm_sent':<normalized sentence>} where tokens are Token objects
 ############################################################
 def sentence_tokenizer(tokens):
     sent_indices = get_sentence_indices(tokens)
-    # get tokens for each sentence
     sentences = []
     for sentence in sent_indices:
+        cur_sentence = {}
         start, end, l = sentence["start"], sentence["end"], sentence["len"]
-        sentences.append((l, tokens[start : end + 1]))
+        norm_sentence = get_normalized_sentence(tokens[start : end + 1])
+        cur_sentence = {
+            'length': l,
+            'tokens': tokens[start : end + 1],
+            'norm_sent': norm_sentence
+        }
+        sentences.append(cur_sentence)
 
     return sentences
 

tests/tokenizers/test_sent_par_tokenizer.py

@@ -26,7 +26,7 @@ def tokens(wt):
 def test_sent_tokenizer(tokens):
     sents = sentence_tokenizer(tokens)
 
-    out = ["".join([word.text for word in s[1]]) for s in sents]
+    out = ["".join([word.text for word in s['tokens']]) for s in sents]
     expected = [
         "བཀུར་བར་མི་འགྱུར་ཞིང༌། །བརྙས་བཅོས་མི་སྙན་རྗོད་པར་བྱེད། །",
         "དབང་དང་འབྱོར་པ་ལྡན་པ་ཡི། །རྒྱལ་རིགས་ཕལ་ཆེར་བག་མེད་པས། །མྱོས་པའི་གླང་ཆེན་བཞིན་དུ་འཁྱམས། །དེ་ཡི་འཁོར་ཀྱང་དེ་འདྲར་འགྱུར། །",
@@ -49,6 +49,32 @@ def test_sent_tokenizer(tokens):
     ]
     assert out == expected
 
+def test_normalized_sentence(tokens):
+    sents = sentence_tokenizer(tokens)
+
+    norm_sentences = [sentence['norm_sent'] for sentence in sents]
+    expected = [
+        "བཀུར་བ་ -ར་ མི་ འགྱུར་ ཞིང་ ། ། བརྙས་བཅོས་ མི་ སྙན་ རྗོད་པ་ -ར་ བྱེད་ ། །",
+        "དབང་ དང་ འབྱོར་པ་ ལྡན་པ་ ཡི་ ། ། རྒྱལ་རིགས་ ཕལ་ཆེར་ བག་མེད་པ་ -ས་ ། ། མྱོས་པ་ -འི་ གླང་ཆེན་ བཞིན་ དུ་ འཁྱམས་ ། ། དེ་ ཡི་ འཁོར་ ཀྱང་ དེ་ འདྲ་ -ར་ འགྱུར་ ། །",
+        "གཞན་ ཡང་ རྒྱལ་པོ་ རྒྱལ་རིགས་ ཀྱི་ ། ། སྤྱོད་པ་ བཟང་ངན་ ཅི་འདྲ་བ་ ། ། དེ་ འདྲ་ -འི་ ཚུལ་ ལ་ བལྟས་ ནས་ སུ་ ། ། འབངས་ རྣམས་ དེ་ དང་ དེ་ འདྲ་ སྟེ་ ། །",
+        "རྒྱལ་པོ་ ནོར་ ལ་ བརྐམས་ གྱུར་ ན་ ། །",
+        "ནོར་ གྱིས་ རྒྱལ་ཁྲིམས་ བསླུ་བ་ -ར་ རྩོམ་ ། །",
+        "མི་བདག་ གཡེམ་ ལ་ དགའ་ གྱུར་ ན་ ། །",
+        "འཕྱོན་མ་ -འི་ ཚོགས་ རྣམས་ མགོ་འཕང་ མཐོ་ ། །",
+        "ཕྲ་མ་ -ར་ ཉན་ ན་ དབྱེན་ གྱིས་ གཏོར་ ། །",
+        "བརྟག་དཔྱད་ མི་ ཤེས་ རྫུན་ གྱིས་ སླུ་ ། ། ང་ ལོ་ ཡང་ན་ ཀུན་ གྱིས་ བསྐྱོད་ ། །",
+        "ངོ་དགའ་ -ར་ བརྩི་ ན་ ཟོལ་ཚིག་ སྨྲ་ ། །",
+        "དེ་ དང་ དེ་ ལ་སོགས་པ་ ཡི་ ། ། མི་བདག་ དེ་ ལ་ གང་ གང་ གིས་ ། ། བསླུ་བ་ -ར་ རུང་བ་ -འི་ སྐབས་ མཐོང་ ན་ ། །",
+        "གཡོན་ཅན་ ཚོགས་ ཀྱིས་ ཐབས་ དེ་ སེམས་ ། ། མི་ རྣམས་ རང་འདོད་ སྣ་ཚོགས་ ལ་ ། ། རྒྱལ་པོ་ ཀུན་ གྱི་ ཐུན་མོང་ ཕྱིར་ ། ། རྒྱལ་པོ་ -ས་ བསམ་ གཞིགས་ མ་ བྱས་ ན་ ། །",
+        "ཐ་མ་ -ར་ རྒྱལ་སྲིད་ འཇིག་པ་ -ར་ འགྱུར་ ། །",
+        "ཆེན་པོ་ -འི་ གོ་ས་ -ར་ གནས་པ་ ལ་ ། ། སྐྱོན་ ཀྱང་ ཡོན་ཏན་ ཡིན་ཚུལ་ དུ་ ། ། འཁོར་ ངན་ རྣམས་ ཀྱིས་ ངོ་བསྟོད་ སྨྲ་ ། །",
+        "དེ་ཕྱིར་ སྐྱོན་ཡོན་ ཤེས་པ་ དཀའ་ ། །",
+        "ལྷག་པར་ རྩོད་ ལྡན་ སྙིགས་མ་ -འི་ ཚེ་ ། ། འཁོར་ གྱི་ ནང་ ན་མ་ རབས་ མང་ ། །",
+        "སྐྱོན་ ཡང་ ཡོན་ཏན་ ལྟར་ མཐོང་ ལ་ ། ། རང་འདོད་ ཆེ་ ཞིང་ རྒྱལ་པོ་ བསླུ་ ། ། ཆུས་ དང་ འཁོར་ གྱི་ བདེ་ ཐབས་ ལ་ ། ། བསམ་ གཞིགས་ བྱེད་པ་ དཀོན་པ་ -འི་ ཕྱིར་ ། ། རྒྱལ་པོ་ -ས་ ལེགས་པ་ -ར་ དཔྱད་ ནས་",
+        "སུ་ ། ། བདེན་པ་ -འི་ ངག་ ལས་",
+    ]
+    assert norm_sentences == expected
+
 
 def test_par_tokenizer(tokens):
     pars = paragraph_tokenizer(tokens)