Fix incorrect results for Japanese

Closes GH-77.

Reviewed-by: Titus Wormer <[email protected]>

Author: lorumic

script/build.js

@@ -124,9 +124,11 @@ function generate(basename) {
     })
   })
 
-  /* Push Japanese. */
+  /* Push Japanese.
+   * Unicode Kanji Table from http://www.rikai.com/library/kanjitables/kanji_codes.unicode.shtml */
+  var kanjiRegexSource = '[\u3400-\u4DB5\u4E00-\u9FAF]'
   regularExpressions.jpn = new RegExp(
-    expressions.Hiragana.source + '|' + expressions.Katakana.source,
+    expressions.Hiragana.source + '|' + expressions.Katakana.source + '|' + kanjiRegexSource,
     'g'
   )
 

test/api.js

@@ -48,6 +48,36 @@ test('franc()', function(t) {
     'should work on unique-scripts with many latin characters (2)'
   )
 
+  t.equal(
+    franc('すべての人は、生命、自由及び身体の安全に対する権利を有する。'),
+    'jpn',
+    'should detect Japanese even when Han ratio > 0.5 (udhr_jpn art 3) (1)'
+  )
+
+  t.equal(
+    franc(
+      [
+        'すべての人は、憲法又は法律によって与えられた基本的権利を侵害する行為に対し、',
+        '権限を有する国内裁判所による効果的な救済を受ける権利を有する。'
+      ].join('')
+    ),
+    'jpn',
+    'should detect Japanese even when Han ratio > 0.5 (udhr_jpn art 8) (2)'
+  )
+
+  t.equal(
+    franc(
+      [
+        '成年の男女は、人種、国籍又は宗教によるいかなる制限をも受けることなく、婚姻し、',
+        'かつ家庭をつくる権利を有する。成年の男女は、婚姻中及びその解消に際し、',
+        '婚姻に関し平等の権利を有する。婚姻は、婚姻の意思を有する両当事者の自由かつ完全な合意によってのみ成立する。',
+        '家庭は、社会の自然かつ基礎的な集団単位であって、社会及び国の保護を受ける権利を有する。'
+      ].join('')
+    ),
+    'jpn',
+    'should detect Japanese even when Han ratio > 0.5 (udhr_jpn art 16) (3)'
+  )
+
   t.notEqual(
     franc(fixtureB, {ignore: [franc(fixtureB)]}),
     franc(fixtureB),