Skip to content

Commit

Permalink
Add a normalizer for Japanese
Browse files Browse the repository at this point in the history
  • Loading branch information
@gmarty
gmarty committed Aug 19, 2012
1 parent 55dce58 commit ef5b9f3
Show file tree
Hide file tree
Showing 3 changed files with 482 additions and 0 deletions.
354 changes: 354 additions & 0 deletions lib/natural/normalizers/normalizer_ja.js
View file
@@ -0,0 +1,354 @@
/**
* Normalize Japanese inputs and expose function to perform several conversions.
*
* Note: `alphabet` means all lower/upper case letter + space.
*
* \@todo Lazy initializations of conversionTables and replacers.
* \@todo Would fixHalfwidthKana be useful?
*
* Descriptions of functions exposed:
* replacers.fullwidthToHalfwidth.alphabet 「全角」英字を「半角」に変換
* replacers.halfwidthToFullwidth.alphabet 「半角」英字を「全角」に変換
* replacers.fullwidthToHalfwidth.numbers 「全角」数字を「半角」に変換
* replacers.halfwidthToFullwidth.numbers 「半角」数字を「全角」に変換 「全角」スペースを「半角」
* replacers.fullwidthToHalfwidth.punctuation 「全角」記号を「半角」に変換 「半角」スペースを「全角」
* replacers.halfwidthToFullwidth.punctuation 「半角」記号を「全角」に変換
* replacers.fullwidthToHalfwidth.katakana 「全角カタカナ」を「半角カタカナ」に変換
* replacers.halfwidthToFullwidth.katakana 「半角カタカナ」を「全角カタカナ」に変換
*/

var flip = require('../util/utils.js').flip;
var merge = require('../util/utils.js').merge;
var Replacer = require('../util/utils').Replacer;

// From http://fernweh.jp/b/mb_convert_kana_js/
var conversionTables = {
fullwidthToHalfwidth: {
alphabet: {
'ａ': 'a',
'ｂ': 'b',
'ｃ': 'c',
'ｄ': 'd',
'ｅ': 'e',
'ｆ': 'f',
'ｇ': 'g',
'ｈ': 'h',
'ｉ': 'i',
'ｊ': 'j',
'ｋ': 'k',
'ｌ': 'l',
'ｍ': 'm',
'ｎ': 'n',
'ｏ': 'o',
'ｐ': 'p',
'ｑ': 'q',
'ｒ': 'r',
'ｓ': 's',
'ｔ': 't',
'ｕ': 'u',
'ｖ': 'v',
'ｗ': 'w',
'ｘ': 'x',
'ｙ': 'y',
'ｚ': 'z',
'Ａ': 'A',
'Ｂ': 'B',
'Ｃ': 'C',
'Ｄ': 'D',
'Ｅ': 'E',
'Ｆ': 'F',
'Ｇ': 'G',
'Ｈ': 'H',
'Ｉ': 'I',
'Ｊ': 'J',
'Ｋ': 'K',
'Ｌ': 'L',
'Ｍ': 'M',
'Ｎ': 'N',
'Ｏ': 'O',
'Ｐ': 'P',
'Ｑ': 'Q',
'Ｒ': 'R',
'Ｓ': 'S',
'Ｔ': 'T',
'Ｕ': 'U',
'Ｖ': 'V',
'Ｗ': 'W',
'Ｘ': 'X',
'Ｙ': 'Y',
'Ｚ': 'Z',
'　': ' ' // Fullwidth space
},

numbers: {
'０': '0',
'１': '1',
'２': '2',
'３': '3',
'４': '4',
'５': '5',
'６': '6',
'７': '7',
'８': '8',
'９': '9'
},

punctuation: {
'＿': '_',
'－': '-',
'・': '･',
'，': ',',
'、': '､',
'；': ';',
'：': ':',
'！': '!',
'？': '?',
'．': '.',
'。': '｡',
'（': '(',
'）': ')',
'［': '[',
'］': ']',
'｛': '{',
'｝': '}',
//'「': '｢',
//'」': '｣',
'｢': '「',
'｣': '」',
'＠': '@',
'＊': '*',
'＼': '\\',
'／': '/',
'＆': '&',
'＃': '#',
'％': '%',
'｀': '`',
'＾': '^',
'＋': '+',
'＜': '<',
'＝': '=',
'＞': '>',
'｜': '|',
'～': '~',
'≪': '«',
'≫': '»',
'─': '-',
'＄': '$',
'＂': '"'
},

katakana: {
'゛': 'ﾞ',
'゜': 'ﾟ',
'ー': 'ｰ',

'ヴ': 'ｳﾞ',
'ガ': 'ｶﾞ',
'ギ': 'ｷﾞ',
'グ': 'ｸﾞ',
'ゲ': 'ｹﾞ',
'ゴ': 'ｺﾞ',
'ザ': 'ｻﾞ',
'ジ': 'ｼﾞ',
'ズ': 'ｽﾞ',
'ゼ': 'ｾﾞ',
'ゾ': 'ｿﾞ',
'ダ': 'ﾀﾞ',
'ヂ': 'ﾁﾞ',
'ヅ': 'ﾂﾞ',
'デ': 'ﾃﾞ',
'ド': 'ﾄﾞ',
'バ': 'ﾊﾞ',
'パ': 'ﾊﾟ',
'ビ': 'ﾋﾞ',
'ピ': 'ﾋﾟ',
'ブ': 'ﾌﾞ',
'プ': 'ﾌﾟ',
'ベ': 'ﾍﾞ',
'ペ': 'ﾍﾟ',
'ボ': 'ﾎﾞ',
'ポ': 'ﾎﾟ',

'ァ': 'ｧ',
'ア': 'ｱ',
'ィ': 'ｨ',
'イ': 'ｲ',
'ゥ': 'ｩ',
'ウ': 'ｳ',
'ェ': 'ｪ',
'エ': 'ｴ',
'ォ': 'ｫ',
'オ': 'ｵ',
'カ': 'ｶ',
'キ': 'ｷ',
'ク': 'ｸ',
'ケ': 'ｹ',
'コ': 'ｺ',
'サ': 'ｻ',
'シ': 'ｼ',
'ス': 'ｽ',
'セ': 'ｾ',
'ソ': 'ｿ',
'タ': 'ﾀ',
'チ': 'ﾁ',
'ッ': 'ｯ',
'ツ': 'ﾂ',
'テ': 'ﾃ',
'ト': 'ﾄ',
'ナ': 'ﾅ',
'ニ': 'ﾆ',
'ヌ': 'ﾇ',
'ネ': 'ﾈ',
'ノ': 'ﾉ',
'ハ': 'ﾊ',
'ヒ': 'ﾋ',
'フ': 'ﾌ',
'ヘ': 'ﾍ',
'ホ': 'ﾎ',
'マ': 'ﾏ',
'ミ': 'ﾐ',
'ム': 'ﾑ',
'メ': 'ﾒ',
'モ': 'ﾓ',
'ャ': 'ｬ',
'ヤ': 'ﾔ',
'ュ': 'ｭ',
'ユ': 'ﾕ',
'ョ': 'ｮ',
'ヨ': 'ﾖ',
'ラ': 'ﾗ',
'リ': 'ﾘ',
'ル': 'ﾙ',
'レ': 'ﾚ',
'ロ': 'ﾛ',
'ワ': 'ﾜ',
'ヲ': 'ｦ',
'ン': 'ﾝ'
}
},

halfwidthToFullwidth: {}
};

var fixFullwidthKana = {
'ゝ゛': 'ゞ',
'ヽ゛': 'ヾ',

'う゛': 'ゔ',
'か゛': 'が',
'き゛': 'ぎ',
'く゛': 'ぐ',
'け゛': 'げ',
'こ゛': 'ご',
'さ゛': 'ざ',
'し゛': 'じ',
'す゛': 'ず',
'せ゛': 'ぜ',
'そ゛': 'ぞ',
'た゛': 'だ',
'ち゛': 'ぢ',
'つ゛': 'づ',
'て゛': 'で',
'と゛': 'ど',
'は゛': 'ば',
'は゜': 'ぱ',
'ひ゛': 'び',
'ひ゜': 'ぴ',
'ふ゛': 'ぶ',
'ふ゜': 'ぷ',
'へ゛': 'べ',
'へ゜': 'ぺ',
'ほ゛': 'ぼ',
'ほ゜': 'ぽ',
'っな': 'んな',
'っに': 'んに',
'っぬ': 'んぬ',
'っね': 'んね',
'っの': 'んの',

'ウ゛': 'ヴ',
'カ゛': 'ガ',
'キ゛': 'ギ',
'ク゛': 'グ',
'ケ゛': 'ゲ',
'コ゛': 'ゴ',
'サ゛': 'ザ',
'シ゛': 'ジ',
'ス゛': 'ズ',
'セ゛': 'ゼ',
'ソ゛': 'ゾ',
'タ゛': 'ダ',
'チ゛': 'ヂ',
'ツ゛': 'ヅ',
'テ゛': 'デ',
'ト゛': 'ド',
'ハ゛': 'バ',
'ハ゜': 'パ',
'ヒ゛': 'ビ',
'ヒ゜': 'ピ',
'フ゛': 'ブ',
'フ゜': 'プ',
'ヘ゛': 'ベ',
'ヘ゜': 'ペ',
'ホ゛': 'ボ',
'ホ゜': 'ポ',
'ッナ': 'ンナ',
'ッニ': 'ンニ',
'ッヌ': 'ンヌ',
'ッネ': 'ンネ',
'ッノ': 'ンノ'
};

// Fill in the conversion tables with the flipped tables.
conversionTables.halfwidthToFullwidth.alphabet = flip(conversionTables.fullwidthToHalfwidth.alphabet);
conversionTables.halfwidthToFullwidth.numbers = flip(conversionTables.fullwidthToHalfwidth.numbers);
conversionTables.halfwidthToFullwidth.punctuation = flip(conversionTables.fullwidthToHalfwidth.punctuation);
conversionTables.halfwidthToFullwidth.katakana = flip(conversionTables.fullwidthToHalfwidth.katakana);

// Build the normalization table.
conversionTables.normalize = merge(
conversionTables.fullwidthToHalfwidth.alphabet,
conversionTables.fullwidthToHalfwidth.numbers,
conversionTables.halfwidthToFullwidth.punctuation,
conversionTables.halfwidthToFullwidth.katakana
);

var replacers = {
fullwidthToHalfwidth: {
alphabet: new Replacer(conversionTables.fullwidthToHalfwidth.alphabet),
numbers: new Replacer(conversionTables.fullwidthToHalfwidth.numbers),
punctuation: new Replacer(conversionTables.fullwidthToHalfwidth.punctuation),
katakana: new Replacer(conversionTables.fullwidthToHalfwidth.katakana)
},

halfwidthToFullwidth: {
alphabet: new Replacer(conversionTables.halfwidthToFullwidth.alphabet),
numbers: new Replacer(conversionTables.halfwidthToFullwidth.numbers),
punctuation: new Replacer(conversionTables.halfwidthToFullwidth.punctuation),
katakana: new Replacer(conversionTables.halfwidthToFullwidth.katakana)
},

fixFullwidthKana: new Replacer(fixFullwidthKana),
normalize: new Replacer(conversionTables.normalize)
};


/**
* Fix kana and apply the following processes;
* * Alphabet to halfwidth
* * Numbers to halfwidth
* * Punctuation to fullwidth
* * Katakana to fullwidth
*
* @param str
* @return {String}
*/
var normalizeJapanese = function(str) {
str = replacers.normalize(str);
str = replacers.fixFullwidthKana(str);

return str;
};

exports.normalizeJapanese = normalizeJapanese;
exports.replacers = replacers;

0 comments on commit ef5b9f3

Please sign in to comment.