Initial commit

Extracted from https://github.com/spect88/text-scraper with minor
tweaks.

Author: spect88

.gitignore

@@ -0,0 +1,2 @@
+node_modules
+npm-debug.log

LICENSE

@@ -0,0 +1,21 @@
+The MIT License (MIT)
+
+Copyright (c) 2015 Tomasz Szczęśniak-Szlagowski
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in
+all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
+THE SOFTWARE.

README.md

@@ -0,0 +1,32 @@
+# html-to-utf8
+
+A Node.js library for converting HTML documents of arbitrary encoding to UTF-8.
+
+### Installation
+
+```shell
+npm install html-to-utf8
+```
+
+### Usage
+
+```javascript
+var request = require('request');
+var toUTF8 = require('html-to-utf8');
+
+request({
+  url: 'http://www.rakuten.co.jp',
+  encoding: null // stop request from decoding response
+}, function(err, resp, buffer) {
+  if (err) {
+    console.error(err.stack);
+    return;
+  }
+
+  var htmlInUTF8 = toUTF8(buffer, resp.headers['content-type']);
+});
+```
+
+### License
+
+The code is available under [MIT license](LICENSE).

index.js

@@ -0,0 +1,25 @@
+'use strict';
+
+var jschardet = require('jschardet');
+var charset = require('charset');
+var iconv = require('iconv-lite');
+
+module.exports = ensureUTF8;
+
+function ensureUTF8(binaryBuffer, contentType) {
+  var encoding = detectEncoding(binaryBuffer, contentType);
+
+  if (encoding === 'utf8') return binaryBuffer.toString('utf8');
+
+  return iconv.decode(binaryBuffer, encoding);
+}
+
+function detectEncoding(content, contentType) {
+  var byMetaAndContentType = charset({'content-type': contentType}, content);
+  if (byMetaAndContentType) return byMetaAndContentType;
+
+  var byGuessing = jschardet.detect(content);
+  if (byGuessing && byGuessing.encoding) return byGuessing.encoding;
+
+  return 'utf8';
+}

package.json

@@ -0,0 +1,33 @@
+{
+  "name": "html-to-utf8",
+  "version": "0.1.0",
+  "description": "Convert html documents of arbitrary encoding to UTF-8",
+  "main": "index.js",
+  "scripts": {
+    "test": "mocha spec"
+  },
+  "keywords": [
+    "utf8",
+    "html",
+    "encoding"
+  ],
+  "author": "Tomasz Szczęśniak-Szlagowski <spect88@gmail.com>",
+  "license": "MIT",
+  "repository": {
+    "type": "git",
+    "url": "git+https://github.com/spect88/html-to-utf8.git"
+  },
+  "bugs": {
+    "url": "https://github.com/spect88/html-to-utf8/issues"
+  },
+  "homepage": "https://github.com/spect88/html-to-utf8#readme",
+  "dependencies": {
+    "charset": "^1.0.0",
+    "iconv-lite": "^0.4.11",
+    "jschardet": "^1.3.0"
+  },
+  "devDependencies": {
+    "chai": "^3.2.0",
+    "mocha": "^2.3.2"
+  }
+}

spec/html-to-utf8.spec.js

@@ -0,0 +1,30 @@
+'use strict';
+
+var fs = require('fs');
+var expect = require('chai').expect;
+
+var convert = require('../index');
+
+describe('Encoding Converter', function() {
+  it('properly decodes Shift-JIS html documents', function() {
+    var input = loadExample('51242_54045.html');
+    var output = convert(input, 'text/html');
+    expect(output).to.contain('或る日の小せん');
+  });
+
+  it('guesses encoding even without meta tags or content type', function() {
+    var input = loadExample('shiftjis.no.meta.html');
+    var output = convert(input, 'text/html');
+    expect(output).to.contain('日本語');
+  });
+
+  it('works for documents which already are UTF-8', function() {
+    var input = loadExample('utf8.with.meta.html');
+    var output = convert(input, 'text/html');
+    expect(output).to.contain('日本語');
+  });
+});
+
+function loadExample(name) {
+  return fs.readFileSync(__dirname + '/resources/' + name);
+}

spec/resources/51242_54045.html

@@ -0,0 +1,93 @@
+<?xml version="1.0" encoding="Shift_JIS"?>
+<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN"
+    "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">
+<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ja" >
+<head>
+	<meta http-equiv="Content-Type" content="text/html;charset=Shift_JIS" />
+	<meta http-equiv="content-style-type" content="text/css" />
+	<link rel="stylesheet" type="text/css" href="../../aozora.css" />
+	<title>吉井勇 或る日の小せん</title>
+	<script type="text/javascript" src="../../jquery-1.4.2.min.js"></script>
+  <link rel="Schema.DC" href="http://purl.org/dc/elements/1.1/" />
+	<meta name="DC.Title" content="或る日の小せん" />
+	<meta name="DC.Creator" content="吉井勇" />
+	<meta name="DC.Publisher" content="青空文庫" />
+</head>
+<body>
+<div class="metadata">
+<h1 class="title">或る日の小せん</h1>
+<h2 class="author">吉井勇</h2>
+<br />
+<br />
+</div>
+<div id="contents" style="display:none"></div><div class="main_text"><br />
+　今は故人になつてしまつたが、私の知つてゐる落語家先代の柳家小せんは、足腰が立たず、目が見えなくなつてからも、釈台を前に置いて高座を勤め、昔からある落語にもいろいろ自分で工夫をして、「芸」に磨きをかけることを忘れなかつた。<br />
+　久保田万太郎、岡村柿紅、私などが<ruby><rb>肝煎</rb><rp>（</rp><rt>きもいり</rt><rp>）</rp></ruby>となつて、「小せん会」と云ふものを作り、毎月一回<ruby><rb>何処</rb><rp>（</rp><rt>どこ</rt><rp>）</rp></ruby>かの寄席で独演会をやつてゐたが、幸ひにいつも大入だつたのは、要するに当人が芸に熱心だつたからなのであつた。<br />
+「五人廻し」「錦の袈裟」「子別れ」「とんちき」「高尾」「山崎屋」「突落し」「居残り佐平次」「磯の鮑」「お見立」「廓大学」「お茶汲」「羽織」「白銅」と云つたやうな<ruby><rb>廓話</rb><rp>（</rp><rt>くるわばなし</rt><rp>）</rp></ruby>が得意で、かう云ふ落語になると足腰の立たない盲目の身でありながら、聴き手の心をぐんぐん引き付けてゆく、不思議な魅力を持つてゐるのだつた。芸の力と云つてしまへばそれまでだが、さうなるまでには<ruby><rb>一方</rb><rp>（</rp><rt>ひとかた</rt><rp>）</rp></ruby>ならぬ苦心が重ねられてゐたのであつて、およそ世の中の「芸」と称せられるものには、何処か頭の下がるやうな底光りが感じられるのは、切瑳琢磨と云つたやうな心の<ruby><rb>研</rb><rp>（</rp><rt>みが</rt><rp>）</rp></ruby>きが、幾十度となくかかつてゐるからなのだらうか。<br />
+　小せんも落語には、いろいろ苦心をしてゐたが――或る日のことである。<br />
+「小せんさんゐるかい。」<br />
+　厩橋の直ぐ近くをちよつと曲つた、小せんの家の格子戸をがらりと開けて、声を懸けたのは岡村柿紅君。<br />
+「ああ、どうぞお上んなすつて下さい。」<br />
+　障子の中からさう云つて返事をしたのは、まさしく小せんで。<br />
+「やあ、稽古か。」<br />
+　上がると直ぐ茶の間で、瀬戸物の火鉢を中に、小せんと向ひ合つて坐つてゐるのは、近頃<ruby><rb>声色</rb><rp>（</rp><rt>こわいろ</rt><rp>）</rp></ruby>で売り出した小山三。見ると私はさう云つて、柿紅君と一緒に奥の座敷の方へ通つた。<br />
+「ちよつと失礼します。」<br />
+　と云つて、小せんが小山三に稽古をしてやつてゐるのは「高尾」の一節で、声色の冒頭として教へてやつてゐるらしい。<br />
+「ここまで話して置いて、それから声色にかかるんだ。いいかい。分つたかね。今度来るまでに幾度も自分でやつて見るがいいや」<br />
+　と云つてから稽古を終つた小せんは、女房のお時に助けられながら、私達のゐる座敷の方へ居ざつて来た。<br />
+「如何も失礼を致しました。上野の師匠（三代目小さん）に頼まれて、若い輩五六人に稽古をしてやつてゐるもんですから、近頃はこれで中々忙しいんです。」<br />
+「さうかい。そりやあ結構じやないか。」<br />
+「ええ、お陰様で皆さんが心配して下さるもんですから、こんな体になつても、如何にかかうにかやつてゆけます。」<br />
+　小せんはさう云つて、色の黒い面をちよつと伏せたが、暫くすると何か思ひ出したやうに顔を上げて、<br />
+「ねえ、岡村先生。あのう、白浪五人男の稲瀬川の勢揃ひの場で、それぞれツラネの<ruby><rb>台詞</rb><rp>（</rp><rt>せりふ</rt><rp>）</rp></ruby>がありますね。あの中の忠信利平のは何とか云ひましたね。餓鬼の時から手癖が悪く――」<br />
+「抜け参りからぐれ出して。」<br />
+「ああ。さうさう、旅から旅を稼ぎ廻り。」<br />
+　と云ふ小せんの言葉を継いで、柿紅君はすらすらと、<br />
+「碁打と云つて寺方や、物持百姓の家へ押し入り、盗んだ金の<ruby><rb>罪科</rb><rp>（</rp><rt>つみとが</rt><rp>）</rp></ruby>は、毛抜けの塔の二重三重、重なる悪事に高飛なし――と云ふんだらう。」<br />
+　と云つてから、<br />
+「何だい。何かにこれを使ふのかい。」<br />
+　訊かれると小せんの顔には、盲目とは思はれないやうな朗らかに明るい微笑が浮んだ。<br />
+「ええ、実はこの次の小せん会で、居残り佐平次を演らうと思つていろいろ工夫をしてゐるんですが、終ひの方に女郎屋の主人が、すつかり佐平次を持て余して、ひと先づ金の算段に出て行つて呉れと云ふところがあるでせう。」<br />
+「ああ、あすこで。」<br />
+「こいつを使はうつて云ふんですよ。へえ、それがね、もし旦那え、と芝居がかつた台詞になつてから、こちらの閾を跨いで外へ出られないと云ふのは、実は旦那、人殺しこそしてゐませんが、夜盗、かつさり、家尻切、悪いに悪いと云ふことを仕尽しまして、五尺の体の置きどころのない身の上でございますと云ふと、主人は驚いて、そんな悪いことをしさうな方でもないやうな方だと云ひます。」<br />
+「うん、それから。」<br />
+「ええ、それからがこの台詞ですが、すつかり調子を砕いてしまつて、持つて生れた悪性で、餓鬼の時から手癖が悪うございまして、抜け参りからぐれ出しまして、旅から旅を稼ぎ廻り、碁打と云つては寺方だの、物持百姓の家へ押し入りまして、盗んだ金の罪科は毛抜けの塔の二重三重、重なる悪事に高飛なしと云ふと主人が、何だか聴いたやうな文句だと云ひます。如何でせう、ひとつ今度はかう云ふ風にやつて見ようと思つてゐるんですが。」<br />
+「なるほど。こいつあきつと受けるね。」<br />
+「面白いよ。」<br />
+　と柿紅君と私とは口を揃へて云つたが、果して当日ここへ来ると、どつと客席が引くり返るほど受けた。<br />
+　その晩楽屋で苦心した甲斐のあつたことを、ひどく喜んでゐた小せんの顔を、私はいまだに忘れることが出来ない。<br />
+<br />
+<br />
+<br />
+</div>
+<div class="bibliographical_information">
+<hr />
+<br />
+底本：「日本の名随筆　別巻29　落語」作品社<br />
+　　　1993（平成5）年7月25日第1刷<br />
+　　　1999（平成11）年7月10日第4刷<br />
+底本の親本：「吉井勇全集　第七巻」番町書房<br />
+　　　1964（昭和39）年3月<br />
+入力：門田裕志<br />
+校正：POKEPEEK2011<br />
+2014年7月16日作成<br />
+青空文庫作成ファイル：<br />
+このファイルは、インターネットの図書館、<a href="http://www.aozora.gr.jp/">青空文庫（http://www.aozora.gr.jp/）</a>で作られました。入力、校正、制作にあたったのは、ボランティアの皆さんです。<br />
+<br />
+<br />
+</div>
+<div class="notation_notes">
+<hr />
+<br />
+●表記について<br />
+<ul>
+	<li>このファイルは W3C 勧告 XHTML1.1 にそった形式で作成されています。</li>
+</ul>
+</div>
+<div id="card">
+<hr />
+<br />
+<a href="JavaScript:goLibCard();" id="goAZLibCard">●図書カード</a><script type="text/javascript" src="../../contents.js"></script>
+<script type="text/javascript" src="../../golibcard.js"></script>
+</div></body>
+</html>

spec/resources/shiftjis.no.meta.html

@@ -0,0 +1,5 @@
+㱨瑭氾ਠ‼扯摹㸊††㱨ㄾ鏺陻質㰯栱㸊†㰯扯摹㸊㰯桴浬㸊
+  <body>
+    <h1>���{��</h1>
+  </body>
+</html>

spec/resources/utf8.with.meta.html

@@ -0,0 +1,8 @@
+<html>
+  <head>
+    <meta charset="UTF-8">
+  </head>
+  <body>
+    <h1>日本語</h1>
+  </body>
+</html>