2019/9/17 漫画DB 網站改版 + sites need skip_error

kanasimi · Sep 21, 2019 · 01317cc · 01317cc
1 parent 69510d5
commit 01317cc
Show file tree

Hide file tree

Showing 16 changed files with 44 additions and 7 deletions.
diff --git a/.github/ISSUE_TEMPLATE.md b/.github/ISSUE_TEMPLATE.md
@@ -21,6 +21,7 @@ Plese fill the template when you reporting a new issue, thank you!
 
 * **Version**: <!-- 您使用的 work_crawler 為哪個版本: 安裝包, 懶人安裝法 -->
 * **Interface**: <!-- 您使用的 work_crawler 為哪個介面: 圖形介面, 命令列介面 -->
+* **Arguments**: <!-- 採用命令列介面時所下的指令，或者使用圖形介面時的網站與作品名稱/作品ID -->
 
 <!-- 請描述出了什麼問題、下載的網站與作品名稱、造成問題的操作步驟、您預期的行為等。您可貼上錯誤訊息與執行時的畫面，謝謝。 -->
 
diff --git a/comic.cmn-Hans-CN/517.js b/comic.cmn-Hans-CN/517.js
@@ -13,6 +13,9 @@ CeL.run('application.net.work_crawler.qTcms2017');
 // ----------------------------------------------------------------------------
 
 var crawler = CeL.qTcms2017({
+	// 圖像檔案下載失敗處理方式：忽略/跳過圖像錯誤。當404圖像不存在、檔案過小，或是被偵測出非圖像(如不具有EOI)時，依舊強制儲存檔案。default:false
+	skip_error : true,
+
 	// one_by_one : true,
 
 	// {Natural|String|Function}當網站不允許太過頻繁的訪問讀取/access時，可以設定下載章節資訊/章節內容前的等待時間。

diff --git a/comic.cmn-Hans-CN/88bag.js b/comic.cmn-Hans-CN/88bag.js
@@ -15,6 +15,9 @@ CeL.run('application.net.work_crawler.qTcms2017');
 // ----------------------------------------------------------------------------
 
 var crawler = CeL.qTcms2017({
+	// 圖像檔案下載失敗處理方式：忽略/跳過圖像錯誤。當404圖像不存在、檔案過小，或是被偵測出非圖像(如不具有EOI)時，依舊強制儲存檔案。default:false
+	skip_error : true,
+
 	// {Natural}最小容許圖案檔案大小 (bytes)。
 	// MIN_LENGTH : 500,
 

diff --git a/comic.cmn-Hans-CN/duoduomh.js b/comic.cmn-Hans-CN/duoduomh.js
@@ -15,6 +15,8 @@ CeL.run('application.net.work_crawler.SinMH');
 var crawler = CeL.SinMH({
 	base_URL : 'https://www.hlgoo.cn/',
 
+	skip_error : true,
+
 	search_URL : 'API',
 	id_of_search_result : 'slug'
 });

diff --git a/comic.cmn-Hans-CN/gufengmh.js b/comic.cmn-Hans-CN/gufengmh.js
@@ -18,6 +18,9 @@ var crawler = CeL.SinMH({
 	// 有些漫畫作品分區分單行本、章節與外傳，當章節數量改變、添加新章節時就需要重新檢查。
 	// recheck : 'changed',
 
+	// 圖像檔案下載失敗處理方式：忽略/跳過圖像錯誤。當404圖像不存在、檔案過小，或是被偵測出非圖像(如不具有EOI)時，依舊強制儲存檔案。default:false
+	skip_error : true,
+
 	// one_by_one : true,
 
 	// 2018/3/7 改變網址: http://www.gufengmh.com/ → https://www.gufengmh8.com/

diff --git a/comic.cmn-Hans-CN/iqg365.js b/comic.cmn-Hans-CN/iqg365.js
@@ -21,6 +21,8 @@ var crawler = CeL.qTcms2017({
 	// {Natural}最小容許圖案檔案大小 (bytes)。
 	// MIN_LENGTH : 500,
 
+	skip_error : true,
+
 	base_URL : 'http://www.iqg365.com/'
 });
 

diff --git a/comic.cmn-Hans-CN/katui.js b/comic.cmn-Hans-CN/katui.js
@@ -13,6 +13,9 @@ CeL.run('application.net.work_crawler.qTcms2014');
 // ----------------------------------------------------------------------------
 
 var crawler = CeL.qTcms2014({
+	// 圖像檔案下載失敗處理方式：忽略/跳過圖像錯誤。當404圖像不存在、檔案過小，或是被偵測出非圖像(如不具有EOI)時，依舊強制儲存檔案。default:false
+	skip_error : true,
+
 	// e.g., 蓝翅 http://www.700mh.com/manhua/736/
 	acceptable_types : 'webp',
 

diff --git a/comic.cmn-Hans-CN/manhuadb.js b/comic.cmn-Hans-CN/manhuadb.js
@@ -182,9 +182,10 @@ crawler = new CeL.work_crawler({
 
 		// --------------------------------------
 
-		matched = html.between('localStorage.setItem("data:"', ');')
-		// 2019/9 漫画DB 網站改版
-		.between("'", {
+		// 2019/9/17 漫画DB 網站改版
+		matched = html.between(" img_data = '", "';")
+		// 2019/9/17 5:0
+		|| html.between('localStorage.setItem("data:"', ');').between("'", {
 			tail : "'"
 		});
 		if (matched) {

diff --git a/comic.cmn-Hans-CN/nokiacn.js b/comic.cmn-Hans-CN/nokiacn.js
@@ -15,6 +15,9 @@ CeL.run('application.net.work_crawler.qTcms2017');
 // ----------------------------------------------------------------------------
 
 var crawler = CeL.qTcms2017({
+	// 圖像檔案下載失敗處理方式：忽略/跳過圖像錯誤。當404圖像不存在、檔案過小，或是被偵測出非圖像(如不具有EOI)時，依舊強制儲存檔案。default:false
+	skip_error : true,
+
 	// {Natural}最小容許圖案檔案大小 (bytes)。
 	MIN_LENGTH : 500,
 

diff --git a/comic.cmn-Hans-CN/pufei.js b/comic.cmn-Hans-CN/pufei.js
@@ -13,6 +13,9 @@ CeL.run('application.net.work_crawler.qTcms2014');
 // ----------------------------------------------------------------------------
 
 var crawler = CeL.qTcms2014({
+	// 圖像檔案下載失敗處理方式：忽略/跳過圖像錯誤。當404圖像不存在、檔案過小，或是被偵測出非圖像(如不具有EOI)時，依舊強制儲存檔案。default:false
+	skip_error : true,
+
 	base_URL : 'http://www.pufei.net/',
 
 	postfix_image_url : function(url) {

diff --git a/comic.cmn-Hans-CN/tohomh.js b/comic.cmn-Hans-CN/tohomh.js
@@ -16,6 +16,8 @@ var crawler = CeL.dm5({
 	// 本網站常有圖片不存在的現象。
 	skip_error : true,
 
+	chapter_time_interval : '4s',
+
 	// 2019/1/21 土豪漫畫網址更動 ← https://www.tohomh.com/
 	base_URL : 'https://www.tohomh123.com/',
 

diff --git a/comic.cmn-Hans-CN/u17.js b/comic.cmn-Hans-CN/u17.js
@@ -131,7 +131,7 @@ crawler = new CeL.work_crawler({
 			chapter_data = JSON.parse(html);
 			if (!chapter_data.image_list && chapter_data.message) {
 				CeL.error(work_data.title + ' #' + chapter_NO + ': '
-				// e.g., "没有阅读权限"
+				// e.g., "没有阅读权限"。2019/8 時，無 `chapter_data.chapter`。
 				+ chapter_data.message);
 			} else {
 				chapter_data.image_list.forEach(function(image_data) {
@@ -159,7 +159,7 @@ crawler = new CeL.work_crawler({
 		}
 
 		// type: '0','3': OK, '4': masked
-		if (+chapter_data.chapter.type === 4)
+		if (!chapter_data.chapter || +chapter_data.chapter.type === 4)
 			chapter_data.limited = true;
 		// console.log(chapter_data);
 		return chapter_data;

diff --git a/comic.cmn-Hans-CN/wuyouhui.js b/comic.cmn-Hans-CN/wuyouhui.js
@@ -18,6 +18,8 @@ var crawler = CeL.qTcms2017({
 	// {Natural}最小容許圖案檔案大小 (bytes)。
 	// MIN_LENGTH : 500,
 
+	skip_error : true,
+
 	base_URL : 'http://m.wuyouhui.net/'
 });
 

diff --git a/novel.cmn-Hans-CN/ck101.js b/novel.cmn-Hans-CN/ck101.js
@@ -180,7 +180,9 @@ crawler = new CeL.work_crawler({
 		return [ 'search.php?mod=forum', {
 			formhash : 'aa2d7d2d',
 			srchtxt : work_title,
-			searchsubmit : 'yes'
+			searchsubmit : 'yes',
+			// 搜尋小說類型
+			srchtab : 'novel'
 		} ];
 	},
 	parse_search_result_201802 : function(html, get_label, work_title) {

diff --git a/novel.cmn-Hans-CN/qidian.js b/novel.cmn-Hans-CN/qidian.js
@@ -148,6 +148,13 @@ var crawler = new CeL.work_crawler({
 	get_chapter_list : function(work_data, html, get_label) {
 		// console.log(html);
 		var data = JSON.parse(html);
+		if (!data.data) {
+			// {"code":1006,"msg":"未定义异常"}: 被消失了?
+			var error = new Error(data.msg);
+			error.code = data.code;
+			this.onwarning(error);
+			return;
+		}
 
 		work_data.chapter_list = [];
 		data.data.vs.forEach(function(volume) {

diff --git a/package.json b/package.json
@@ -1,7 +1,7 @@
 {
 	"name" : "work_crawler",
 	"title" : "CeJS online novels and comics downloader",
-	"version" : "v2.3.0",
+	"version" : "v2.4.0",
 	"description" : "A tool using CeJS library to download online novels / comics.",
 	"keywords" : [ "comic-downloader", "novel-downloader", "cejs",
 			"downloader", "download-comic", "epub", "ebook", "comics",