Merge pull request #104 from LetTTGACO/img2cos-master

feat(语雀图片转腾讯云图床): 支持语雀图片转腾讯云图床

Author: x-cold

.gitignore

@@ -63,3 +63,4 @@ typings/
 package-lock.json
 
 yarn.lock
+.idea

README.md

@@ -29,7 +29,7 @@ A downloader for articles from yuque（语雀知识库同步工具）
 
 ## Config
 
-### 配置 TOKEN
+### 配置 YUQUE_TOKEN
 
 出于对知识库安全性的调整，使用第三方 API 访问知识库，需要传入环境变量 YUQUE_TOKEN，在语雀上点击 个人头像 -> 设置 -> Token 即可获取。传入 YUQUE_TOKEN 到 yuque-hexo 的进程有两种方式：
 
@@ -38,6 +38,17 @@ A downloader for articles from yuque（语雀知识库同步工具）
   - mac / linux: `YUQUE_TOKEN=xxx yuque-hexo sync`
   - windows: `set YUQUE_TOKEN=xxx && yuque-hexo sync`
 
+### 配置 腾讯云对象存储TOKEN(可选)
+语雀的url存在防盗链的问题，直接部署可能导致图片无法加载。
+如果需要语雀URL上传到腾讯云的COS中并替换原链接，就需要配置上传密钥。
+
+访问[API密钥管理](https://console.cloud.tencent.com/cam/capi) 获取密钥，然后传入密钥到yuque-hexo
+- 在设置YUQUE_TOKEN的基础上配置SECRET_ID和SECRET_KEY
+- 命令执行时传入环境变量
+  - mac / linux: `YUQUE_TOKEN=xxx SECRET_ID=xxx SECRET_KEY=xxx yuque-hexo sync`
+  - windows: `set YUQUE_TOKEN=xxx SECRET_ID=xxx SECRET_KEY=xxx && yuque-hexo sync`
+
+
 ### 配置知识库
 
 > package.json
@@ -56,7 +67,13 @@ A downloader for articles from yuque（语雀知识库同步工具）
     "repo": "blog",
     "onlyPublished": false,
     "onlyPublic": false,
-    "lastGeneratePath": "lastGeneratePath.log"
+    "lastGeneratePath": "lastGeneratePath.log",
+    "imgCdn": {
+      "enabled": false,
+      "bucket": "",
+      "region": "",
+      "prefixKey": ""
+    }
   }
 }
 ```
@@ -74,9 +91,28 @@ A downloader for articles from yuque（语雀知识库同步工具）
 | repo          | 语雀仓库短名称，也称为语雀知识库路径 | -                    |
 | onlyPublished | 只展示已经发布的文章                 | false                |
 | onlyPublic    | 只展示公开文章                       | false                |
-
+| imgCdn        | 语雀图片转CDN配置                    |                |
 > slug 是语雀的永久链接名，一般是几个随机字母。
 
+imgCdn 语雀图片转COS（对象存储）配置说明
+
+注意：开启后会将匹配到的所有的图片都上传到COS
+
+| 参数名        | 含义                                 | 默认值               |
+| ------------- | ------------------------------------ | -------------------- |
+| enabled       | 是否开启                           | false |
+| bucket        | 腾讯COS的bucket名称                     | -          |
+| region        | 腾讯COS的region(地域名称)               |  -                     |
+| prefixKey     | 文件前缀                                | -                |
+> prefixKey 说明
+> 
+> 如果需要将图片上传到COS的根目录，那么prefixKey不用配置。
+> 
+> 如果想上传到指定目录blog/image下，则需要配置prefixKey为"prefixKey": "blog/image"。
+>
+> 目录名前后都不需要加斜杠
+
+
 ## Install
 
 ```bash
@@ -143,8 +179,10 @@ DEBUG=yuque-hexo.* yuque-hexo sync
 
   more detail
   ```
+- 为什么选择腾讯COS作为图床：腾讯的COS费用相对便宜，对于博客来说是非常划算且方便的。
+当然，如果想用其他图床，可以参考源码中实现方式，自行修改配置。
 
-- 如果遇到上传到语雀的图片无法加载的问题，可以参考这个处理方式 [#41](https://github.com/x-cold/yuque-hexo/issues/41)
+- 如果遇到上传到语雀的图片无法加载的问题，可以考虑开启imgCdn配置或者参考这个处理方式 [#41](https://github.com/x-cold/yuque-hexo/issues/41)
 
 # Example
 

adapter/hexo.js

@@ -4,6 +4,9 @@ const ejs = require('ejs');
 const Entities = require('html-entities').AllHtmlEntities;
 const FrontMatter = require('hexo-front-matter');
 const { formatDate, formatRaw } = require('../util');
+const img2Cos = require('../util/img2cdn');
+const config = require('../config');
+
 
 const entities = new Entities();
 // 背景色区块支持
@@ -60,7 +63,11 @@ function parseMatter(body) {
  * @param {Object} post 文章
  * @return {String} text
  */
-module.exports = function(post) {
+module.exports = async function(post) {
+  // 语雀img转成自己的cdn图片
+  if (config.imgCdn.enabled) {
+    post = await img2Cos(post);
+  }
   // matter 解析
   const parseRet = parseMatter(post.body);
   const { body, ...data } = parseRet;

adapter/markdown.js

@@ -1,14 +1,20 @@
 'use strict';
 
 const { formatRaw } = require('../util');
+const img2Cos = require('../util/img2cdn');
+const config = require('../config');
 
 /**
  * markdown 文章生产适配器
  *
  * @param {Object} post 文章
  * @return {String} text
  */
-module.exports = function(post) {
+module.exports = async function(post) {
+  // 语雀img转成自己的cdn图片
+  if (config.imgCdn.enabled) {
+    post = await img2Cos(post);
+  }
   const { body } = post;
   const raw = formatRaw(body);
   return raw;

config.js

@@ -19,6 +19,12 @@ const defaultConfig = {
   concurrency: 5,
   onlyPublished: false,
   onlyPublic: false,
+  imgCdn: {
+    enabled: false,
+    bucket: '',
+    region: '',
+    prefixKey: '',
+  },
 };
 
 function loadConfig() {

lib/Downloader.js

@@ -169,7 +169,7 @@ class Downloader {
    *
    * @param {Object} post 文章详情
    */
-  generatePost(post) {
+  async generatePost(post) {
     if (!isPost(post)) {
       out.error(`invalid post: ${post}`);
       return;
@@ -197,7 +197,7 @@ class Downloader {
       process.exit(-1);
     }
     out.info(`generate post file: ${postPath}`);
-    const text = transform(post);
+    const text = await transform(post);
     fs.writeFileSync(postPath, text, {
       encoding: 'UTF8',
     });
@@ -206,19 +206,22 @@ class Downloader {
   /**
    * 全量生成所有 markdown 文章
    */
-  generatePosts() {
+  async generatePosts() {
     const { _cachedArticles, postBasicPath } = this;
     mkdirp.sync(postBasicPath);
     out.info(`create posts directory (if it not exists): ${postBasicPath}`);
-    _cachedArticles.forEach(this.generatePost);
+    const promiseList = _cachedArticles.map(async item => {
+      return await this.generatePost(item);
+    });
+    await Promise.all(promiseList);
   }
 
   // 文章下载 => 增量更新文章到缓存 json 文件 => 全量生成 markdown 文章
   async autoUpdate() {
     this.readYuqueCache();
     await this.fetchArticles();
     this.writeYuqueCache();
-    this.generatePosts();
+    await this.generatePosts();
     if (this.lastGeneratePath) {
       fs.writeFileSync(this.lastGeneratePath, new Date().getTime().toString());
     }

lib/qetag.js

@@ -0,0 +1,85 @@
+'use strict';
+
+// 计算文件的eTag，参数为buffer或者readableStream或者文件路径
+function getEtag(buffer, callback) {
+
+  // 判断传入的参数是buffer还是stream还是filepath
+  let mode = 'buffer';
+
+  if (typeof buffer === 'string') {
+    buffer = require('fs').createReadStream(buffer);
+    mode = 'stream';
+  } else if (buffer instanceof require('stream')) {
+    mode = 'stream';
+  }
+
+  // sha1算法
+  const sha1 = function(content) {
+    const crypto = require('crypto');
+    const sha1 = crypto.createHash('sha1');
+    sha1.update(content);
+    return sha1.digest();
+  };
+
+  // 以4M为单位分割
+  const blockSize = 4 * 1024 * 1024;
+  const sha1String = [];
+  let prefix = 0x16;
+  let blockCount = 0;
+
+  // eslint-disable-next-line default-case
+  switch (mode) {
+    case 'buffer':
+      // eslint-disable-next-line
+      const bufferSize = buffer.length;
+      blockCount = Math.ceil(bufferSize / blockSize);
+
+      for (let i = 0; i < blockCount; i++) {
+        sha1String.push(sha1(buffer.slice(i * blockSize, (i + 1) * blockSize)));
+      }
+      process.nextTick(function() {
+        callback(calcEtag());
+      });
+      break;
+    case 'stream':
+      // eslint-disable-next-line no-case-declarations
+      const stream = buffer;
+      stream.on('readable', function() {
+        let chunk;
+        // eslint-disable-next-line no-cond-assign
+        while (chunk = stream.read(blockSize)) {
+          sha1String.push(sha1(chunk));
+          blockCount++;
+        }
+      });
+      stream.on('end', function() {
+        callback(calcEtag());
+      });
+      break;
+  }
+
+  function calcEtag() {
+    if (!sha1String.length) {
+      return 'Fto5o-5ea0sNMlW_75VgGJCv2AcJ';
+    }
+    let sha1Buffer = Buffer.concat(sha1String, blockCount * 20);
+
+    // 如果大于4M，则对各个块的sha1结果再次sha1
+    if (blockCount > 1) {
+      prefix = 0x96;
+      sha1Buffer = sha1(sha1Buffer);
+    }
+
+    sha1Buffer = Buffer.concat(
+      [ new Buffer([ prefix ]), sha1Buffer ],
+      sha1Buffer.length + 1
+    );
+
+    return sha1Buffer.toString('base64')
+      .replace(/\//g, '_').replace(/\+/g, '-');
+
+  }
+
+}
+
+module.exports = getEtag;

package.json

@@ -28,6 +28,7 @@
     "@yuque/sdk": "^1.1.1",
     "chalk": "^2.4.1",
     "common-bin": "^2.7.3",
+    "cos-nodejs-sdk-v5": "^2.11.6",
     "debug": "^3.1.0",
     "depd": "^2.0.0",
     "ejs": "^3.1.6",
@@ -40,6 +41,7 @@
     "prettier": "^2.0.4",
     "queue": "^4.5.0",
     "rimraf": "^2.6.2",
+    "superagent": "^7.0.2",
     "update-check": "^1.5.3",
     "urllib": "^2.29.1"
   },