py

.github/workflows/action.yml

@@ -4,10 +4,18 @@
 name: Java CI with Maven
 
 on:
+  workflow_dispatch:
   push:
-    branches: [ master ]
+    branches:
+      - master
+      - dev
+      - des
+      - dea
+      - dew
+      - deq
     paths:
-      - 'src/main/resources/*.json'
+      - '.github/workflows/action.yml'
+      - 'java/src/main/resources/*.json'
 
 jobs:
   build:
@@ -16,27 +24,40 @@ jobs:
 
     steps:
       - name: 签出代码
-        uses: actions/checkout@v3.3.0
+        uses: actions/checkout@v3.5.0
       - name: 初始化JDK
-        uses: actions/setup-java@v3.5.1
+        uses: actions/setup-java@v3.11.0
         with:
           java-version: '19'
           distribution: 'temurin'
       - name: 开始打包
         run: |
-          mvn -B clean package -Dmaven.test.skip=true --file pom.xml -T 4
+          mvn -B clean package -Dmaven.test.skip=true --file java/pom.xml -T 4
       - name: 开始下载
         run: |
-          cd ./target
+          cd ./java/target
           java -jar -Xms1g -Xmx7g ./*.jar
-      - name: 开始上传
-        uses: actions/upload-artifact@v3.1.2
+          7z a -r "/home/runner/work/finder/finder-result.zip" "/home/runner/work/finder/*"
+
+      # - name: 开始上传
+      #   uses: actions/upload-artifact@v3.1.2
+      #   with:
+      #     # Artifact name
+      #     name: finder-result
+      #     # A file, directory or wildcard pattern that describes what to upload
+      #     path: /home/runner/work/finder
+      #     # The desired behavior if no files are found using the provided path.
+      #     if-no-files-found: warn
+      #     # Duration after which artifact will expire in days. 0 means using default retention.Minimum 1 day. Maximum 90 days unless changed from the repository settings page.
+      #     retention-days: 2
+
+      - name: 自动释放
+        uses: marvinpinto/action-automatic-releases@v1.2.1
         with:
-          # Artifact name
-          name: finder-result
-          # A file, directory or wildcard pattern that describes what to upload
-          path: /home/runner/work/finder
-          # The desired behavior if no files are found using the provided path.
-          if-no-files-found: warn
-          # Duration after which artifact will expire in days. 0 means using default retention.Minimum 1 day. Maximum 90 days unless changed from the repository settings page.
-          retention-days: 90
+          repo_token: "${{ secrets.GITHUB_TOKEN }}"
+          automatic_release_tag: "1"
+          prerelease: true
+          title: "finder-result"
+          files: |
+           /home/runner/work/finder/finder-result.zip
+

.github/workflows/py.yml

@@ -0,0 +1,55 @@
+name: py
+
+on:
+  push:
+    branches:
+      - master
+      - py
+    paths:
+      - 'py/jm.py'
+      - '.github/workflows/py.yml'
+      - 'assets/config/*.yml'
+  workflow_dispatch:
+  watch:
+    types: [started]
+
+jobs:
+  build:
+    runs-on: ubuntu-latest
+    if: ${{ github.event.repository.owner.id }} == ${{ github.event.sender.id }}
+    steps:
+      - uses: actions/checkout@v3
+      - uses: actions/setup-python@v4
+        with:
+          python-version: "3.11"
+
+      - name: 依赖包
+        run: |
+          python -m pip install --upgrade pip
+          pip install jmcomic -i https://pypi.org/project --upgrade
+
+      - name: 运行下载脚本
+        env:
+          JM_USERNAME: ${{ secrets.JM_USERNAME }}
+          JM_PASSWORD: ${{ secrets.JM_PASSWORD }}
+        run: |
+          cd py/
+          python3 jm.py
+
+      - name: 压缩下载的漫画
+        run: |
+          cd /home/runner/work/18-comic-finder/download/
+          tar -zcvf ../下载完成的本子.tar.gz ./
+
+      - name: 开始上传
+        uses: actions/upload-artifact@v3.1.2
+        with:
+          # Artifact name
+          name: finder
+          # A file, directory or wildcard pattern that describes what to upload
+          path: |
+            /home/runner/work/18-comic-finder/下载完成的本子.tar.gz
+          # The desired behavior if no files are found using the provided path.
+          if-no-files-found: warn
+          # Duration after which artifact will expire in days. 0 means using default retention.Minimum 1 day. Maximum 90 days unless changed from the repository settings page.
+          retention-days: 10

README.md

@@ -1,5 +1,5 @@
 # 禁漫天堂下载器
-
+jmcomic1.bet
 使用GitHub Actions的禁漫天堂爬虫🤡
 
 java这门语言能让小项目变成中项目, 中项目变成大项目 🤡
@@ -30,67 +30,9 @@ java这门语言能让小项目变成中项目, 中项目变成大项目 🤡
 | 2022/11/15 17:00  | 同步跟进quarkus框架到3.0.0.Alpha1版本.|
 | 2022/11/05 21:00  | 修复由于不支持TLSv1.3导致握手失败问题.|
 | 2022/10/25 11:00  | 同步跟进quarkus框架到2.13.3.Final版本.|
-| 2022/10/13 17:00  | 同步跟进quarkus框架到2.13.2.Final版本.|
 | 2022/10/7 17:30  | **抛弃切割判断算法, 因为我已经找到需要切割和不需要切割的分界线了, 判断相似度已经没有意义了, 版本升级到5.1.0, 起飞🦽**.|
 | 2022/10/7 14:30  | 优化切割判断算法, 抛弃原有的每一张图判断一次切割规则, 现在通过随机某一张图片判断整章漫画是否需要切割, 现在可能一章中有某一页是错的, 但是大部分都应该是正确的.|
 | 2022/10/7 01:00  | 同步跟进quarkus框架到2.13.1.Final版本.|
-| 2022/10/6 17:00  | 支持下载单页大于300张图的漫画功能.|
-| 2022/10/6 01:00  | **祝大家国庆节假期快乐🧻**.|
-| 2022/10/6 01:00  | 程序退出判断变得更加宽松, 避免缺少部分图片导致程序等待.|
-| 2022/10/6 01:00  | **项目经过部分重构, 变得更难看懂了, 升级版本号到5.0.0🦽**.|
-| 2022/10/6 01:00  | 同步跟进quarkus框架到2.13.0.Final版本.|
-| 2022/10/6 01:00  | 放弃使用graalvm22.2.0, 升级项目到jdk19.|
-| 2022/8/12 01:00  | **由于前端水平太低, 不懂得如何判断某一章节是否需要切割, 所以最终使用了差异值哈希算法进行相似性校验, 绕远路才是我的最短捷径!🦽.**|
-|  2022/8/7 13:00  | 修复章节名称以点结尾时文件夹命名出错问题.|
-|  2022/8/7 12:00  | 修复下载单章漫画报错问题.|
-|  2022/8/7 11:40  | 升级graalvm到22.2.0.|
-|  2022/8/7 11:20  | 升级支持下载webp格式的漫画.|
-|  2022/8/7 11:15  | 同步跟进quarkus框架到2.2.11.2.Final版本.|
-| 2022/4/15 11:15  | 尝试将Graalvm升级到22.0.0.|
-| 2022/4/15 11:10  | 同步跟进quarkus框架到2.8.0.Final版本,因为广州疫情,现在被封在管控区,但是放假太舒坦了,先让我享受一阵放假生活,bug后面再修.🦽|
-| 2022/3/31 11:00  | 修复新版漫画页面样式变更导致下载失败问题.|
-| 2022/3/24 12:00  | 同步跟进quarkus框架到2.8.0.CR1版本.|
-| 2022/3/18 11:20  | 同步跟进quarkus框架到2.7.5.Final版本.|
-|  2022/3/4 11:20  | 同步跟进quarkus框架到2.7.4.Final版本.|
-|  2022/3/4 11:20  | 同步跟进quarkus框架到2.7.3.Final版本.|
-| 2022/2/25 10:50  | 同步跟进quarkus框架到2.7.2.Final版本.|
-| 2022/2/13 21:33  | 同步跟进quarkus框架到2.7.1.Final版本.|
-|  2022/2/6 11:33  | 同步跟进quarkus框架到2.7.0.Final版本.|
-|  2022/2/1 12:33  | 新的一年里祝各位LSP身体健康, 合家欢乐, 虎年大吉😘.|
-| 2022/1/28 09:33  | 同步跟进quarkus框架到2.6.3.Final版本.|
-| 2022/1/19 23:09  | 修复当漫画高度除以分块数取整为0时导致的保存图片失败问题.|
-| 2022/1/15 21:26  | 修复当漫画高度除以分块数非整数时缺失像素导致画面断层问题.|
-| 2022/1/14 11:05  | 同步跟进quarkus框架到2.6.2.Final版本.|
-| 2021/12/21 10:10 | 同步跟进quarkus框架到2.6.1.Final版本.|
-| 2021/12/21 10:10 | 同步跟进quarkus框架到2.6.0.Final版本.|
-| 2021/12/21 10:10 | 同步跟进quarkus框架到2.5.4.Final版本.|
-| 2021/12/13 15:10 | 同步跟进quarkus框架到2.5.2.Final版本.|
-| 2021/12/3 11:15  | 同步跟进quarkus框架到2.5.1.Final版本.|
-| 2021/11/25 17:15 | 同步跟进quarkus框架到2.5.0.Final版本.|
-| 2021/11/8 15:30  | 同步跟进quarkus框架到2.4.1.Final版本.|
-| 2021/11/7 01:10  | 恭喜EDG获得英雄联盟S11全球总决赛冠军🎉重铸LPL荣光, EDG义不容辞!👏.|
-| 2021/10/29 10:38 | 尝试将jdk升级到Graalvm17.|
-| 2021/10/13 16:47 | 2.3.0的quarkus插件有问题,无法读取到配置的settings.xml文件,所以升级到框架2.4.0.CR1.|
-| 2021/10/10 14:30 | 同步跟进quarkus框架到2.3.0.Final版本, 升级程序版本号为4.0.0.|
-| 2021/10/10 14:30 | 修复本地运行时日志编码打印非UTF-8导致乱码问题.|
-| 2021/10/10 14:00 | 终于修复了禁漫天堂cloudflare验证问题,现在可以正常使用了.|
-| 2021/9/12 13:49  | 同步跟进quarkus框架到2.2.2.Final版本.|
-| 2021/9/10 13:38  | **感谢@calject大佬提供的最新图片切割算法💕, 现在终于可以正确切割最新的章节了👏.**|
-| 2021/8/10 16:47  | 同步跟进quarkus框架到2.1.1.Final版本.|
-| 2021/7/28 10:40  | 同步跟进quarkus框架到2.0.3.Final版本.|
-| 2021/7/01 10:40  | 热烈祝贺我党成立100周年🙌, 希望诸位LSP看漫之余不忘初心牢记使命🎉.|
-| 2021/7/01 10:30  | 同步跟进quarkus框架到2.0.0.Final版本.|
-| 2021/5/31 10:43  | 提交3.1.0 release版本.|
-| 2021/5/26 15:40  | 修复由于访问频率过高提示**禁漫娘被你玩壞啦 ??ヽ(??Д`)??休息一分鐘後會好**限制访问导致的爬取失败, 禁漫天堂从接口层面加了访问速度限制之后, 下载会不可避免地变慢, 因为每次触发限制都最少要一分钟才能重新访问.|
-| 2021/5/15 18:34  | 周末突然发现禁漫天堂又撤掉了Cloudflare 5秒盾, 程序又能直接通过github action使用了, 不需要添加cookie.|
-|  2021/5/9 17:30  | **由于禁漫天堂最近加了Cloudflare 5秒盾反爬虫, 暂时需要在配置文件中添加cookie才能爬取, 请根据下方说明添加cookie, 后续我看看用什么方法绕过拦截.**|
-| 2021/4/13 14:30  | 添加触发action的限制, 只有修改了downloadPath.json文件才会触发action, 修改其他文件则不触发.|
-| 2021/3/27 14:04  | v3.0.0 放弃springboot框架, 换成使用响应式框架quarkus, 感觉应该是更快了的.|
-| 2021/2/25 15:16  | **v2.0.0 重大更新, 支持直接使用Github Action自动爬取漫画, 不需要本地部署, 直接输入漫画url然后等待Github Action爬取完成然后下载压缩包即可.**|
-| 2021/2/18 22:15  | v1.2.0支持下载整本只有一章的无章节漫画.|
-| 2021/2/18 16:35  | 添加下载单独某个章节的功能.|
-| 2021/2/18 15:38  | 确保配置文件中配置为空时程序能够正常识别.|
-| 2021/2/17 20:51  | 修复由于章节列表格式不规范导致的获取章节名称失败.|
 
 ## GitHub Action使用方法
 
@@ -117,20 +59,20 @@ Github Action是微软收购github之后推出的CI/CD工具, 你可以理解为
 4. 按照json格式填入漫画链接, 如果要下载一本, 那格式为(注意英文双引号) :
    ```json
    [
-     "https://18comic.vip/album/180459"
+     "https://18comic.org/album/180459"
    ]
    ```
    如果要下载两本或者多本, 格式为(注意英文逗号) :
     ```json
     [
-      "https://18comic.vip/album/180459",
-      "https://18comic.vip/album/182168"
+      "https://18comic.org/album/180459",
+      "https://18comic.org/album/182168"
     ]
     ```
 
    注意尽量不要一次性添加太多漫画, 否则下载起来时间要很久, 压缩包也会很大, 并且添加的链接要是直接能访问到禁漫天堂的网站, 而不是各种镜像站, 根据禁漫天堂的公告板提示, 你所添加的漫画域名应该来自以下2个 :
 
-   > [https://18comic.vip](https://18comic.vip/) (最好直接使用这个, 把你的漫画链接域名直接更换成这个就可以了.)
+   > [https://18comic.org](https://18comic.org/) (最好直接使用这个, 把你的漫画链接域名直接更换成这个就可以了.)
    >
    > [https://18comic.org](https://18comic.org/) (如果.vip无法使用, 则尝试使用这个.org站点)
 
@@ -183,16 +125,16 @@ comic.proxy.port=10808
 
 ```json
 [
-  "https://18comic.vip/album/180459/"
+  "https://18comic.org/album/180459/"
 ]
 ```
 
 如果要下载两本或者多本, 格式为(注意逗号) :
 
  ```json
 [
-  "https://18comic.vip/album/180459/",
-  "https://18comic.vip/album/182168"
+  "https://18comic.org/album/180459/",
+  "https://18comic.org/album/182168"
 ]
  ```
 
@@ -203,7 +145,7 @@ comic.proxy.port=10808
 
 如果没有条件打包程序, 但是有条件运行程序, 例如只装了jdk19但是没有安装maven等, 那就直接下载我提供的jar包, 按照前面说所方法在jar包所在的目录新建一个config文件夹,
 在里面新建一个application.properties文件, 粘贴并且修改上述几个参数, 然后命令行进入jar所在的目录, 执行`java -jar ./*.jar 漫画路径1 漫画路径2`
-,例如 `java -jar ./*.jar https://18comic.vip/album/180459` , 这时候这本漫画就会被下载, 多本漫画请用空格隔开.
+,例如 `java -jar ./*.jar https://18comic.org/album/180459` , 这时候这本漫画就会被下载, 多本漫画请用空格隔开.
 
 ### 后台模式
 
@@ -221,13 +163,13 @@ http://localhost:7788/finder/download?homePage=你想要下载的漫画主页
 即可开始下载整本漫画, 例如
 
 ```url
-http://localhost:7788/finder/download?homePage=https://18comic.vip/album/177680
+http://localhost:7788/finder/download?homePage=https://18comic.org/album/177680
 ```
 
 如果想要下载单独的某一个章节, 只需要输入对应的章节主页即可, 例如
 
 ```url
-http://localhost:7788/finder/download?homePage=https://18comic.vip/photo/211115
+http://localhost:7788/finder/download?homePage=https://18comic.org/photo/211115
 ```
 
 ## 项目特点

assets/config/workflow_option.yml

@@ -0,0 +1,13 @@
+# Github Actions 下载脚本配置
+
+version: '2.0'
+
+dir_rule:
+  base_dir: /home/runner/work/18-comic-finder/download/
+  rule: Bd_Aauthor_Atitle_Pindex
+
+client:
+  postman:
+    meta_data:
+      headers:
+        referer: https://18comic.vip/

pom.xml → java/pom.xml

@@ -6,14 +6,14 @@
     <artifactId>finder</artifactId>
     <version>5.1.0</version>
     <properties>
-        <compiler-plugin.version>3.10.1</compiler-plugin.version>
+        <compiler-plugin.version>3.11.0</compiler-plugin.version>
         <maven.compiler.release>19</maven.compiler.release>
         <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
         <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
         <quarkus.platform.artifact-id>quarkus-bom</quarkus.platform.artifact-id>
         <quarkus.platform.group-id>io.quarkus.platform</quarkus.platform.group-id>
-        <quarkus.platform.version>3.0.0.Alpha4</quarkus.platform.version>
-        <surefire-plugin.version>3.0.0-M9</surefire-plugin.version>
+        <quarkus.platform.version>3.0.0.CR1</quarkus.platform.version>
+        <surefire-plugin.version>3.0.0</surefire-plugin.version>
     </properties>
     <dependencyManagement>
         <dependencies>

src/main/java/io/github/jiayaoO3O/finder/service/TaskService.java → java/src/main/java/io/github/jiayaoO3O/finder/service/TaskService.java

@@ -74,7 +74,7 @@ public Uni<List<ChapterEntity>> processChapterInfo(String body, String homePage)
         var host = "https://" + domain;
         var isSingleChapter = StrUtil.subBetween(body, "<ul class=\"btn-toolbar", "</ul>") == null;
         if(isSingleChapter) {
-            //说明该漫画是单章漫画,没有区分章节,例如王者荣耀图鉴类型的https://18comic.vip/album/203961
+            //说明该漫画是单章漫画,没有区分章节,例如王者荣耀图鉴类型的https://18comic.org/album/203961
             var url = StrUtil.subBetween(StrUtil.subBetween(body, ">收藏<", "開始閱讀"), "href=\"", "/\"");
             if(StrUtil.isEmpty(url)) {
                 url = StrUtil.subBetween(StrUtil.subBetween(body, ">收藏<", "開始閱讀"), "href=\"", "\"");
@@ -155,7 +155,7 @@ public Map<ChapterEntity, Uni<List<PhotoEntity>>> processPhotoInfo(List<ChapterE
     }
 
     private List<PhotoEntity> processPhotoPagination(String body, ChapterEntity chapterEntity, List<PhotoEntity> photoEntities) {
-        //禁漫天堂网页一页最多显示300张图片, 某些漫画例如https://18comic.vip/photo/140709可能单章超过300所以需要处理分页
+        //禁漫天堂网页一页最多显示300张图片, 某些漫画例如https://18comic.org/photo/140709可能单章超过300所以需要处理分页
         var size = photoEntities.size();
         if(StrUtil.contains(body, "pagination")) {
             var pageInfo = StrUtil.subBetween(body, "<ul class=\"pagination\">", "prevnext");
@@ -316,7 +316,7 @@ public Uni<HttpResponse<Buffer>> post(String url) {
                 .putHeader("dnt", "1")
                 .putHeader("upgrade-insecure-requests", " 1")
                 .putHeader("pragma", " no-cache");
-        //cookie.ifPresent(cook -> request.putHeader("cookie", cook));
+        // cookie.ifPresent(cook -> request.putHeader("cookie", cook));
         return request.send()
                 .chain(response -> this.checkResponseStatus(url, response));
     }

src/main/resources/application.properties → java/src/main/resources/application.properties

@@ -19,7 +19,7 @@ quarkus.log.file.rotation.file-suffix=yyyy-MM-dd
 quarkus.log.file.rotation.max-file-size=20M
 quarkus.log.file.rotation.max-backup-index=64
 comic.download.path=/home/runner/work/finder
-comic.domain.list=18comic.vip,18comic.org,jmcomic.me,jmcomic1.me,jmcomic.rocks,jmcomic.group
+comic.domain.list=18comic.vip,18comic.org,jmcomic.me,jmcomic1.me,jmcomic1.group,jmcomic2.group,jm-comic.cc
 comic.proxy.host=
 comic.proxy.port=
 comic.request.cookie=

java/src/main/resources/downloadPath.json

@@ -0,0 +1,3 @@
+[
+    "https://18comic.vip/album/300561"
+]