Watchdog

🐶 Watchdog is a Dcinside image crawler that includes NSFW detection.

목차

• Watchdog
  • 목차
  • 소개
  • 설치
    • 빌드 결과
    • 공통
    • 로컬
    • 도커
  • 사용법
  • 저자
  • 라이선스

소개

Watchdog은 Node.js를 사용하여 디시인사이드에서 이미지를 크롤링하고
TensorFlow 기반 NSFW 모델을 통해 이미지의 NSFW 여부를 판단하고 분류하는 프로그램입니다.

설치

빌드 결과

운영체제	결과
Windows 11	✅ 성공
Ubuntu 24.04	✅ 성공
macOS Sequoia	✅ 성공

공통

1. 이 레포지토리를 다운로드합니다.
2. Node.js와 npm을 설치합니다.
   • 호환되는 버전은 20.x 또는 22.x입니다.¹
   • 다른 Node.js 버전을 사용 중일 경우 .nvmrc 파일을 참고해 권장 버전을 사용할 수 있습니다.
     nvm을 설치하고 다음 명령어로 권장 버전을 사용합니다.

     nvm install 22
     nvm use 22
     node -v

3. npm install을 입력하여 의존성을 설치합니다.

로컬

1. Python 3.x 버전을 설치합니다.

2. TensorFlow 빌드 도구를 설치합니다.

   Windows

   Microsoft C++ Build Tools를 설치합니다. (링크 참고)

   Linux

   sudo apt-get install build-essential

   macOS

   xcode-select --install

3. .env.example을 .env로, targets.example.json을 targets.json으로 변경합니다.

4. npm start 또는 npm run pm2:start를 입력하여 프로그램을 실행합니다.

도커

1. Docker를 설치합니다.

2. (옵션) Docker Desktop의 설정에서 최대 메모리 사용량을 조정합니다.

   • 이 프로그램은 ecosystem.config.js의 설정에 따라 pm2 사용 시 최대 16GB까지 메모리를 사용할 수 있으므로, Docker 메모리 제한을 이 이상으로 설정하거나 ecosystem.config.js를 수정하세요.²

   

3. 아래 두 가지 방법 중 하나를 선택하세요.

   • (권장) Docker Hub에서 이미지를 내려받아 컨테이너를 실행합니다.
     1. npm run docker:up
   • 로컬에서 이미지를 빌드하고 실행합니다.
     1. .env.example을 .env로, targets.example.json을 targets.json으로 변경합니다.
     2. npm run docker:build

사용법

• 기본적으로 이미지는 레포지토리 하위의 archive 폴더 내에 저장됩니다.
  저장 위치는 .env파일의 LOCAL_ARCHIVE_DIR 값을 수정하여 변경할 수 있습니다.
• targets.json을 수정하여 크롤링 대상 갤러리를 관리할 수 있습니다.³

  • 대상 갤러리는 다음과 같은 형식으로 입력합니다.

    "갤러리 아이디": {
        "name": "갤러리 이름",
        "type": "갤러리 타입"
    }

    • 갤러리 아이디는 갤러리 URL에서 id=뒤에 나오는 부분입니다.
      예를 들어 국내야구 갤러리 URL https://gall.dcinside.com/board/lists?id=baseball_new11에서 갤러리 아이디는 baseball_new11입니다.
    • 갤러리 타입은 메인: main, 마이너: minor, 미니: mini로 작성합니다.

저자

Watchdog © xCrypt0r
Authored and maintained by xCrypt0r

GitHub @xCrypt0r
Discord @xcrypt0r

라이선스

이 프로젝트는 GNU 일반 공중 사용 허가서 버전 3.0 (GPLv3) 라이선스를 따릅니다.

Footnotes

1. 이외의 버전 설치 시 TensorFlow의 의존성 문제로 제대로 동작하지 않습니다. ↩

2. Windows에서 WSL 2기반 Docker Desktop을 사용하는 경우 .wslconfig로 메모리 제한을 설정하세요. ↩

3. 대상 갤러리가 많아질수록 메모리 사용량이 높아집니다. ↩