feat: --no-limit-domain

viasite · Apr 18, 2020 · b765ce7 · b765ce7
1 parent 4903598
commit b765ce7
Show file tree

Hide file tree

Showing 3 changed files with 4 additions and 1 deletion.
diff --git a/README.md b/README.md
@@ -53,6 +53,7 @@ Options:
   -c, --concurrenty        Threads number
   -f, --fields <json>      JSON with custom fields
   --no-skip-static         Scan static files
+  --no-limit-domain        Scan not only current domain
   --docs-extensions        Docs extensions (comma-separated) that will be add to table, default:doc,docx,xls,xlsx,pdf,rar,zip
   --follow-xml-sitemap     Follow sitemap.xml
   --max-requests <num>     Limit max pages scan (default: 0)

diff --git a/src/index.js b/src/index.js
@@ -16,6 +16,7 @@ program
   .option('-c, --concurrenty', 'Threads number', 2)
   .option('-f, --fields <json>', 'JSON with custom fields', JSON.parse)
   .option('--no-skip-static', `Scan static files`)
+  .option('--no-limit-domain', `Scan not only current domain`)
   .option('--docs-extensions', `Docs extensions (comma-separated) that will be add to table, default:doc,docx,xls,xlsx,pdf,rar,zip`, list)
   .option('--follow-xml-sitemap', `Follow sitemap.xml`)
   .option('--max-requests <num>', `Limit max pages scan`, 0)
@@ -49,6 +50,7 @@ async function start() {
       maxConcurrency: 2,                          // параллельно открываемые вкладки
       skip_static: program.scipStatic,            // не пропускать подгрузку браузером статики (картинки, css, js)
       followSitemapXml: program.followXmlSitemap, // чтобы найти больше страниц
+      limitDomain: program.limitDomain,           // не пропускать подгрузку браузером статики (картинки, css, js)
       maxRequest: program.maxRequests,            // для тестов
       headless: program.headless,                 // на десктопе открывает браузер визуально
       docsExtensions: program.docsExtensions,     // расширения, которые будут добавлены в таблицу

diff --git a/src/scrap-site.js b/src/scrap-site.js
@@ -102,7 +102,7 @@ module.exports = async (baseUrl, options = {}) => {
   });
 
   const defaultOptions = {
-    allowedDomains: [domain], // закомментить, если надо не только этот домен (лучше дописать)
+    allowedDomains: options.limitDomain ? [domain] : undefined, // закомментить, если надо не только этот домен (лучше дописать)
     skipRequestedRedirect: true, // все редиректы помечаются как посещённые
     depthPriority: false, // без этой опции сканирует криво, многое не видит
     args: ['--no-sandbox'], // puppeteer freezes without it