fix: move basic options to index.js

viasite · Mar 6, 2020 · f7e1d6b · f7e1d6b
1 parent d562b48
commit f7e1d6b
Show file tree

Hide file tree

Showing 2 changed files with 5 additions and 6 deletions.
diff --git a/src/index.js b/src/index.js
@@ -9,8 +9,10 @@ const sites = [
     await scrap_site(site, {
       fields_preset: 'seo',   // варианты: default, seo, headers, minimal
       maxConcurrency: 2,      // параллельно открываемые вкладки
-      maxDepth: 10,           // глубина сканирования
-      followSitemapXml: false // берёт адреса из /sitemap.xml
-    });
+      maxDepth: 10            // глубина сканирования
+      // ,followSitemapXml: true // чтобы найти больше страниц
+      // ,maxRequest: 10         // для тестов
+      // ,headless: false        // на десктопе открывает браузер визуально
+  });
   }
 })();
diff --git a/src/scrap-site.js b/src/scrap-site.js
@@ -64,11 +64,8 @@ module.exports = async (baseUrl, options = {}) => {
     maxDepth: 10, // макс. глубина
     maxConcurrency: 2, // параллельные потоки
     skipRequestedRedirect: true, // все редиректы помечаются как посещённые
-    // maxRequest: 10, // для тестов
     depthPriority: false, // без этой опции сканирует криво, многое не видит
-    // followSitemapXml: true, // чтобы найти больше страниц
     args: ['--no-sandbox'], // без этого puppeteer зависает
-    // headless: false, // для тестов
     exporter,
 
     // сюда дописывать правила игнора url