feat: add skip_static to options

viasite · Mar 11, 2020 · 7981e9b · 7981e9b
1 parent 68f16ca
commit 7981e9b
Show file tree

Hide file tree

Showing 2 changed files with 8 additions and 3 deletions.
diff --git a/src/index.js b/src/index.js
@@ -9,6 +9,7 @@ async function start() {
       fields_preset: 'seo',      // варианты: default, seo, headers, minimal
       maxConcurrency: 2,         // параллельно открываемые вкладки
       maxDepth: 10               // глубина сканирования
+      // ,skip_static: false     // не пропускать подгрузку браузером статики (картинки, css, js)
       // ,followSitemapXml: true // чтобы найти больше страниц
       // ,maxRequest: 10         // для тестов
       // ,headless: false        // на десктопе открывает браузер визуально

diff --git a/src/scrap-site.js b/src/scrap-site.js
@@ -7,9 +7,9 @@ const DEBUG = true; // выключить, если не нужны console.log
 const docs = ['doc', 'docx', 'xls', 'xlsx', 'pdf', 'rar', 'zip']; // можно дополнять
 
 // запреты браузеру на подгрузку статики, ускоряет
-const SKIP_IMAGES = true;
-const SKIP_CSS = true;
-const SKIP_JS = true;
+let SKIP_IMAGES = true;
+let SKIP_CSS = true;
+let SKIP_JS = true;
 
 // поля описаны в API по ссылке выше
 const fields_presets = {
@@ -58,6 +58,10 @@ module.exports = async (baseUrl, options = {}) => {
   }
   const fields = fields_presets[options.fields_preset];
 
+  if (options.skip_static !== undefined) {
+    SKIP_IMAGES = SKIP_CSS = SKIP_JS = options.skip_static;
+  }
+
   const exporter = new CSVExporter({
     file: FILE,
     fields: fields