fix: remove url duplicates

viasite · Mar 6, 2020 · 110b379 · 110b379
1 parent 0577b39
commit 110b379
Show file tree

Hide file tree

Showing 2 changed files with 4 additions and 1 deletion.
diff --git a/README.md b/README.md
@@ -40,7 +40,9 @@ npm start
 Все настройки делаются в `src/scrap-site.js`, комментарии там же.
 
 ## Баги
-- Иногда пишет в csv одинаковые страницы
+Иногда пишет в csv одинаковые страницы. Это бывает в 2 случаях: 
+1. Редирект с другой страницы на эту (решается установкой `skipRequestedRedirect: true`, сделано).
+2. Одновременный запрос одной и той же страницы в параллельных потоках.
 
 ## TODO:
 - Не учитывать страницы ?page= , но сканировать
diff --git a/src/scrap-site.js b/src/scrap-site.js
@@ -62,6 +62,7 @@ module.exports = async (baseUrl, options = {}) => {
     allowedDomains: [domain], // закомментить, если надо не только этот домен (лучше дописать)
     maxDepth: 10, // макс. глубина
     maxConcurrency: 2, // параллельные потоки
+    skipRequestedRedirect: true, // все редиректы помечаются как посещённые
     // maxRequest: 10, // для тестов
     depthPriority: false, // без этой опции сканирует криво, многое не видит
     // followSitemapXml: true, // чтобы найти больше страниц