feat: custom fields in command

README.md

@@ -60,6 +60,16 @@ Options:
   -h, --help               display help for command
 ```
 
+## Кастомные поля
+Можно передать дополнительные поля так:
+```
+sites-scraper -d 1 -u https://example -f '{ "title": "$(`title`).text()" }'
+```
+Надо передавать JSON.
+
+Одинарные кавычки в команде надо менять на ` 
+
+
 ## Как посчитать контент по csv
 1. Открыть в блокноте
 2. Документы посчитать поиском `,0`

src/index.js

@@ -14,6 +14,7 @@ program
   .option('-p, --preset <preset>', 'Table preset (minimal, seo, headers, parse)', 'seo')
   .option('-d, --max-depth <depth>', 'Max scan depth', 10)
   .option('-c, --concurrenty', 'Threads number', 2)
+  .option('-f, --fields <json>', 'JSON with custom fields', JSON.parse)
   .option('--no-skip-static', `Scan static files`)
   .option('--follow-xml-sitemap', `Follow sitemap.xml`)
   .option('--max-requests <num>', `Limit max pages scan`, 0)
@@ -47,7 +48,8 @@ async function start() {
       headless: program.headless,                 // на десктопе открывает браузер визуально
       encoding: program.encoding,                 // для Excel
       outDir: program.outDir,                     // папка, куда сохраняются csv
-      color: program.color                        // раскрашивать консоль
+      color: program.color,                       // раскрашивать консоль
+      fields: program.fields                      // дополнительные поля
     });
   }
 }

src/scrap-site.js

@@ -83,7 +83,12 @@ module.exports = async (baseUrl, options = {}) => {
   if (!options.fields_preset || !fields_presets[options.fields_preset]){
     options.fields_preset = 'default';
   }
-  const fields = fields_presets[options.fields_preset];
+  let fields = fields_presets[options.fields_preset];
+
+  if(options.fields) {
+    //console.log('options.fields: ', options.fields);
+    fields = [...Object.keys(options.fields).map(f => 'result.' + f), ...fields];
+  }
 
   if (options.skip_static !== undefined) {
     SKIP_IMAGES = SKIP_CSS = SKIP_JS = options.skip_static;
@@ -127,11 +132,14 @@ module.exports = async (baseUrl, options = {}) => {
 
     // сюда можно дописывать сборщики данных со страницы
     // поля надо добавить в fields выше
-    evaluatePage: () => {
+    evaluatePage: async () => {
       try {
+        const customFields = await window.__customFields();
+        // console.log('window.__customFields(): ', JSON.stringify(customFields));
+
         let domainParts = location.host.split('.');
         const domain2level = domainParts.slice(domainParts.length-2).join('.');
-        return {
+        const result = {
           request_time:
             window.performance.timing.responseEnd - window.performance.timing.requestStart,
           title: $('title').text(),
@@ -165,6 +173,13 @@ module.exports = async (baseUrl, options = {}) => {
           og_title: $('meta[property="og:title"]').attr('content'),
           og_image: $('meta[property="og:image"]').attr('content')
         };
+
+        for(let name in customFields) {
+          result[name] = eval(customFields[name].replace(/`/g, "'"));
+          // if(name == 'section') result[name] = $('.views-field.views-field-field-section a').text();
+        }
+
+        return result;
       } catch (e) {
         return {
           error: JSON.stringify(e)
@@ -183,6 +198,11 @@ module.exports = async (baseUrl, options = {}) => {
       await page.setRequestInterception(true);
       await page.setBypassCSP(true);
 
+      //page.on('console', msg => console.log(msg.text()));
+      await page.exposeFunction('__customFields', () => {
+        return options.fields;
+      });
+
       let mixedContentUrl = '';
 
       // это событие срабатывает, когда chrome подгружает статику на странице (и саму страницу)