feat: implement REPL interface to debug tests #817

DudaGod · 2023-12-19T09:20:09Z

What is done

Implement ability to switch to REPL mode in which user can communicate with browser via terminal.

README.md

DudaGod · 2023-12-19T09:21:14Z

README.md

+**Note**: In the debugging mode, only one worker is started and all tests are performed only in it.
+Use this mode with option `sessionsPerBrowser=1` in order to debug tests one at a time.
+
+### REPL mode


Новый раздел доки

DudaGod · 2023-12-19T09:26:18Z

package.json

    "@types/mocha": "^10.0.1",
    "@wdio/globals": "^8.10.7",
    "@wdio/types": "^8.10.4",
    "@wdio/utils": "^7.26.0",
    "aliasify": "^1.9.0",
    "bluebird": "^3.5.1",
    "browserify": "^13.3.0",
-    "chalk": "^1.1.1",
+    "chalk": "^2.4.2",


Пришлось обновить, так как TS ругался, что тайпингов нет. А тайпинги были только со 2 версии. А во 2 версии выгасили метод stripColor и из-за этого пришлось ставить библиотеку strip-ansi отдельно.

Chalk не стал апать выше 2 версии, так как в следующих версиях он работает только с модулями

DudaGod · 2023-12-19T09:26:42Z

src/browser/commands/openAndWait.ts

-        };
-    };
-}
+import type { Browser } from "../types";


Унес интерфейс в общий файл

DudaGod · 2023-12-19T09:27:14Z

src/browser/commands/openAndWait.ts

@@ -43,7 +26,7 @@ const is: Record<string, (match: Matches) => boolean> = {
 export = (browser: Browser): void => {
    const { publicAPI: session, config } = browser;
    const { openAndWaitOpts } = config;
-    const isChrome = config.desiredCapabilities.browserName === "chrome";
+    const isChrome = config.desiredCapabilities?.browserName === "chrome";


Тут и ниже ts ошибки кидал, поправил

DudaGod · 2023-12-19T09:53:07Z

src/test-reader/index.js

@@ -47,6 +47,20 @@ module.exports = class TestReader extends EventEmitter {

 function validateTests(testsByBro, options) {
    const tests = _.flatten(Object.values(testsByBro));
+
+    if (options.replMode?.enabled) {
+        const testsToRun = tests.filter(test => !test.disabled && !test.pending);


Учитываю только запускаемые тесты.

DudaGod · 2023-12-19T10:00:52Z

src/worker/runner/test-runner/execution-thread.js

@@ -14,6 +16,9 @@ module.exports = class ExecutionThread {
            browser: browser.publicAPI,
            currentTest: test,
        };
+
+        this._runtimeConfig = RuntimeConfig.getInstance();
+        this._isReplBeforeTestOpened = false;


Инстанс ExecutionThread вызывается на каждый хук и сам тест. Соответственно мне тут нужен флаг, чтобы открыть repl перед тестом только один раз.

DudaGod · 2023-12-19T10:02:11Z

src/worker/runner/test-runner/execution-thread.js

-            .tapCatch(e => this._screenshooter.extendWithScreenshot(e))
+            .tapCatch(async e => {
+                if (replMode?.onFail) {
+                    logger.log("Caught error:", e);


Тут приходится выводить ошибку юзеру в repl. Иначе он ее увидит только при завершении теста, а хочется видеть в рантайме

DudaGod · 2023-12-19T10:02:32Z

src/worker/runner/test-runner/execution-thread.js

@@ -44,7 +56,14 @@ module.exports = class ExecutionThread {
        }

        return fnPromise
-            .tapCatch(e => this._screenshooter.extendWithScreenshot(e))
+            .tapCatch(async e => {
+                if (replMode?.onFail) {


Будет вызываться на фейлы в каждом хуке или тесте.

DudaGod · 2023-12-19T10:03:07Z

typings/global.d.ts

+
+declare namespace globalThis {
+    // eslint-disable-next-line no-var
+    var expect: ExpectWebdriverIO.Expect;


Ругался TS на использование expect. Только с помощью такой декларации смог побороть ошибки.

KuznetsovRoman

Не хватает декораторов и нужно исправить баг с регуляркой (const, let => var). В остальном - /ok

README.md

src/browser/commands/switchToRepl.ts

KuznetsovRoman · 2023-12-21T08:45:28Z

src/test-reader/index.js

+        const browsersToRun = _.uniq(testsToRun.map(test => test.browserId));
+
+        if (testsToRun.length !== 1) {
+            throw new Error(


Тут браузеры мы видим, вот список тестов - нет.
По итогу у пользователя может быть 2 теста, подходящих по его маске, и он, видя эту ошибку, не знает, что нужно добавить, чтобы область сузилась до 1 теста.
Можно тут добавить вывод названий тестов, если их мало, но мне все еще больше нравится идея с декоратором теста:
Сейчас нужно:

посмотреть, как называется тест

сложить его fullName в маску

правильно написать в эту же cmd команду название браузера

запустить с repl флагами.

Это не так удобно, как декоратор hermione.repl() перед тестом какой-нибудь, потому что раз пользователь вызывает switchToRepl() в тесте, у него все равно открыт файл с таким названием.

В общем, предлагаю добавить декораторов теста (можно и один этот, а в него передавать режим: hermione.repl({beforeTest: true}). Так выглядит удобнее

Тут браузеры мы видим, вот список тестов - нет.
По итогу у пользователя может быть 2 теста, подходящих по его маске, и он, видя эту ошибку, не знает, что нужно добавить, чтобы область сузилась до 1 теста.
Можно тут добавить вывод названий тестов, если их мало

Я думал об этом. Но у пользователя может быть 100500 тестов и выводить в лог их всех не хочется. Ну и какое-то условие на кол-во тестов тоже показалось странным добавлять. Если пользователь не может понять как написать grep, то может просто указать hermione.only.in и никаких проблем не будет. Или юзать retry одного теста в gui.

Сейчас нужно:
посмотреть, как называется тест
сложить его fullName в маску
правильно написать в эту же cmd команду название браузера
запустить с repl флагами.

Можно просто заюзать hermione.only.in и вызывать npx hermione --repl-before-test.

В общем, предлагаю добавить декораторов теста (можно и один этот, а в него передавать режим: hermione.repl({beforeTest: true}). Так выглядит удобнее

Просто реализовать hermione.repl() будет недостаточно, так как зачастую каждый тест выполняется в нескольких браузерах. Т.е. нужно поддерживать логику hermione.only.in('some-browser'). Но зачем ее поддерживать если уже есть hermione.only.in? А чтобы запустить beforeTest нужно просто передать cli опцию. В будущем появится кнопка в gui. С помощью которой можно выполнить запуск repl перед тестом.

Т.е. через gui можно вообще не юзать никакие hermione.only.in, просто выбираешь нужные тест и жмешь retry.

В общем пока не вижу большой пользы от еще одного декоратора.

Если пользователь не может понять как написать grep, то может просто указать hermione.only.in

Это же ограничение на браузеры. Им не получится запустить только один тест. То есть, запускаться будут все, но этот тест только в переданном браузере

Это же ограничение на браузеры. Им не получится запустить только один тест. То есть, запускаться будут все, но этот тест только в переданном браузере

А ну да, точно. Нужно еще в it лупить этот .only. В этом случае не очень удобно получается. Посмотрю на возможность реализации декоратора.

Посмотрел. Не очень мне все таки нравится такое решение с декоратором:

появляется 2 источника правды. Запуск из cli или указание hermione.repl. И они могут конфликтовать друг с другом. Т.е. нужно еще правильно мерджить опции

подобные декораторы в тестовых фреймворках обычно используются для фильтрации и обогощения данными тестов (изменение таймаута например ). Но не меняют режим его выполнения. Это все равно, что написать hermione.gui например. Как по мне не очень ux friendly. Особенно если учесть, что это могут закомитить.

Я заведу отдельную задачу на подумать. А пока предлагаю влить без реализации декоратора.

Ну да. Давай тогда так.

DudaGod commented Dec 19, 2023

View reviewed changes

DudaGod force-pushed the HERMIONE-1216.repl_mode branch 2 times, most recently from f5a4997 to 7729762 Compare December 19, 2023 15:14

KuznetsovRoman approved these changes Dec 21, 2023

View reviewed changes

DudaGod force-pushed the HERMIONE-1216.repl_mode branch from 7729762 to 4f230b7 Compare December 27, 2023 22:31

feat: implement REPL interface to debug tests

8c17648

DudaGod force-pushed the HERMIONE-1216.repl_mode branch from 4f230b7 to 8c17648 Compare December 27, 2023 22:38

DudaGod merged commit 7868374 into master Dec 27, 2023
2 checks passed

DudaGod deleted the HERMIONE-1216.repl_mode branch December 27, 2023 22:45

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

feat: implement REPL interface to debug tests #817

feat: implement REPL interface to debug tests #817

DudaGod commented Dec 19, 2023

DudaGod Dec 19, 2023

DudaGod Dec 19, 2023

DudaGod Dec 19, 2023

DudaGod Dec 19, 2023

DudaGod Dec 19, 2023

DudaGod Dec 19, 2023

DudaGod Dec 19, 2023

DudaGod Dec 19, 2023

DudaGod Dec 19, 2023

KuznetsovRoman left a comment •

edited

Loading

KuznetsovRoman Dec 21, 2023

DudaGod Dec 27, 2023

KuznetsovRoman Dec 27, 2023

DudaGod Dec 27, 2023

DudaGod Dec 27, 2023

KuznetsovRoman Dec 27, 2023

feat: implement REPL interface to debug tests #817

feat: implement REPL interface to debug tests #817

Conversation

DudaGod commented Dec 19, 2023

What is done

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

KuznetsovRoman left a comment • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

KuznetsovRoman left a comment •

edited

Loading