Skip to content

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

5 Commits
 
 
 
 
 
 
 
 

Repository files navigation

--- START OF FILE README.md ---

🦞 WebClaw by ProTalk 6.0 — Vision-First AI Browser Agent

Разработано в ProTalk Codex — ИИ-инженер для вашего сервера. SSH · AI · Автономный агент.

Автономный ИИ-агент нового поколения для Chrome, который видит веб-страницы глазами, работает по расписанию и управляет браузером как человек.

Смотреть демо

Manifest V3 Vision First Zero RAM License: MIT


1. Что это такое

WebClaw by ProTalk 6.0 — это Chrome-расширение, превращающее ИИ-модели, доступные через ProTalk Async Router, в вашего личного, полностью автономного браузерного ассистента.

В отличие от классических скриптов, WebClaw не зависит от HTML-кода и CSS-селекторов. Он работает по принципу Computer Use: «смотрит» на скриншот страницы, принимает решение и кликает по координатам.

А в версии 2.0 агент обрел осознание времени и умный сон. Теперь это настоящий цифровой сотрудник. Вы можете сказать:

  • «Жду ответа от техподдержки. Разбуди меня, когда они ответят в чате.»
  • «Спи ночью, а каждое утро в 09:00 проверяй новые заказы.»
  • «Сайт выдал ошибку лимитов. Отдохни 2 часа и попробуй снова.»

2. Ключевые возможности

🌙 Умный сон и Гибернация (Smart Sleep)

Революционная экономия токенов и ресурсов вашего ПК. Агент может "заснуть" двумя способами:

  1. Сторожевой сон (Wake-on-Vision): Агент приостанавливает ИИ-запросы и локально мониторит экран через Perceptual Hashing (преобразует скриншоты в 16x16 ЧБ-матрицы). Он проснется моментально, если на экране появится новое сообщение, всплывет модалка или загрузится картинка. Трата токенов = 0.
  2. Глубокая гибернация (Deep Sleep): Если ИИ решает, что нужно подождать час (например, из-за Rate Limit или расписания), расширение отключает все механизмы слежения и полностью выгружается из памяти Chrome. Потребление ОЗУ падает до 0 МБ. Агент проснется сам по системному будильнику chrome.alarms.

⏱️ Работа по расписанию

Агент знает ваше локальное время и день недели. Если вы напишете: "Не работай по выходным и спи ночью", модель сама посчитает количество секунд до утра понедельника и вызовет инструмент глубокой гибернации.

👁️ Vision-First Engine (0–1000 Coordinate Grid)

Полный отказ от сложного парсинга DOM. Модель получает скриншот и отдаёт команды по нормализованной сетке координат от 0 до 1000. Ломающиеся CSS-селекторы больше не проблема.

🧠 Кросс-страничная память (Scratchpad)

Агент ведет блокнот найденных фактов (цены, имена, контакты) и строит "Карту навигации" (Navigation Tree), которая передается между страницами. Он не забудет данные, даже перейдя на 10 сайтов вперед.

🖥️ Direct Tab Mode

Режим прямого управления вашей активной вкладкой без iframe. Полностью обходит любые защиты X-Frame-Options и CSP (hh.ru, Avito, Amazon и др.).


3. Набор инструментов ИИ-агента (Vision Toolset)

Модель управляет браузером через универсальные команды:

Команда Описание
sleep(duration, wake_on_change, reason) Умный сон. Если wake_on_change=true — ИИ проснется, как только изменится картинка на экране. Если false — уйдет в гибернацию (0 МБ ОЗУ) на указанное время.
click_at(x, y) Доверенный клик мыши по координатам (0–1000).
type_at(x, y, text) Клик в поле, очистка (Ctrl+A -> Delete) и печать текста.
press_key(key) Нажатие клавиш (Enter, Tab, Escape, PageDown и др.).
scroll(direction, amount) Прокрутка страницы колесом мыши (up, down, top, bottom).
hover_at(x, y) Наведение курсора мыши для выпадающих меню.
select_at(x, y, value) Выбор пункта из нативного выпадающего списка <select>.
navigate(url) / back Прямой переход на сайт или шаг назад по истории.
jump_to_node(node_id) Мгновенный «телепорт» на ранее посещенную страницу из памяти без лишних кликов "Назад".
done(answer) / fail(reason) Финализация задачи или сообщение о блокировке (Captcha/2FA).

4. Как это выглядит (UI / UX)

Мы сделали поведение агента абсолютно прозрачным для пользователя. На странице отображается Overlay-виджет, а в расширении доступен полноценный Монитор (Sidepanel).

  • 👁️ Сканирование: Во время «Сторожевого сна» в виджете пульсирует радар, показывая обратный отсчет.
  • 🌙 Спячка: В режиме гибернации виджет показывает спящую луну.
  • Пробуждение: Вы в любой момент можете прервать сон агента кнопкой «Разбудить сейчас» (Force Wake).
  • 💭 Мысли ИИ: Вы всегда видите, почему агент принял то или иное решение.

5. Быстрый старт

1. Установка в Chrome

  1. Клонируйте репозиторий или скачайте ZIP.
  2. Откройте Chrome и перейдите по адресу chrome://extensions/.
  3. Включите «Режим разработчика» (Developer mode).
  4. Нажмите «Загрузить распакованное расширение» (Load unpacked) и выберите папку extension.

2. Настройка подключения

  1. Нажмите на иконку расширения $\rightarrow$ ⚙ Настройки.
  2. Укажите ваш Auth Token (аккаунт ProTalk).
  3. Выберите модель (рекомендуется xiaomi/mimo-v2.5 или топовые модели от Google/OpenAI).

3. Запуск задачи

  1. Откройте нужный сайт.
  2. Вызовите попап, введите задачу (например: "Каждые 30 минут проверяй наличие новых писем").
  3. Нажмите ▶ Старт.
  4. Нажмите 📊 Монитор, чтобы следить за работой агента.

6. Техническая архитектура (для разработчиков)

Perceptual Hashing (Защита от ложных пробуждений)

Чтобы агент не просыпался от мигающего курсора или микросдвигов пикселей, механизм Wake-on-Vision использует OffscreenCanvas. Фоновый скрипт делает скриншот, сжимает его до 16x16 пикселей, переводит в оттенки серого и строит бинарный хэш на основе среднего значения яркости. Сравнение происходит моментально и без нагрузки на CPU.

MV3 Service Worker Hibernation

Обойти жесткие лимиты Manifest V3 на жизнь Service Worker'а (30 секунд простоя) помогла архитектура глубокого сна. Агент самостоятельно вызывает cdpDetach(), останавливает внутренние heartbeat-таймеры, сбрасывает свое состояние в chrome.storage.session и ставит системный chrome.alarms. Chrome выгружает процесс из памяти. В момент "звонка" будильника, attemptResume() подхватывает контекст и продолжает цикл.


7. Отчёты и экспорт

  • HTML-отчёт: Интерактивный таймлайн всех шагов с кликабельными скриншотами (авто-загрузка на file.pro-talk.ru), блоками мыслей ИИ и расходом токенов.
  • API-лог (CURL): Текстовый файл с готовыми CURL-командами для отладки промптов.

🛠 Разработано в ProTalk Codex

Это расширение было целиком написано с использованием ProTalk Codex — ИИ-инженера для вашего сервера.

ProTalk Codex — это автономный агент, который подключается к серверу по SSH, изучает проект, составляет план и вносит изменения. Работает через российский ИИ-роутер, без VPN.

Что умеет ProTalk Codex:

  • 🔍 Автономное исследование файловой базы проекта
  • 📋 Составление плана перед любыми правками (с вашим подтверждением)
  • 🛡️ Все изменения — только в черновиках, с возможностью отката
  • ✨ Самопроверка кода перед завершением задачи
  • 🧠 Умное управление контекстом — только релевантные файлы
  • 📝 Полная история изменений с двухпанельным diff

⚡ Попробовать ProTalk Codex · 📖 Документация · 💬 Telegram


📄 Лицензия

Проект распространяется под лицензией MIT. --- END OF FILE README.md ---

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages