Skip to content

Local LLM Bonsai 27B Guide RU

Jump to bottom
Svwergio_mel edited this page Nov 12, 2026 · 2 revisions

Локальная LLM через LangChain (опциональный сценарий)

Имя страницы: slug Local-LLM-Bonsai-27B-Guide-RU сохранён для старых ссылок. Bonsai-27B был одним примером локального стека; тот же паттерн работает с LangChain MCP, любым сервером /v1 или облачными MCP-клиентами.

Границы продукта: Chat Export — автономный стек: расширение Chrome MV3 + chat-export-server (+ опциональный дашборд). Автоматизация идёт через мост расширения в ваших залогиненных вкладках. Не нужен Chrome DevTools MCP (CDT), не поставляется код агентов. Ниже — пример подключения внешнего MCP-клиента (Cursor, Claude Desktop, LangChain или локальный OpenAI-совместимый сервер) к http://127.0.0.1:8765/mcp.

Пример: «локальный мозг + веб-консилиум»

Быстрая приватная модель на любом OpenAI-совместимом /v1 (часто через LangChain; опционально, например, Bonsai-27B на oMLX) может быть оркестратором, а Chat Export — list/export/ask в восьми веб-интерфейсах. Среду агента вы поднимаете сами; в репозиториях Chat Export её нет.

Типичные плюсы схемы:

  1. Без API за токен у вендоров — запросы идут через уже открытые сессии Chrome.
  2. Локальный синтез — сырой контекст остаётся у локальной модели; наружу — сжатые подвопросы; экспорты в ~/.chat-export/exports/.
  3. Несколько провайдеров — chat_ask, jobs_enqueue, jobs_status вместо ручного переключения вкладок.

Архитектура (пример)

flowchart LR
  subgraph Local["Ваша машина"]
    LLM["Локальная LLM\n(OpenAI-совместимый :8000/v1)"]
    Client["MCP-клиент\n(Cursor, Claude, LangChain)"]
    Server["chat-export-server\n127.0.0.1:8765/mcp"]
  end

  subgraph Browser["Chrome (ваша сессия)"]
    Ext["Расширение Chat Export\nWebSocket ceb_"]
    Web["8 веб-интерфейсов провайдеров"]
  end

  LLM <-->|"Ваш рантайм агента"| Client
  Client <-->|"Streamable HTTP MCP\nBearer cem_..."| Server
  Server <-->|"WebSocket RPC"| Ext
  Ext <-->|"Автоматизация на странице"| Web
Loading

Подключение любого MCP-клиента

Cursor (пример)

{
  "mcpServers": {
    "chat-export": {
      "url": "http://127.0.0.1:8765/mcp",
      "headers": {
        "Authorization": "Bearer cem_ВАШ_КЛЮЧ"
      }
    }
  }
}

Claude Desktop (пример)

Тот же Streamable HTTP URL и Authorization: Bearer cem_… в настройках MCP Claude Desktop (или в манифесте расширения Claude при публикации). Chat Export не поставляет готовый конфиг Claude — вы указываете http://127.0.0.1:8765/mcp после запуска chat-export-server.

LangChain / локальный агент (пример)

Подключите Chat Export как источник MCP-инструментов в вашем LangChain- или LangGraph-агенте с тем же URL и токеном. Base URL локальной модели остаётся в вашем репозитории агента.

Streamable HTTP MCP (общий случай)

Тот же URL. Пример переменных для собственного агента:

export CHAT_EXPORT_MCP_URL="http://127.0.0.1:8765/mcp"
export CHAT_EXPORT_MCP_TOKEN="cem_ВАШ_КЛЮЧ"
{
  "chat-export": {
    "transport": "streamable_http",
    "url": "http://127.0.0.1:8765/mcp",
    "headers": {
      "Authorization": "Bearer ${CHAT_EXPORT_MCP_TOKEN}"
    },
    "timeout_s": 180
  }
}

Base URL и id модели для локальной LLM настраиваются в вашем агенте, не в репозиториях Chat Export.

Рекомендуемый набор инструментов MCP

  • browsers_status — проверка моста Chrome.
  • chats_list, chat_read / chats_get, chats_export
  • chat_ask
  • jobs_enqueue, jobs_status, jobs_list, jobs_cancel

Для долгих ответов: timeout_s=180, rpcTimeoutS=180 в расширении или wait: false + опрос jobs.

Пример цикла «консилиум»

  1. browsers_status.
  2. chat_ask или jobs_enqueue на 2–3 провайдерах.
  3. Опрос jobs_status, chats_export в Markdown.
  4. Итоговую заметку пишет ваша локальная модель из файлов на диске (Obsidian и пр. — ваши инструменты).

См. также

Clone this wiki locally