GrantProj - Система обработки аудио и NLP

Трехмодульная система для обработки аудио, транскрипции, извлечения структурированной информации с помощью NLP и сопоставления с визуальными элементами.

Архитектура системы

┌─────────────────┐    HTTP/WebSocket    ┌─────────────────┐                      ┌─────────────────┐
│   Mod1_v2       │ ──────────────────► │   Mod2-v1       │                      │   Mod3-v1       │
│   (ASR + Chunk) │                      │   (NLP + Layout)│                      │   (Visual Map)  │
│   Port: 8080    │                      │   Port: 8001    │                      │   Port: 9001    │
└─────────────────┘                      └─────────────────┘                      └─────────────────┘
▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
                                    │   Web Application   │
                                    │   (Frontend)        │
                                    │   Port: 3000        │
                                    └─────────────────────┘
                                                   │
                                                   ▼ HTTP API
                                                   ┌─────────────────┐
                                                   │   Mod3-v1       │
                                                   │   (Visual Map)  │
                                                   │   Port: 9001    │
                                                   └─────────────────┘

Модуль 1 (Mod1_v2) - ASR и Чанкинг

Назначение: Распознавание речи, разбиение на чанки и доставка данных

Основные функции:

🎤 Распознавание речи (Whisper)
✂️ Чанкинг текста по предложениям
📡 WebSocket стриминг в реальном времени
🔄 Доставка данных в Mod2 через webhooks

API Endpoints:

REST API:

POST /v1/transcribe - Пакетная транскрипция файла
GET /v1/session/{sid}/text - Получить полный текст сессии
GET /v1/session/{sid}/chunks - Получить чанки сессии
POST /v1/hooks/register - Регистрация webhook'ов
GET /healthz - Проверка здоровья

WebSocket:

WS /v1/stream - Стриминг аудио в реальном времени

Входные данные:

Аудио файлы (WAV, MP3, etc.)
WebSocket аудио стрим
Параметры: session_id, lang (ru-RU), emit_partial

Выходные данные:

Чанки (JSON) с полями:

{
  "session_id": "string",
  "chunk_id": "string", 
  "seq": 1,
  "text": "string",
  "overlap_prefix": "string|null",
  "lang": "ru-RU"
}

Финальный результат (JSON):

{
  "session_id": "string",
  "text_full": "string",
  "lang": "ru-RU",
  "duration_sec": 120.5,
  "total_chunks": 15
}

Конфигурация:

# config.yaml
app:
  host: 0.0.0.0
  port: 8080
  log_level: info
  emit_partial: true

whisper:
  model: small
  device: cpu
  language: ru
  vad_filter: true

chunking:
  sent_min: 3
  sent_max: 5
  char_limit: 1200
  overlap_sent: 1

Модуль 2 (Mod2-v1) - NLP и Layout

Назначение: Обработка текста, извлечение сущностей и генерация layout'ов

Основные функции:

🧠 NLP обработка (Stanza для русского языка)
🔍 Извлечение ключевых фраз (NOUN, ADJ+NOUN, NOUN+NOUN)
🎯 Маппинг на онтологию (точный + fuzzy поиск)
🎨 Генерация layout'ов по шаблону hero-main-footer

API Endpoints:

Ingest API:

POST /v2/ingest/chunk - Прием чанков от Mod1
POST /v2/ingest/full - Прием финального результата
POST /v2/webhooks/register - Регистрация webhook'ов

Session API:

GET /v2/session/{session_id}/layout - Получить layout сессии
GET /v2/session/{session_id}/entities - Получить извлеченные entities и keyphrases

Vocab API:

GET /v2/vocab - Получить словарь терминов
POST /v2/vocab/sync - Синхронизировать словарь

Debug API:

POST /v2/debug/parse - Отладка парсинга текста

Health:

GET /healthz - Проверка здоровья

Входные данные:

Чанки от Mod1 (с подписью HMAC-SHA256)
Финальные результаты от Mod1
Текст для отладки

Выходные данные:

Layout (JSON):

{
  "status": "ok",
  "session_id": "string",
  "layout": {
    "template": "hero-main-footer",
    "sections": {
      "hero": [{"component": "Hero"}],
      "main": [{"component": "ui.button"}, {"component": "ui.form"}],
      "footer": [{"component": "ContactForm"}]
    },
    "count": 3
  }
}

Конфигурация:

# config/app.yaml
STANZA_LANG: ru
FUZZY_THRESHOLD: 0.80
STREAM_PREVIEW: true
PAGE_TEMPLATE: hero-main-footer
MAX_COMPONENTS_PER_PAGE: 12
PLAN: EXTENDED

Модуль 3 (Mod3-v1) - Visual Elements Mapping

Назначение: Сопоставление NLP результатов с визуальными элементами интерфейса

Основные функции:

🎯 Сопоставление терминов с UI компонентами
🔍 Fuzzy matching с RapidFuzz (порог 0.8)
📚 Управление словарем терминов и синонимов
🎨 Генерация layout'ов по шаблонам
💾 Сохранение результатов в PostgreSQL

API Endpoints:

Mapping API:

POST /v1/map - Сопоставление сущностей с layout'ом
GET /v1/layout/{session_id} - Получение сохраненного layout'а

Vocab API:

GET /v1/vocab - Получение словаря терминов
POST /v1/vocab/sync - Синхронизация словаря

Health:

GET /healthz - Проверка здоровья

Входные данные:

Сущности (entities) от Mod2-v1
Ключевые фразы (keyphrases) от Mod2-v1
Session ID для идентификации

Выходные данные:

Layout (JSON):

{
  "status": "ok",
  "session_id": "string",
  "layout": {
    "template": "hero-main-footer",
    "sections": {
      "hero": [{"component": "Hero", "confidence": 1.0, "match_type": "default"}],
      "main": [
        {"component": "ui.button", "confidence": 1.0, "match_type": "exact"},
        {"component": "ui.form", "confidence": 1.0, "match_type": "exact"}
      ],
      "footer": []
    },
    "count": 3
  },
  "matches": [
    {
      "term": "кнопка",
      "component": "ui.button",
      "component_type": "ui.button",
      "confidence": 1.0,
      "match_type": "exact"
    }
  ]
}

Алгоритм сопоставления:

Точное совпадение - поиск точного совпадения термина
Поиск по синонимам - поиск среди синонимов терминов
Fuzzy matching - использование RapidFuzz с порогом 0.8
Дедупликация - удаление дубликатов по компонентам
Сортировка - сортировка по уверенности (confidence)

База данных:

База: SQLite (sqlite:///./mod3.db)
terms - Словарь терминов
synonyms - Синонимы терминов
components - Визуальные компоненты
mappings - Сопоставления терминов с компонентами
templates - Шаблоны layout'ов
layouts - Сохраненные layout'ы

Конфигурация:

# config/settings.py
database_url: str = "sqlite:///./mod3.db"
fuzzy_threshold: float = 0.8
max_components_per_section: int = 5
default_template: str = "hero-main-footer"
cors_origins: list = ["http://localhost:3000", "http://localhost:8001", "http://localhost:8080"]

Взаимодействие между модулями

1. Поток данных:

Аудио → Mod1 (ASR) → Чанки → Mod2 (NLP) → Entities → Mod3 (Mapping) → Visual Layout

2. Поток данных:

Mod1 отправляет чанки в Mod2 через HTTP POST
Mod2 обрабатывает текст и извлекает entities/keyphrases
Web-приложение получает entities от Mod2 через /v2/session/{id}/entities
Web-приложение отправляет entities в Mod3 для получения layout
Mod3 возвращает визуальный layout веб-приложению

3. Формат взаимодействия:

Mod1 → Mod2:

POST /v2/ingest/chunk
Headers:
  X-Signature: sha256=<hmac_hash>
  Idempotency-Key: <session_id>:<chunk_id>
  X-Request-Id: <session_id>:<seq>
  Content-Type: application/json

Web App → Mod2:

GET /v2/session/{session_id}/entities
Headers:
  Content-Type: application/json

Web App → Mod3:

POST /v1/map
Headers:
  Content-Type: application/json
Body:
{
  "session_id": "string",
  "entities": ["кнопка", "форма"],
  "keyphrases": ["создайте кнопку для отправки формы"],
  "template": "hero-main-footer"
}

Запуск системы

Mod1_v2:

cd Mod1_v2
docker compose up --build -d
# Доступен на http://localhost:8080

Mod2-v1:

cd Mod2-v1  
docker compose up --build -d
# Доступен на http://localhost:8001

Mod3-v1:

cd Mod3-v1
docker compose up --build -d
# Доступен на http://localhost:9001

Проверка работы:

# Mod1
curl http://localhost:8080/healthz

# Mod2  
curl http://localhost:8001/healthz

# Mod3
curl http://localhost:9001/healthz

Технологический стек

Mod1_v2:

FastAPI - Web framework
Whisper - ASR engine
SQLModel - ORM
WebSocket - Real-time streaming
httpx - HTTP client для доставки

Mod2-v1:

FastAPI - Web framework
Stanza - NLP pipeline
RapidFuzz - Fuzzy matching
SQLAlchemy - Async ORM
Pydantic - Data validation
jsonschema - Schema validation

Mod3-v1:

FastAPI - Web framework
SQLAlchemy - ORM
SQLite - База данных
RapidFuzz - Fuzzy matching
Pydantic - Data validation
Alembic - Миграции

Результат работы системы

В итоге система предоставляет:

Транскрипцию аудио в текст
Структурированные чанки для обработки
Извлеченные сущности из текста
Сопоставление с визуальными элементами
Готовые layout'ы для UI компонентов
API для интеграции с внешними системами

Пример итогового результата:

{
  "session_id": "abc123",
  "transcript": "Создайте кнопку для отправки формы",
  "layout": {
    "template": "hero-main-footer", 
    "sections": {
      "hero": [{"component": "Hero", "confidence": 1.0, "match_type": "default"}],
      "main": [
        {"component": "ui.button", "confidence": 1.0, "match_type": "exact"},
        {"component": "ui.form", "confidence": 1.0, "match_type": "exact"}
      ],
      "footer": []
    },
    "count": 3
  },
  "matches": [
    {
      "term": "кнопка",
      "component": "ui.button",
      "component_type": "ui.button",
      "confidence": 1.0,
      "match_type": "exact"
    },
    {
      "term": "форма",
      "component": "ui.form",
      "component_type": "ui.form", 
      "confidence": 1.0,
      "match_type": "exact"
    }
  ]
}

Name		Name	Last commit message	Last commit date
Latest commit History 15 Commits
Mod1_v2		Mod1_v2
Mod2-v1		Mod2-v1
Mod3-v1		Mod3-v1
alembic		alembic
contracts		contracts
docs		docs
ops		ops
public		public
scripts		scripts
tests		tests
.gitignore		.gitignore
README.md		README.md
test_connection.py		test_connection.py

ABorisovSfedu/Moduls

Folders and files

Latest commit

History

Repository files navigation

GrantProj - Система обработки аудио и NLP

Архитектура системы

Модуль 1 (Mod1_v2) - ASR и Чанкинг

Основные функции:

API Endpoints:

REST API:

WebSocket:

Входные данные:

Выходные данные:

Конфигурация:

Модуль 2 (Mod2-v1) - NLP и Layout

Основные функции:

API Endpoints:

Ingest API:

Session API:

Vocab API:

Debug API:

Health:

Входные данные:

Выходные данные:

Конфигурация:

Модуль 3 (Mod3-v1) - Visual Elements Mapping

Основные функции:

API Endpoints:

Mapping API:

Vocab API:

Health:

Входные данные:

Выходные данные:

Алгоритм сопоставления:

База данных:

Конфигурация:

Взаимодействие между модулями

1. Поток данных:

2. Поток данных:

3. Формат взаимодействия:

Mod1 → Mod2:

Web App → Mod2:

Web App → Mod3:

Запуск системы

Mod1_v2:

Mod2-v1:

Mod3-v1:

Проверка работы:

Технологический стек

Mod1_v2:

Mod2-v1:

Mod3-v1:

Результат работы системы

Пример итогового результата:

About

Resources

Uh oh!

Stars

Watchers

Forks

Releases

Packages 0

Languages

Packages