Skip to content

Releases

DNA-DB Enterprise v4.0.0

Choose a tag to compare

@github-actions github-actions released this 01 Nov 02:26

DNA-DB Enterprise v4.0.0-GA — Release Notes

Дата: Октябрь 2026 · Базовый код: v3.5.0 (d1129bae) → полный аудит и доработка

Что сделано в этом релизе (реально, с тестами)

v3.6 «Unified Query Engine» — SQL диалект доведён до 32/32

  • RIGHT [OUTER] JOIN и FULL [OUTER] JOIN (hash-join, FULL — обе стороны).
  • UNION [ALL] (дедупликация, имена колонок — от первого SELECT, ORDER BY/LIMIT на соединение).
  • Скалярные подзапросы в SELECT и WHERE, коррелированные (переписывание внешних ссылок на значения строки), EXISTS / NOT EXISTS, коррелированный IN (SELECT ...).
  • CTE: WITH name AS (SELECT ...), ... (statement-scoped materialisation, join'ы по CTE).
  • INSERT ... ON CONFLICT (pk) DO NOTHING | DO UPDATE SET ... = EXCLUDED.col (UPSERT).
  • Оконные функции: ROW_NUMBER(), RANK(), DENSE_RANK() OVER (PARTITION BY ... ORDER BY ...).
  • Сессии: BEGIN / COMMIT / ROLLBACK — DML буферизуется и коммитится ОДНИМ атомарным WAL-кадром; ROLLBACK отбрасывает.
  • SHOW TABLES, SELECT VERSION(), EXPLAIN <stmt> (фикс двойного потребления токена), FROM-less SELECT (SELECT ...).
  • Неизвестная таблица в FROM/JOIN теперь честная ошибка 42P01-стиля.
  • Новый клиентский тест-файл tests/sql_v36_features.rs (13 сценариев).

v3.7 «Ecosystem & pgwire Bridge»

  • Новый модуль src/pgwire.rs: PostgreSQL Wire Protocol v3 (порт 5432): SSLRequest→'N', startup, AuthenticationOk, ParameterStatus, BackendKeyData, Simple Query (RowDescription/DataRow/CommandComplete/ErrorResponse/ReadyForQuery), Terminate, отмена; текстовые типы int8/float8/text, NULL → NULL.
  • serve --pgwire-port 5432 (0 = выкл). Один и тот же SqlEngine и ACL на обоих протоколах.
  • E2E-клиент tests/test_pgwire_client.py (сырой протокол): 8 шагов PASS — handshake, VERSION(), DDL/DML, SELECT, оконные функции через pgwire, NULL, ErrorResponse, BEGIN/ROLLBACK/COMMIT.

v3.8 «Distributed Raft Consensus»

  • Новый модуль src/raft.rs + подкоманда cluster: кворумный Raft (3+ нод) — выборы со случайным джиттером (node-id-подмешанным — фикс расщепления голосов), персистентный term/votedFor/log (fsync), репликация с nextIndex/matchIndex и откатом по conflict_index, commit по большинству, применение к движку одним WAL-батчем, клиентские редиректы NOT_LEADER.
  • Интеграционный тест tests/raft_cluster.rs: 3 ноды in-process — выборы, репликация 3/3, failover за 1.05 c (< 2 c SLA), ноль потерь закоммиченных записей, сходимость выживших.

v3.9 «Cloud Tiering & Online DDL»

  • src/tiered_storage.rs: S3-совместимый клиент (AWS SigV4, HTTP + HTTPS/rustls, HMAC-SHA256 без новых зависимостей), демоушн/промоушн сегментов в S3/MinIO/GCS-S3 (Bloom-сайдкар), удаление локальной копии только после успешной загрузки.
  • Online DDL: ALTER TABLE t ADD COLUMN c T — мгновенно, только метаданные, без блокировок и перезаписи строк.
  • PITR: подкоманда pitr --target (консистентный физический снапшот с манифестом) и pitr --restore.
  • Тесты tests/tiering_v39.rs: S3 round-trip через in-process S3-совместимый сервер (проверка подписи), мгновенный ALTER.

v4.0 «Enterprise Production GA»

  • /metrics — Prometheus 0.0.4 (реальные счётчики: health, lesions found/repaired/unrecoverable, memtable, segments, stats).
  • Kubernetes-манифесты обновлены: CRD DnaDbCluster, StatefulSet, Service+ServiceMonitor для Prometheus.

Результаты финальных прогонов (эта сборка)

  • cargo test --release: 215 тестов PASS (184 unit + 32 SQL-фичи + 13 recovery + Raft + tiering + pgwire unit).
  • SQL conformance (канонический scripts/sql_feature_test.py): 32/32 ok, 0 unsupported, 0 mismatch, 0 error.
  • Chaos suite (scripts/chaos_test.py): 3/3 PASS, 300 000 верификаций ключей, seed=20261021, 0 потерь/искажений.
  • Бенчмарк v4.0.0 (docs/bench_compare_results_v400_linux.json): batch-load 308 423 rows/s, point-read p50 0.02 ms, SQL SELECT pk 27 074 ops/s, загрузка SQL 33 023 ops/s.
  • Сравнение с MySQL 8.4.6 / PostgreSQL 17.11 — эталонные числа прежней платформы сохранены в docs/bench_compare_results_v350_linux.json (та же методология, scripts/bench_compare.py).

Честные ограничения

  • Raft: одна группа (без шардирования), без снапшотов/компакции лога; линейные записи, чтения на лидере.
  • pgwire: simple query protocol; подготовленные выражения — явная понятная ошибка 0A000.
  • S3-клиент: SigV4 без multipart (сегменты ≤ 5 ГБ укладываются).
  • ALTER TABLE: только ADD COLUMN (metadata-only).

DNA-DB Core v3.4.0 - per-table ACL, trusted-proxy SSO, mirror-aware rotation

Choose a tag to compare

@nsmykh70-creator nsmykh70-creator released this 30 Oct 09:15

DNA-DB Core v3.4.0 — per-table ACL, trusted-proxy SSO, mirror-aware rotation

Дата: 2026-10-30
Тип: production security + access-control release
Совместимость: SQL, DnaQL, формат WAL/SST, parity/self-healing sidecars, чтение старых users.json и plaintext-БД — без миграции.

Что вошло

1. Per-table ACL

  • У пользователя появился необязательный список allowed_tables в users.json.
    • нет поля или * — без ограничений (поведение старых БД);
    • пустой список — запрет всех таблиц;
    • иначе — только перечисленные таблицы, сравнение без учёта регистра.
  • ACL проверяется до выполнения запроса по разобранному AST:
    • SQL: SELECT/JOIN, IN (SELECT ...), INSERT/UPDATE/DELETE, CREATE/DROP TABLE, CREATE/DROP INDEX, EXPLAIN, внешние ключи;
    • DnaQL: FIND, FROM ... |> LINK, транзакционные операции, VERIFY/REPAIR.
  • Панель фильтрует /api/tables, проверяет /api/browse и /api/query.
  • Для ограниченных пользователей отключены raw GET/PUT/DELETE/CHECKPOINT: у KV-протокола нет табличного пространства, иначе ACL обходится одним GET.
  • Schema-wide SHOW/DESCRIBE ограниченным пользователям запрещён.
  • Смена ACL отзывает все сессии этого пользователя.
  • В панели: поле «таблицы» при создании и кнопка «Доступ» для редактирования.

Пример:

# create a viewer limited to two tables through the panel API
curl -k https://127.0.0.1:8080/api/users \
  -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" \
  -d '{"user":"alice","pass":"alice-pass-123","role":"viewer",
       "must_change":false,"allowed_tables":["chr_users","chr_orders"]}'

2. Внешний IdP через доверенный reverse proxy

  • serve --trusted-proxy IP (можно повторять) разрешает POST /api/login/proxy только с указанного peer IP.
  • Логин передаётся в X-Auth-Request-User (--proxy-auth-header).
  • Опциональный shared secret: --proxy-auth-secret / DNA_DB_PROXY_AUTH_SECRET, заголовок X-Proxy-Auth-Secret (--proxy-auth-secret-header), сравнение constant-time.
  • SPA автоматически пытается выполнить proxy-вход, если нет локальной сессии.
  • Подходит для oauth2-proxy, Authentik, nginx auth_request и аналогичных схем.
  • Proxy обязан вырезать клиентские identity/secret-заголовки. Это интеграция с внешним IdP, а не встроенный OIDC/SAML-клиент.
dna-db-core serve --data-dir ./dna_data \
  --trusted-proxy 127.0.0.1 \
  --proxy-auth-header X-Auth-Request-User \
  --proxy-auth-secret "$DNA_DB_PROXY_AUTH_SECRET"

3. Ротация ключа с внешним зеркалом

# сервер остановлен; новый ключ — вне DATA
dna-db-core rotate-key \
  --data-dir ./dna_data \
  --new-key-file /secure/dna-new.key \
  --mirror-dir /mnt/dna_mirror
  • После перешифрования primary внешнее зеркало Strand B пересоздаётся из нового primary и проверяется открытием с новым ключом.
  • Старое зеркало сохраняется как <mirror>.pre-rotate-<timestamp>.
  • Если пересоздание/подмена зеркала не удалась, primary откатывается на старую копию; оператор не остаётся с новым primary и старым зеркалом.
  • Без --mirror-dir поведение прежнее: зеркало нужно пересеять вручную.

4. Проверки

Проверка Результат
cargo test --release 186 passed (171 unit + 2 encryption + 13 recovery)
cargo audit 0 vulnerabilities, 0 warnings (1386 advisories)
scripts/acl_proxy_smoke.py 24/24 PASS
scripts/key_rotation_smoke.py 2/2 PASS, включая пересоздание зеркала
scripts/security_probe.py 12/12 PASS
scripts/tls_smoke.py PASS
scripts/smoke_test.py 15/15 PASS (сервер поднимается с --no-tls)
mTLS smoke 2/2 PASS (не изменялся)

ACL smoke проверяет: список таблиц в панели, запрет browse/query, запрет JOIN и подзапроса к чужой таблице, блокировку raw KV, DnaQL, proxy-вход с секретом и без, отзыв сессии при смене ACL.

5. Benchmark

Новых измерений в этом релизе нет: v3.4 меняет control plane (аутентификация/ACL/proxy/ротация), а не storage-write path. Актуальные измеренные данные остаются в docs/BENCHMARK_2026-10-26_RU.md:

  • fixed production DNA-DB: 1 004 load/s, 32 942 batch rows/s, 3 771 point read/s, 3 786 mixed/s, 3 491 SQL SELECT/s;
  • max 1M: 3 019 rows/s load, 6 876 SELECT/s @32, 1 060 UPDATE/s @32, 750,2 MiB;
  • PostgreSQL 17: 6 293 load/s, 5 750 SELECT/s, 3 341 UPDATE/s, 212,9 MiB;
  • Oracle 23ai Free: 1 494 load/s, 4 306 SELECT/s, 2 500 UPDATE/s, 208,0 MiB;
  • MySQL 8.4: 3 003 load/s, 3 183 SELECT/s, 1 134 UPDATE/s, 174,7 MiB.

Условия сравнения прежние: DNA-DB работает нативно в Windows, MySQL/PostgreSQL/Oracle — в Docker/WSL2; 32 клиента — верхняя точка теста, а не точка падения.

Остаточные ограничения

Они не выдаются за исправленные:

  • LSM-ключи и метаданные не шифруются. Record keys, длины, число строк и паттерны доступа видны при raw-disk доступе. Нужен формат v2 или компромисс с утечкой порядка.
  • Встроенного OIDC/SAML нет. Есть только trusted-proxy интеграция; её безопасность зависит от корректной конфигурации proxy.
  • ACL — allowlist, не row-level security. Пользователь видит все строки разрешённой таблицы; row-фильтров и маскирования колонок нет.
  • Нет HSM/KMS. Ключ можно передать из secret manager через окружение, но сам движок PKCS#11/cloud KMS не поддерживает.
  • Ротация offline. Online re-encryption без остановки сервиса не реализован.
  • Audit-log export не реализован.

Обновление

  1. Остановите сервер.
  2. Сделайте backup DATA, ключа и внешнего зеркала.
  3. Замените бинарник и запустите serve как обычно. Старые users.json читаются: отсутствие allowed_tables означает отсутствие ограничений.
  4. Создайте ACL через панель или API и проверьте доступ ограниченным пользователем.
  5. Для SSO настройте reverse proxy, который перезаписывает X-Auth-Request-User и X-Proxy-Auth-Secret, и запустите сервер с --trusted-proxy.
  6. Для ротации с зеркалом используйте rotate-key --mirror-dir; после проверки удалите DATA.pre-rotate-*, <mirror>.pre-rotate-* и старый ключ.

Артефакты

  • dna-db-core-v3.4.0-windows-x86_64.zip
  • dna-db-core-v3.4.0-windows-x86_64.zip.sha256 — SHA-256 архива
  • BENCHMARK_REPORT_2026-10-26_RU.md
  • security_results_2026-10-30_public_v3.4.0.json

SHA-256 архива продублирован в тексте релиза и в docs/RELEASE_NOTES_v3.4.0.md после публикации.

SHA-256

002f6bce1403e041a0759e1abd7b99076b40aa947e2d8f357b8368c08da9276e  dna-db-core-v3.4.0-windows-x86_64.zip

DNA-DB Core v3.3.0 - mTLS, key rotation, clean audit

Choose a tag to compare

@nsmykh70-creator nsmykh70-creator released this 26 Oct 14:32

DNA-DB Core v3.3.0 — mTLS, key rotation, clean audit, benchmark evidence

Дата: 2026-10-26
Тип: production security + verification release
Совместимость: SQL, DnaQL, формат WAL/SST, parity/self-healing sidecars, чтение старых plaintext-БД — без изменений.

Что вошло

1. Mutual TLS

  • serve --tls-client-ca CA.pem требует клиентский сертификат, подписанный этим CA, и на TCP-порту, и на HTTPS-панели.
  • shell --tls-client-cert client.pem --tls-client-key client.key — mTLS-клиент для CLI.
  • Без клиентского сертификата TLS 1.3-соединение закрывается до аутентификации; проверено smoke-тестом.
  • mTLS — транспортная аутентификация. Она не заменяет пользовательскую аутентификацию и не даёт per-table ACL.

2. Offline-ротация ключа

# сервер остановлен; новый ключ — вне DATA
dna-db-core rotate-key \
  --data-dir ./dna_data \
  --new-key-file /secure/dna-new.key
  • Читает все живые логические строки старым ключом.
  • Пишет их в новый каталог с новым ключом через write_batch (strict fsync).
  • Сохраняет users.json, security_state.json и tls/.
  • Атомарно меняет каталоги; старая копия остаётся в DATA.pre-rotate-<timestamp>.
  • Поддерживает миграцию старой plaintext-БД в зашифрованную.
  • Если в БД есть DNAE1-конверты, а старый ключ не передан, команда отказывается работать вместо порчи данных.
  • Внешнее зеркало автоматически не мигрируется: после ротации его нужно пересоздать/пересеять.
  • Ограничение: операция offline и требует свободного места под вторую копию и RAM под merged scan.

3. cargo audit: 0 vulnerabilities, 0 warnings

lru 0.7.8 (RUSTSEC-2026-0253) и instant 0.1.13 (RUSTSEC-2024-0384) приходили через reed-solomon-erasure 6.0.0. Добавлена vendored byte-compatible копия vendor/reed-solomon-erasure:

  • тот же GF(2^8)-кодек и формат parity;
  • lru обновлён до 0.19, parking_lot — до 0.12;
  • старые WAL/SST parity и self-healing sidecars остаются читаемыми;
  • upstream MIT license сохранена.

4. Benchmark

Новый отчёт: BENCHMARK_REPORT_2026-10-26_RU.md (в репозитории — docs/BENCHMARK_2026-10-26_RU.md).

Кратко, 1 млн строк по 160 байт, 32 клиента, 0 ошибок:

Система SELECT, ops/s UPDATE, ops/s Занято, MiB
DNA-DB TLS+AEAD 6 876 1 060 750,2
PostgreSQL 17 5 750 3 341 212,9
Oracle 23ai Free 4 306 2 500 208,0
MySQL 8.4 3 183 1 134 174,7

Важно: 32 клиента — верхняя точка прогона, а не найденная точка падения. MySQL/Oracle вышли на плато по SELECT на 16 клиентах; DNA-DB/PostgreSQL на 32 ещё росли. Цена self-healing — примерно 3,5× места относительно MySQL.

Проверка

Проверка Результат
cargo test --release 176 passed (161 unit + 2 encryption + 13 recovery)
cargo audit 0 vulnerabilities, 0 warnings
security_probe.py 12/12 PASS
TLS panel + shell smoke PASS
mTLS smoke 2/2 PASS
key rotation smoke 2/2 PASS
fixed benchmark DNA-DB TLS+AEAD: 1 004 load/s, 32 942 batch rows/s, 3 771 read/s, 3 491 SQL SELECT/s
1M-row benchmark DNA-DB 3 019 rows/s load, 6 876 SELECT/s, 1 060 UPDATE/s

Остаточные ограничения

Они не выдаются за исправленные:

  • LSM-ключи и метаданные не шифруются. Это необходимо для ordered scan/prefix lookup; имена ключей нужно защищать на уровне приложения.
  • Нет per-table ACL. Роли admin/operator/viewer глобальные; для table-level изоляции — отдельный инстанс или сетевой слой.
  • Нет внешнего IdP (OIDC/SAML). mTLS не заменяет identity provider.
  • Ротация ключа offline. Online re-encryption без остановки сервиса не реализован.
  • Нет HSM/KMS. Ключ можно передать из secret manager через окружение, но сам движок HSM не поддерживает.

Эти пункты требуют отдельных архитектурных изменений; они явно перечислены в SECURITY.md / SECURITY_RU.md, а не скрыты в маркетинговом тексте.

Обновление

  1. Остановите сервер.
  2. Сделайте backup DATA и ключа.
  3. Замените бинарник и запустите serve как обычно. Формат данных совместим; автоматическая миграция не требуется.
  4. Для ротации ключа используйте rotate-key, проверьте данные, затем удалите DATA.pre-rotate-* и старый ключ.
  5. Для mTLS добавьте --tls-client-ca и настройте клиентские сертификаты.

?????????

  • dna-db-core-v3.3.0-windows-x86_64.zip
  • SHA-256: 12eb25289da4aa7e3d4b11071b07655b71c3c1028c7801d1870257a992689269
  • BENCHMARK_REPORT_2026-10-26_RU.md
  • security_results_2026-10-26_public_v3.3.0.json

DNA-DB Core v3.2.0 — Paneldb Security

Choose a tag to compare

@nsmykh70-creator nsmykh70-creator released this 26 Oct 12:56

DNA-DB Core v3.2.0 — «Paneldb Security»

Production-hardening release: TLS everywhere, Argon2id authentication, encryption
at rest, persistent brute-force protection and full user management in the web
panel.

Highlights

  • TLS by default on both the binary TCP protocol and the HTTPS admin panel
    (rustls, TLS 1.2/1.3). HSTS, CSP with a SHA-256 script hash, X-Frame-Options,
    nosniff, no-referrer and no-store.
  • Argon2id PHC password hashes in DATA/users.json; timing-equalised
    unknown-user path; 256-bit CSPRNG bearer tokens with 12-hour TTL and revocation.
  • User management in the panel: create, disable, delete, reset password,
    change own password; roles admin, operator, viewer; last active admin is
    protected. Viewers are read-only on both HTTPS and TCP.
  • Persistent lockout per IP and username (5 failures / 60 s), global
    failure throttle, serialised Argon2, 64 KiB pre-auth frame cap, 10 s pre-auth
    timeout, bounded TCP/panel connections.
  • Encryption at rest: every value is XChaCha20-Poly1305 encrypted before WAL,
    mirror or SST writes; record key is AEAD associated data. Legacy plaintext
    values remain readable; new writes are always encrypted.
  • Explicit certificate validation: --tls-cert/--tls-key pairs are never
    silently replaced by a generated self-signed certificate. The self-signed
    localhost pair is generated only for the default data-directory path.

Defaults

TLS and encryption are enabled by default. A new data directory is bootstrapped
with admin / password; change it in the panel immediately. Supply
--admin-pass / DNA_DB_ADMIN_PASS to choose the first-start password.

./dna-db-core serve --data-dir ./dna_data --port 9999 --admin-port 8080
# open https://127.0.0.1:8080/ ; self-signed cert: DATA/tls/cert.pem
./dna-db-core shell --port 9999 --tls-ca ./dna_data/tls/cert.pem

The encryption key is DNA_DB_ENCRYPTION_KEY, --encryption-key-file, or
DATA/.dna-db.key (generated on first start). Back it up separately from the
data directory.
Record keys, row counts and indexes remain visible by design;
AEAD protects values, not the LSM key space.

--no-tls and --no-encryption are development/diagnostic escapes only.

Verification

  • cargo test --release: 174 passed (159 library + 15 integration).
  • Active security probe: 12/12 checks passed — TLS-only listeners, HSTS/CSP,
    unauthenticated rejection, Argon2id store, user create/login/password change,
    viewer read-only over HTTPS and TCP, ciphertext at rest, pre-auth cap,
    persistent lockout.
  • TLS panel smoke: default admin/password, HTTPS, Argon2id, ciphertext on disk.
  • TLS shell smoke: CLI shell connects with --tls-ca.
  • cargo audit: 0 known vulnerabilities; 2 residual transitive warnings
    (lru 0.7.8 RUSTSEC-2026-0253, instant 0.1.13 RUSTSEC-2024-0384) via
    reed-solomon-erasure 6.0.0. See SECURITY.md.
  • cargo clippy --all-targets: no errors; existing style warnings remain.

Compatibility

  • Old plaintext databases open with encryption enabled; reads are compatible and
    subsequent writes are encrypted.
  • WAL/SST/parity/mirror self-healing remains in place; ciphertext bytes are
    treated as payload.
  • Protocol framing is unchanged; clients must now connect over TLS by default or
    explicitly pass --tls-ca / --no-tls (diagnostics only).

Residual limitations

LSM keys are not encrypted; no key rotation, mTLS, per-table ACL or external IdP.
Self-signed certificates are for localhost only. The two cargo audit warnings
are tracked supply-chain risks in the Reed–Solomon dependency.

Benchmark numbers in the accompanying report were measured before this hardening
with --no-tls --no-encryption; TLS/AEAD overhead is not included in those
figures. No unmeasured performance numbers are claimed here.

Commit: 77d3d29 · Tag: v3.2.0