Skip to content

Releases

StatCraft v0.4.3

Choose a tag to compare

@github-actions github-actions released this 20 Nov 20:18

StatCraft v0.4.3

English | Русский


English

StatCraft v0.4.3 is a critical precision and numerical stability release that restores full 64-bit IEEE 754 precision across all analytical procedures and dialogs, completely eliminating inadvertent decimal rounding from variable display formats.

🎯 Full-Precision Procedure Calculations (PR #5 by @jjohare)

  • Direct Numeric Access (DataSet::get_cell_numeric):
    • Core data storage in statcraft_core now provides get_cell_numeric(&self, row: usize, col: usize) -> Option<f64>, extracting stored numbers directly from memory.
    • Zero Allocation & High Performance: Replaces costly format! string allocations and subsequent float parsing with direct pointer dereferencing, providing significant speedups on large datasets.
    • Print Format Decoupling: Variable print formats (decimals, e.g. F8.2) now strictly govern screen and export display only, adhering to the IBM SPSS canon where display formats never alter underlying computation.
  • Refactoring Across 21 Analytical Procedures (statcraft_syntax):
    • Completely eliminated precision loss across all analytical modules:
      • Descriptives & Moments: DESCRIPTIVES, MEANS.
      • Correlation & Regression: CORRELATIONS, PARTIAL CORR, REGRESSION (Linear), CURVEFIT.
      • Group Comparisons & ANOVA: ONE-WAY ANOVA, T-TEST (One-Sample, Independent, Paired).
      • General Linear Model: GLM UNIVARIATE, GLM MULTIVARIATE, GLM REPEATED.
      • Nonparametric Tests: MANN-WHITNEY, KRUSKAL-WALLIS, RELATED SAMPLES (Wilcoxon/Sign).
      • Multivariate & Advanced: FACTOR, RELIABILITY, LOGISTIC REGRESSION, MULTINOMIAL LOGISTIC (NOMREG), SELECT IF.
  • Currency & Formatted Number Computation:
    • Fixed an issue where variables with currency (Dollar, CustomCurrency) or thousands separators (Comma, Dot) failed to parse in numerical procedures. All formatted numeric columns now compute accurately.
  • Categorical Key Preservation:
    • Factor variables, grouping keys, and value labels intentionally remain evaluated via display strings to preserve exact text-matching behavior for categorical groups.

🖥️ GUI Dialog Precision Polish (statcraft_app)

  • Distinct Level Detection in Dialogs:
    • Updated category counting in logistic_regression_dialog and multinomial_logistic_dialog to use ds.get_cell_numeric.
    • Prevents distinct category levels with small deltas (e.g. 0.001 vs 0.002) from collapsing into a single level under default F8.2 display formats.

🧪 Golden Oracle Precision Verification

  • Precision Invariant Tests (numeric_precision_tests.rs):
    • Added regression test suite verifying exact numerical tolerance $\le 10^{-9}$ for mean, minimum, slope, intercept, and Pearson $r$.
  • Dialog Category Tests (numeric_dialog_precision_tests.rs):
    • Automated testing verifying category separation, currency format compatibility, and missing-value isolation.

📦 Multi-Platform Release Artifacts

  • Windows (x64): Inno Setup Installer (.exe) + Portable ZIP archive (silent GUI launch).
  • Linux (x64): Debian package (.deb) + Portable TAR.GZ archive.
  • macOS (Apple Silicon ARM64 & Intel x64): Apple DMG Disk Image + Application Bundle (.app) TAR.GZ.

Русский

Релиз StatCraft v0.4.3 — это критическое обновление математической точности и стабильности, восстанавливающее вычисления с полной 64-битной точностью IEEE 754 во всех статистических процедурах и диалогах, полностью устраняя неявное округление чисел через экранные форматы переменных.

🎯 Вычисления с полной машинной точностью (PR #5 от @jjohare)

  • Прямой числовой доступ (DataSet::get_cell_numeric):
    • В хранилище данных statcraft_core добавлен метод get_cell_numeric(&self, row: usize, col: usize) -> Option<f64>, извлекающий сырые числа RawValue::Number напрямую из памяти.
    • Нулевые аллокации и ускорение: Устранены промежуточные выделения строк в куче format! и обратный парсинг строк, что кратно ускоряет расчеты процедур на больших массивах данных.
    • Разделение отображения и вычислений: Спецификация формата печати (decimals, например F8.2) теперь управляет исключительно представлением на экране, строго по канону IBM SPSS, где формат печати никогда не искажает точность математического ядра.
  • Рефакторинг 21 процедуры синтаксиса (statcraft_syntax):
    • Полностью устранена потеря точности во всех аналитических процедурах:
      • Описательные статистики: DESCRIPTIVES, MEANS.
      • Корреляции и регрессия: CORRELATIONS, PARTIAL CORR, REGRESSION (линейная), CURVEFIT.
      • Сравнение средних и ANOVA: ONE-WAY ANOVA, T-TEST (одновыборочный, двухвыборочный, парный).
      • Общая линейная модель: GLM UNIVARIATE, GLM MULTIVARIATE, GLM REPEATED.
      • Непараметрические критерии: MANN-WHITNEY, KRUSKAL-WALLIS, RELATED SAMPLES (Вилкоксон / Знаки).
      • Многомерные и специализированные: FACTOR, RELIABILITY, LOGISTIC REGRESSION, MULTINOMIAL LOGISTIC (NOMREG), SELECT IF.
  • Корректные вычисления по колонкам с валютами и разделителями:
    • Устранена проблема, из-за которой переменные с форматами валют (Dollar, CustomCurrency) или разделителями тысяч (Comma, Dot) выдавали ошибку парсинга в процедурах. Теперь расчеты по валютным колонкам выполняются безошибочно.
  • Сохранение группирующего поведения:
    • Факторные переменные, ключи группировки и метки значений осознанно сохранены на строковом сопоставлении для точной группировки категориальных уровней.

🖥️ Точность в диалоговых окнах GUI (statcraft_app)

  • Определение уникальных уровней в диалогах:
    • Подсчет уникальных категорий зависимой переменной в logistic_regression_dialog и multinomial_logistic_dialog переведен на ds.get_cell_numeric.
    • Исключено ошибочное объединение близких числовых категорий (например, 0.001 и 0.002) при формате печати F8.2.

🧪 Верификация тестами Золотого Оракула

  • Тесты математической точности (numeric_precision_tests.rs):
    • Внедрен тестовый пакет с допуском $\le 10^{-9}$ для среднего, минимума, наклона, интерсепта и корреляции Пирсона $r$.
  • Тесты диалогов (numeric_dialog_precision_tests.rs):
    • Автоматизированная проверка разделения категорий, совместимости с форматами валют и изоляции пропусков.

📦 Мультиплатформенные артефакты релиза

  • Windows (x64): Инсталлятор Inno Setup (.exe) + портативный ZIP-архив (тихий запуск GUI).
  • Linux (x64): Пакет Debian (.deb) + портативный архив TAR.GZ.
  • macOS (Apple Silicon ARM64 и Intel x64): Образ DMG + бандл приложения (.app) TAR.GZ.

What's Changed

  • fix(core,syntax): compute on stored values, not on the print format by @jjohare in #5

New Contributors

Full Changelog: v0.4.2...v0.4.3

StatCraft v0.4.2

Choose a tag to compare

@github-actions github-actions released this 19 Nov 12:44

StatCraft v0.4.2

English | Русский


English

StatCraft v0.4.2 is a feature and stabilization release introducing Dynamic Dataset Colors & Container Persistence and Tab Dirty Marker Positioning & Titlebar Normalization, alongside the multi-dataset capabilities and grid interactions introduced in v0.4.1.

🎨 Dynamic Dataset Colors & Container Persistence (Spec-Kit 015 / BUG-015)

  • Collision-Free Random Contrast Colors:
    • Implemented high-performance 64-bit SplitMix64 generator with continuous golden angle distribution ($137.50777^\circ$).
    • Dynamically scans currently opened document tabs and guarantees a minimum angular distance $\ge 45^\circ$, completely preventing visually identical purple/violet clustering across datasets with similar names (merge_base.csv, merge_add_cases.csv, merge_add_vars.csv).
    • Automatically tunes saturation ($0.65 \dots 0.85$) and optimizes lightness for both dark and light theme palettes.
  • Cross-Pane Visual Identity:
    • Synchronized colors across the application: DocumentTabStrip active underlines, vector table grid icons, Outline Tree procedure chips, and Notes summary tables query session colors via workspace.session_color_by_name.
  • Complete Persistence in .stc Containers:
    • Added pub tab_color: Option<String> with skip_serializing_if = "Option::is_none" across StcDatasetRecord, StcContainer, and DocumentSession.
    • Saving multi-file workspaces preserves assigned tab colors into .stc project files.
    • 100% backward compatibility: legacy v0.4.0 .stc project files deserialize seamlessly with automated contrast color assignment.

🏷️ Tab Dirty Marker Positioning & Titlebar Normalization (BUG-016)

  • Zero Text Overlap on Document Tabs:
    • Removed hardcoded coordinate truncation (min(12) * 6.5) that previously caused asterisk markers to render directly over filename characters (e.g. cases in merge_add_cases.csv).
    • Right padding is safely reserved (32.0 px when dirty, 20.0 px when clean).
    • Long filenames cleanly truncate with an ellipsis (truncate_at_width), and the amber asterisk marker (*) is placed strictly after the title text (text_x + text_w + 3.0) with vertical centering (Align2::LEFT_CENTER).
  • Titlebar Normalization & Unicode Compliance:
    • Completely eliminated the hardcoded bullet symbol • (U+2022) from the window titlebar in strict compliance with Vector-First UI standards.
    • Window title now renders cleanly: file_name for saved files, or file_name * when modified.
  • Semantic Session Isolation in has_unsaved_changes():
    • Refactored has_unsaved_changes() to compare active dataset state against its own session dictionary, dimensions, and delta undo checkpoint, eliminating false dirty triggers when switching between tabs with differing row/column counts.
    • Saving datasets to CSV/TSV/TXT via save_to_path properly clears the dirty state via sess.mark_clean().

🗂️ Included from v0.4.1: Multi-File Workspaces & Grid Modernization

  • Concurrent Document Sessions (WorkspaceManager): Open, edit, and switch between multiple datasets in a single window with isolated Undo/Redo histories, filter states, and split-file contexts.
  • Cross-Platform Memory Guard: Real-time RAM monitoring preventing out-of-memory crashes on massive files.
  • Data Merging (ADD FILES & MATCH FILES): Vertical case concatenation and horizontal variable merging with key-matching and /IN indicator flags.
  • SPSS Canon Range Selection: 100% safe, read-only grid selection without accidental cell replication or phantom row allocation.

📦 Multi-Platform Release Artifacts

  • Windows (x64): Inno Setup Installer (.exe) + Portable ZIP archive (silent GUI launch).
  • Linux (x64): Debian package (.deb) + Portable TAR.GZ archive.
  • macOS (Apple Silicon ARM64 & Intel x64): Apple DMG Disk Image + Application Bundle (.app) TAR.GZ.

Русский

Релиз StatCraft v0.4.2 — это функциональное обновление и стабилизация, внедряющие динамическую генерацию контрастных цветов датасетов и их сохранение в контейнере проекта .stc, а также исправление позиционирования маркера несохраненности на вкладках и нормализацию заголовка окна программы.

🎨 Динамические цвета датасетов и сохранение в .stc (Spec-Kit 015 / BUG-015)

  • Контрастные случайные цвета без коллизий:
    • Внедрен 64-битный хэшер на базе SplitMix64 с непрерывным распределением по золотому сечению ($137.50777^\circ$).
    • Алгоритм сканирует все открытые вкладки и гарантирует минимальное угловое расстояние $\ge 45^\circ$, полностью устраняя визуальное слияние в одинаковый фиолетовый оттенок для файлов со схожими именами (merge_base.csv, merge_add_cases.csv, merge_add_vars.csv).
    • Автоматически варьирует насыщенность ($0.65 \dots 0.85$) и адаптирует светлоту под темную и светлую темы оформления.
  • Сквозная цветовая идентификация:
    • Синхронизация цветов по всему интерфейсу: активное подчеркивание вкладки DocumentTabStrip, векторный значок таблицы, чипы процедур в дереве навигации (Outline Tree) и таблица «Примечания» (Notes) запрашивают цвет сессии через workspace.session_color_by_name.
  • Сохранение в файлах проектов .stc:
    • Добавлено поле pub tab_color: Option<String> с атрибутом skip_serializing_if = "Option::is_none" в структуры StcDatasetRecord, StcContainer и DocumentSession.
    • При сохранении проекта назначенные цвета вкладок фиксируются в файле .stc и восстанавливаются при повторном открытии.
    • 100% обратная совместимость со старыми файлами проектов формата v0.4.0.

🏷️ Позиционирование маркера несохраненности и очистка шапки окна (BUG-016)

  • Исключение наложения маркера на текст названия вкладки:
    • Удален хардкод отсечения min(12) * 6.5, приводивший к наложению звездочки на буквы слова cases посередине вкладки при длине имени более 12 символов.
    • Справа гарантированно резервируется отступ (32.0 px при несохраненных изменениях, 20.0 px при чистом состоянии).
    • Длинные имена файлов аккуратно усекаются многоточием (truncate_at_width), а янтарная звездочка * позиционируется строго справа за текстом (text_x + text_w + 3.0) с вертикальным центрированием Align2::LEFT_CENTER.
  • Нормализация заголовка окна программы:
    • Полностью удален захардкоженный Unicode-глиф точки • (U+2022) в соответствии со стандартом Vector-First UI (п. 8 AGENTS.md).
    • Заголовок окна отображается строго по стандарту: file_name для сохраненного файла или file_name * при наличии изменений.
  • Семантическая изоляция сессий в has_unsaved_changes():
    • Логика проверки несохраненных изменений изолирована для каждой сессии: сравниваются размеры, словарь и чекпоинт дельты активного датасета относительно его собственной сессии, устраняя ложные срабатывания при переключении между вкладками с разным числом строк/колонок.
    • Сохранение набора данных в CSV/TSV/TXT в save_to_path корректно сбрасывает dirty-флаг сессии через sess.mark_clean().

🗂️ Включено из версии v0.4.1: Мультифайловый воркспейс и слияние данных

  • Параллельные сессии документов (WorkspaceManager): одновременная работа с несколькими датасетами в едином окне с изолированными историями Undo/Redo, фильтрами и расщеплением файлов.
  • Кроссплатформенный Memory Guard: мониторинг доступной оперативной памяти, предотвращающий сбои при открытии гигантских массивов данных.
  • Слияние данных (ADD FILES и MATCH FILES): вертикальное объединение строк и горизонтальное объединение переменных по ключам с созданием индикаторов источника /IN.
  • Эталонное выделение диапазона ячеек (канон SPSS): строго безопасное выделение без риска затирания данных или создания пустых фантомных строк.

📦 Дистрибутивы релиза

  • Windows (x64): Установщик Inno Setup (.exe) + Портативный ZIP-архив (тихий запуск без консольного окна).
  • Linux (x64): Пакет Debian (.deb) + Портативный TAR.GZ-архив.
  • macOS (Apple Silicon ARM64 & Intel x64): Образ диска DMG + Приложение (.app) в архиве TAR.GZ.

Full Changelog: v0.4.1...v0.4.2

StatCraft v0.4.1

Choose a tag to compare

@github-actions github-actions released this 19 Nov 06:03

StatCraft v0.4.1

English | Русский


English

StatCraft v0.4.1 is a feature and stabilization release introducing Multi-File Workspaces, Data Merging (Add Cases & Add Variables), Memory Guard protection, and comprehensive Grid Selection & Interaction Modernization adhering to the strict IBM SPSS Statistics clean-room canon.

🗂️ Multi-File Workspace, Tabbed Datasets & Memory Guard (Feature 010 & 011)

  • Concurrent Document Sessions (WorkspaceManager):
    • Open, manipulate, and switch between multiple datasets simultaneously in a unified window;
    • Each dataset session maintains isolated Undo/Redo histories, filter states, split-file contexts, and selection metadata.
  • Lossless In-Memory Compression:
    • Zero-copy bitmasks for missing values (NullBitmask), dictionary encoding for categorical strings (DictionaryEncodedColumn), and packed numeric columns (LosslessCompressedColumn) retaining full f64 mathematical precision.
  • SPSS Syntax Commands for Datasets:
    • Full parser and engine command execution for DATASET NAME, DATASET ACTIVATE, DATASET CLOSE, and DATASET DISPLAY with WINDOW=ASIS validation.
  • Vector Document Tab Strip (DocumentTabStrip):
    • Horizontal tab bar with custom vector dataset icons, unsaved modification markers (*), close buttons (✕), smooth wheel scrolling, chevron overflow navigators, and quick dataset creation ([ ➕ ]);
    • Full keyboard shortcuts: Ctrl+Tab / Ctrl+Shift+Tab (next/previous dataset), Ctrl+W (close current dataset).
  • Cross-Platform System Memory Guard (system_memory.rs):
    • Native physical RAM probing without heavyweight dependencies: Windows API (GlobalMemoryStatusEx), Linux (/proc/meminfo), macOS (sysctl), and WebAssembly;
    • Safety preflight check: proactively alerts users when opening large files (>250 MB) or batch operations (>10 files) if available RAM is critically low (<500 MB or <15%).

🔗 Data Merging: Add Cases & Add Variables (Feature 012)

  • Add Cases (ADD FILES):
    • Concatenate observations vertically from external files (.sav, .zsav, .stc, .csv, .xlsx) or active workspace tabs;
    • Automated schema alignment, automatic variable type reconciliation, /IN=var source indicator tracking, and optional interleaved case ordering via /BY.
  • Add Variables (MATCH FILES):
    • Merge variables horizontally across datasets: 1:1 key merges, 1:N lookup tables (/TABLE), and sequential merges without keys;
    • Automated resolution of duplicate column collisions with clean rename suggestions and presence indicator flags (/IN).
  • Canonical DialogKit Interface:
    • Clean-room dialog windows (AddCasesDialog, AddVarsDialog) with dual-pane variable selection, active workspace tab pickers, file browse dialogs, and instant SPSS syntax generation.

🛡️ Grid Interaction Modernization & Invariants (Spec-Kit 013)

  • Preserving Rectangular Selection on Right-Click:
    • Right-clicking inside an active multi-cell selection preserves the highlighted rectangular block rather than collapsing to a single cell.
  • Zero Pollution Invariant for Phantom Rows:
    • Committing empty or whitespace input on the trailing insertion row (*) leaves dataset dimensions intact, eliminating accidental rows with system-missing values (SYSMIS / .).
  • Physical Case Deletion via Delete Key & Menu Actions:
    • Differentiated deletion semantics: cell range selections clear cell contents to Null; full-row selections (is_full_rows) physically delete cases via the engine command data.delete_row with reduced sample size $N$ and complete Undo/Redo reversibility.
  • Row and Column Header Context Menus (ContextMenuTarget):
    • Row headers offer "Insert Case Above", "Delete Selected Cases ({count})", and "Clear Cases Values"; column headers offer Ascending/Descending sorts, "Insert Variable", and "Auto-fit Column Width".
  • Click-Outside Dismissal (Eliminating Modal Traps):
    • Menus and column filter popups measure boundaries and dismiss automatically when clicking outside without requiring Escape.

🎯 SPSS Canon Range Selection & Fill Handle Removal (Spec-Kit 014 / BUG-014)

  • Pure Read-Only Range Selection (SPSS Canon):
    • Eliminated the bottom-right fill handle click-interceptor and marker: dragging mouse across cells is guaranteed to perform strictly safe, read-only marquee selection (SelectRange);
    • Completely prevents accidental cell value replication and phantom row allocation when selecting from cell (0, 0) down across the grid.
  • Zero Mutation Invariant in Auto-Fill (apply_auto_fill):
    • Auto-fill algorithm is strictly capped to existing dataset rows (target.max_row.min(ds.row_count().saturating_sub(1))), completely barring apply_auto_fill from allocating new empty rows in the dataset.

📦 Multi-Platform Release Artifacts

  • Windows (x64): Inno Setup Installer (.exe) + Portable ZIP archive (silent GUI subsystem launch without terminal window).
  • Linux (x64): Debian package (.deb) + Portable TAR.GZ archive.
  • macOS (Apple Silicon ARM64 & Intel x64): Apple DMG Disk Image + Application Bundle (.app) TAR.GZ.

Русский

Релиз StatCraft v0.4.1 — это функциональное обновление и стабилизация, внедряющие мультифайловое рабочее пространство, слияние данных (добавление наблюдений и переменных), защиту оперативной памяти Memory Guard, а также комплексную модернизацию интерактивного взаимодействия с сеткой данных в строгом соответствии с эталонным каноном IBM SPSS Statistics и чистой комнаты.

🗂️ Мультифайловый воркспейс, вкладки датасетов и Memory Guard (Feature 010 & 011)

  • Параллельные сессии документов (WorkspaceManager):
    • Одновременное открытие, редактирование и переключение между несколькими наборами данных в едином окне программы;
    • Каждая сессия изолированно хранит свою историю отмены/повтора (Undo/Redo), состояния фильтров, расщепления файлов и выделения ячеек.
  • Сжатие таблиц в памяти без потерь:
    • Битовые маски пропусков (NullBitmask), словарное кодирование текстовых категорий (DictionaryEncodedColumn) и плотные числовые колонки (LosslessCompressedColumn) со 100% сохранением математической точности f64.
  • Команды управления датасетами в синтаксисе SPSS:
    • Поддержка парсинга и выполнения команд DATASET NAME, DATASET ACTIVATE, DATASET CLOSE, DATASET DISPLAY с валидацией модификаторов WINDOW=ASIS.
  • Векторная панель вкладок документов (DocumentTabStrip):
    • Вкладки с векторным значком таблицы, индикатором несохраненных изменений *, кнопкой закрытия ✕, плавной прокруткой колесиком, кнопками навигации шевронами и кнопкой быстрого создания нового датасета [ ➕ ];
    • Горячие клавиши: Ctrl+Tab / Ctrl+Shift+Tab (переключение между датасетами), Ctrl+W (закрыть текущий датасет).
  • Кроссплатформенный Memory Guard (system_memory.rs):
    • Нативный опрос доступной физической памяти ОС: Windows API (GlobalMemoryStatusEx), Linux (/proc/meminfo), macOS (sysctl), WebAssembly;
    • Предохранитель: предупреждает пользователя перед открытием тяжелых файлов (>250 МБ) или пакетов (>10 файлов) при критически низком остатке оперативной памяти (<500 МБ или <15%).

🔗 Слияние файлов: Добавить наблюдения и Добавить переменные (Feature 012)

  • Добавить наблюдения (ADD FILES):
    • Вертикальное объединение строк из внешних файлов (.sav, .zsav, .stc, .csv, .xlsx) или соседних открытых вкладок;
    • Автоматическое сопоставление одноименных полей, приведение типов, отслеживание источника /IN=var и опциональная сортировка с чередованием по ключам /BY.
  • Добавить переменные (MATCH FILES):
    • Горизонтальное объединение колонок: объединение 1:1 по ключам, справочные таблицы 1:N (/TABLE), последовательное слияние без ключей;
    • Автоматическое разрешение коллизий дублирующихся имен переменных и создание индикаторов присутствия (/IN).
  • Диалоговые окна стандарта DialogKit:
    • Окна AddCasesDialog и AddVarsDialog с удобным двухколоночным выбором переменных, селектором открытых вкладок воркспейса, кнопкой обзора файлов на диске и генерацией канонического синтаксиса SPSS.

🛡️ Модернизация сетки данных и устранение багов взаимодействия (Spec-Kit 013)

  • Сохранение прямоугольного выделения при правом клике:
    • Клик правой кнопкой мыши внутри выделенного блока ячеек больше не схлопывает диапазон в одну ячейку, сохраняя блок активным для команд контекстного меню.
  • Защита от загрязнения датасета фантомными строками (Zero Pollution):
    • Фиксация пустого значения в строке добавления со звездочкой * не аллоцирует строк в датасете: появление случайных строк с системными пропусками SYSMIS (.) исключено.
  • Физическое удаление наблюдений клавишей Delete и через меню:
    • Разделено поведение: удаление в диапазоне ячеек очищает значения; удаление при выделении строк целиком (is_full_rows) физически удаляет наблюдения через команду ядра data.delete_row с уменьшением объема выборки $N$ и поддержкой Undo.
  • Контекстные меню заголовков строк и колонок (ContextMenuTarget):
    • Заголовки строк: «Вставить наблюдение выше», «Удалить выбранные наблюдения», «Очистить значения»; заголовки столбцов: сортировка A–Z / Z–A, «Вставить переменную», «Автоподбор ширины столбца».
  • Закрытие меню по клику снаружи (Click-Outside Dismissal):
    • Контекстные меню и окна автофильтра закрываются при любом клике за пределами их границ без обязательного нажатия Escape.

🎯 Канон SPSS: выделение ячеек строго Read-Only и удаление Fill Handle (Spec-Kit 014 / BUG-014)

  • Чистое выделение без риска затирания данных:
    • Маркер автозаполнения и его хит-тест удалены из интерфейса сетки: перетаскивание мыши всегда является безопасной операцией выделения ячеек (SelectRange);
    • Полностью устранена проблема случайного тиражирования значения ячейки `...
Read more

StatCraft v0.4.0

Choose a tag to compare

@github-actions github-actions released this 16 Nov 08:53

StatCraft v0.4.0

English | Русский


English

StatCraft v0.4.0 is a major milestone release representing the culmination of the Table Modernization Initiative alongside enhanced workspace reliability. This release transforms the Data View into a high-performance, virtualized, Excel/SPSS-grade spreadsheet grid capable of handling massive datasets with fluid 60 FPS interactions, deep keyboard ergonomics, multi-column filtering, canonical sorting via the engine command bus, rectangular clipboard exchange, and automated data integrity inspection.

📊 Virtualized 4-Quadrant 2D Grid (Feature 006)

  • Spatial 4-Quadrant Architecture:
    • Pinned top-left corner header (quad_top_left);
    • Horizontal-scrolling pinned column variable headers (quad_top_right);
    • Vertical-scrolling pinned row/case number headers (quad_bottom_left);
    • 2D-scrolling central data cell canvas (quad_center).
    • Row number headers remain firmly anchored to the left edge during horizontal scrolling.
  • Prefix-Sum Spatial Indexing (LineIndex):
    • $O(\log N)$ binary search from screen pixels to logical rows and columns with zero heap allocations in Uniform mode for hundreds of thousands of cases.
  • Interactive Column Resizing & Auto-Fit:
    • Visual drag-resizing with dynamic cursor switching (ResizeHorizontal) and accent guidelines;
    • Double-click on header separator triggers instant column Auto-fit based on header and cell content;
    • Two-way column width synchronization with SPSS dictionary metadata (VariableMetadata.columns).

🖱️ Range Selection, Keyboard Navigation & Direct Typing (Feature 007)

  • Multi-Cell Range Selection:
    • Fluid marquee box selection via mouse dragging or Shift+click / Shift+drag;
    • Vector selection rendering with 1.5 px accent perimeter border, non-blocking transparent cell background highlighting, and active cursor cell differentiation.
  • Full Keyboard Ergonomics:
    • Navigation via Arrow keys, Tab / Shift+Tab, Enter / Shift+Enter, Home / End, Ctrl+Home / Ctrl+End;
    • Dynamic range expansion via Shift + Arrow keys;
    • Direct Typing: Immediately typing alphanumeric characters activates the inline cell editor without requiring pre-clicking or pressing Enter;
    • Cell contents clearance via Delete or Backspace.
  • Focused Inline Cell Editor:
    • In-place single-line TextEdit with visual focus ring and automatic commit on Enter/Tab or cancellation on Escape.

📋 Rectangular TSV/CSV Clipboard & Auto-Fill Series (Feature 007)

  • Native Rectangular Clipboard Transfer:
    • Bidirectional TSV/CSV clipboard serialization (Ctrl+C) and streaming parser (Ctrl+V);
    • Multi-cell pasting with automatic row expansion when pasting external matrices.
  • Series Auto-Fill (Fill Handle):
    • $6 \times 6$ px square Fill Handle marker pinned to the bottom-right corner of selection;
    • Dragging the handle computes linear regression slopes for numeric sequences ([1, 2, 3] -> [4, 5, 6]) and cyclic repetition for categorical text.

🔍 Column AutoFilter, Dropdowns & Rapid Sorting (Feature 008)

  • Interactive Header AutoFilter:
    • Vector filter button in each column header (discrete downward chevron in idle state, filled accent funnel icon when filtered);
    • Floating filter popup with live search, "Select All" / "Clear All" bulk toggles, checkbox checklist of unique values, and explicit "(Blanks)" handling;
    • Dynamic evaluation of case eligibility via DataSet::is_row_matched_by_filter.
  • Quick Sorting via CommandBus:
    • Instant Sort Ascending (A–Z) and Sort Descending (Z–A) from column filter and cell context menus;
    • Executes as canonical engine command data.sort_cases with 100% reversible Undo/Redo (Ctrl+Z / Ctrl+Y) and full SPSS syntax logging (SORT CASES BY <var> (A/D).).

🎯 Cell Context Menu, SPSS FILTER BY Visuals & Data Integrity (Feature 008)

  • Cell Right-Click Context Menu:
    • "Filter by selected cell value", "Clear column filter", "Sort Ascending / Descending", and quick clipboard operations ("Copy", "Paste").
  • SPSS FILTER BY Visualization Parity:
    • Filtered / inactive cases are not deleted: row numbers display a diagonal vector strikethrough, and cell values render in muted gray (Tokens::text_muted()), automatically excluding them from analytical procedures.
  • Data Integrity Guards ("Numbers Stored as Text"):
    • Automated detector is_number_stored_as_text identifies numbers stored inside text fields;
    • Excel-parity green corner triangle indicator in cell's top-left corner;
    • Single click on badge converts value to RawValue::Number, preventing calculation errors.

🗂️ Workspace Tab Lifecycle Management (Feature 005)

  • Core workspace tabs (Data View, Variable View, Output Viewer) are marked non-closeable (is_closeable = false), protecting users from accidental tab loss;
  • Auxiliary tabs (Syntax Editor) close cleanly with standard tab close buttons;
  • "Window" menu provides quick restoration and single-click switching;
  • Running SPSS syntax automatically ensures Output Viewer visibility before executing batches.

📦 Multi-Platform Release Artifacts

  • Windows (x64): Inno Setup Installer (.exe) + Portable ZIP archive (silent GUI subsystem launch without terminal window).
  • Linux (x64): Debian package (.deb) + Portable TAR.GZ archive.
  • macOS (Apple Silicon ARM64 & Intel x64): Apple DMG Disk Image + Application Bundle (.app) TAR.GZ.

Русский

Релиз StatCraft v0.4.0 — это масштабное обновление, знаменующее завершение комплексной инициативы модернизации таблиц данных (Table Modernization Initiative) и существенное повышение надежности рабочей среды. Данный релиз превращает Data View в высокопроизводительный, виртуализированный табличный процессор уровня Excel и IBM SPSS, способный отображать и плавно прокручивать (60 FPS) массивы из сотен тысяч наблюдений, с поддержкой сквозной клавиатурной навигации, автофильтрации колонок, канонической сортировки через шину команд, прямоугольного буфера обмена и автоматического контроля типов данных.

📊 Виртуализированная 4-квадрантная 2D-сетка (Feature 006)

  • Пространственная 4-квадрантная архитектура:
    • Фиксированный верхний левый заголовок (quad_top_left);
    • Колоночные заголовки переменных, закрепленные сверху и скроллящиеся по горизонтали (quad_top_right);
    • Номера строк/наблюдений, закрепленные слева и скроллящиеся по вертикали (quad_bottom_left);
    • Центральная область ячеек данных со скроллингом в 2D (quad_center).
    • Номера строк больше не уплывают за левый край экрана при горизонтальной прокрутке.
  • Пространственная индексация префиксными суммами (LineIndex):
    • $O(\log N)$ бинарный поиск от экранных координат к строкам и столбцам без единой аллокации памяти в режиме Uniform для сотен тысяч строк.
  • Интерактивный ресайз столбцов и автоподбор ширины:
    • Изменение ширины перетаскиванием границы с динамической сменяемостью курсора (ResizeHorizontal) и направляющей линией;
    • Двойной клик по разделителю заголовков автоматически подбирает оптимальную ширину (Auto-fit) по содержимому;
    • Двусторонняя синхронизация ширины столбцов со словарем метаданных SPSS (VariableMetadata.columns).

🖱️ Прямоугольное выделение, клавиатурная навигация и Direct Typing (Feature 007)

  • Прямоугольное выделение диапазона ячеек:
    • Плавное выделение рамкой мышью, а также с зажатой клавишей Shift (Shift-click, Shift-drag);
    • Векторная отрисовка: акцентная рамка 1.5 px по периметру, фоновая подсветка ячеек без перекрытия текста и визуальное выделение активной ячейки-курсора.
  • Сквозная клавиатурная эргономика:
    • Навигация стрелками, клавишами Tab / Shift+Tab, Enter / Shift+Enter, Home / End, Ctrl+Home / Ctrl+End;
    • Расширение выделения с удержанием Shift;
    • Direct Typing: Мгновенный ввод данных в активную ячейку по нажатию буквенно-цифровых клавиш без предварительного двойного клика мышью или нажатия Enter;
    • Быстрая очистка ячеек по Delete или Backspace.
  • Фокусируемый инлайн-редактор ячеек:
    • Текстовое поле ввода TextEdit с акцентной рамкой фокуса, автосохранением по Enter/Tab и отменой по Escape.

📋 Прямоугольный буфер обмена TSV/CSV и автозаполнение (Feature 007)

  • Прямоугольный буфер обмена с поддержкой внешних программ:
    • Двусторонняя сериализация диапазонов в TSV/CSV (Ctrl+C) и потоковый парсер вставки (Ctrl+V);
    • Вставка многострочных матриц с авторасширением строк датасета.
  • Серийное автозаполнение (Fill Handle):
    • Векторный маркер протяжки $6 \times 6$ px в правом нижнем углу выделения;
    • Протяжка вычисляет шаг линейной арифметической прогрессии для чисел ([1, 2, 3] -> [4, 5, 6]) и циклическое повторение для текстовых данных.

🔍 Колоночный автофильтр, выпадающее меню и быстрая сортировка (Feature 008)

  • Колоночный автофильтр в заголовках:
    • Векторная кнопка в шапке столбца (шеврон в покое, залитая иконка воронки при активном фильтре);
    • Плавающее окно автофильтра с живым поиском, переключателями «Выбрать все» / «Очистить», списком уникальных значений с чекбоксами и категорией «(Пустые)»;
    • Оценка соответствия строк через DataSet::is_row_matched_by_filter.
  • Быстрая сортировка через CommandBus:
    • Сортировка по возрастанию (A–Z) и убыванию (Z–A) из меню автофильтра и из контекстного меню;
    • Выполняется как каноническая команда движка data.sort_cases со 100% обратимым Undo/Redo (Ctrl+Z / Ctrl+Y) и фиксацией в синтаксисе SPSS (SORT CASES BY ...).

🎯 Контекстное меню ячеек, визуализация фильтрации и аудит целостности (Feature 008)

  • Контекстное меню ячеек (правый клик):
    • «Фильтровать по значению ячейки», «Очистить фильтр столбца», «Сортировка по возрастанию / убыванию», «Копировать» / «Вставить».
  • Визуализация фильтрации (Паритет SPSS FILTER BY):
    • Отфильтрован...
Read more

StatCraft v0.3.1

Choose a tag to compare

@github-actions github-actions released this 15 Nov 00:50

StatCraft v0.3.1

English | Русский


English

StatCraft v0.3.1 is a major statistical release that significantly expands the analytical capabilities of the platform to match professional econometrics and biostatistics suites. This release delivers Package 1 (Advanced Regression & Partial Correlations), Package 2 (General Linear Model: UNIANOVA, MANOVA, and Repeated Measures), and Package 3 (Cluster Analysis, Reports, and Survival Analysis), alongside desktop polishing with silent Windows subsystem launch.

🔬 Advanced Regression & Partial Correlations (Feature 001)

  • Partial Correlations (PARTIAL CORR / stat.correlations.partial):
    • Symmetrized Schur complement of the covariance matrix ($S = R_{XX} - R_{XZ} R_{ZZ}^{-1} R_{ZX}$);
    • Exact two-tailed and one-tailed $p$-values via Student's $t$-distribution ($df = N - k - 2$);
    • Zero-order correlation matrices with Listwise and Pairwise missing value exclusion;
    • Validated against Python scipy.stats ($10^{-12}$ precision).
  • Binary Logistic Regression (LOGISTIC REGRESSION / stat.regression.logistic):
    • Iteratively Reweighted Least Squares (IRLS / Newton-Raphson) with adaptive Fisher information damping ($\lambda = 10^{-11} \dots 10^{-5}$);
    • Asymptotic standard errors, Wald $\chi^2$ statistics, and 95% confidence intervals for odds ratios $\text{Exp}(B)$;
    • Goodness-of-fit: Cox & Snell and Nagelkerke pseudo-$R^2$, Hosmer-Lemeshow decile test, and $2 \times 2$ classification table;
    • Validated against Python statsmodels.Logit.
  • Curve Estimation (CURVEFIT / stat.regression.curve):
    • Simultaneous estimation of 6 canonical SPSS models: Linear, Logarithmic, Inverse, Quadratic, Power, and Exponential via analytical linearization;
    • Model summary ($R^2, F, df_1, df_2, p$) and parameter estimates table ($b_0, b_1, b_2$).

📐 General Linear Model (Feature 002)

  • Univariate ANOVA/ANCOVA (UNIANOVA / stat.glm.univariate):
    • Orthogonal design matrix with deviation contrasts (sum-to-zero) and continuous covariates;
    • Type III Sum of Squares (Type III SS) via marginal model reduction and Jacobi SVD pseudo-inversion;
    • Tests of Between-Subjects Effects with $MS, F, p$, and Partial $\eta^2$;
    • Validated against Python statsmodels.api.stats.anova_lm(typ=3).
  • Multivariate ANOVA (GLM Multivariate / stat.glm.multivariate — MANOVA):
    • Multivariate extension for $p \ge 2$ dependent variables with Hypothesis ($H$) and Error ($E$) cross-product matrices;
    • Generalized eigenvalue decomposition of $E^{-1/2} H E^{-1/2}$;
    • 4 canonical test criteria: Wilks' $\Lambda$ (with Rao's $F$-approximation), Pillai's Trace, Hotelling-Lawley Trace, and Roy's Largest Root.
  • Repeated Measures ANOVA (GLM Repeated Measures / stat.glm.repeated):
    • Within-subjects factor analysis using orthonormal Helmert contrast matrices ($k \times (k-1)$);
    • Mauchly's Test of Sphericity ($W, \text{approx. } \chi^2, df, p$);
    • Epsilon corrections: Greenhouse-Geisser ($\hat{\varepsilon}$), Huynh-Feldt ($\tilde{\varepsilon}$), and lower-bound ($1/(k-1)$) with adjusted degrees of freedom and $p$-values.

🧩 Cluster Analysis, Reports & Survival (Feature 003)

  • K-Means Cluster Analysis (QUICK CLUSTER / stat.cluster.kmeans):
    • Deterministic initial center selection via Maximin (furthest-point heuristic);
    • Iterative reassignment cycle minimizing Euclidean distances;
    • Final cluster centers, cluster distances, and one-way ANOVA decomposition with $F$-tests and Fisher $p$-values;
    • Dynamic Variable Generation with 100% Reversible Undo/Redo: Dynamically appends QCL_1 (Cluster Membership) and QCL_2 (Distance from Center) to the active dataset with full transaction rollback.
  • Variable Codebook (CODEBOOK / stat.reports.codebook):
    • Full dataset dictionary extraction: variable names, labels, formats, measurement levels;
    • Discrete frequency distributions with Counts, Percents, and Valid Percents;
    • Scale statistics: Mean, StdDev, Median, and Quartiles via SPSS HAVERAGE interpolation.
  • Case Summaries (SUMMARIZE / stat.reports.summarize):
    • Row-by-row data listing with optional case limit truncation;
    • Hierarchical factor grouping with intermediate subtotals and grand totals ($N$, Mean, Sum, StdDev).
  • Kaplan-Meier Survival Analysis (KM / stat.survival.km):
    • Product-limit survival function $\hat{S}(t) = \prod (1 - d_i/n_i)$;
    • Greenwood's standard error formula $\widehat{\text{Var}}(\hat{S}(t)) = \hat{S}(t)^2 \sum \frac{d_i}{n_i(n_i - d_i)}$;
    • Mean and median survival time with 95% confidence intervals;
    • Mantel-Cox Log-Rank $\chi^2$ test ($df = G - 1, p$) for strata comparison;
    • Validated against Python lifelines.KaplanMeierFitter ($\le 10^{-6}$ precision).
  • Actuarial Life Tables (SURVIVAL / stat.survival.lifetables):
    • Actuarial interval boundaries $[t_k, t_{k+1})$;
    • Effective sample size under risk ($n'_k = n_k - w_k/2$), conditional mortality ($q_k$) and survival ($p_k$), cumulative survival ($P_k$), event probability density ($f_k$), and hazard rate ($h_k$).

🖥️ Windows Desktop Polish: Silent GUI Subsystem Launch

  • Added #![windows_subsystem = "windows"] to the desktop binary entry point;
  • The Windows executable compiles with PE Subsystem 2 (IMAGE_SUBSYSTEM_WINDOWS_GUI), completely eliminating the black console/terminal window when launching StatCraft from desktop shortcuts or File Explorer.

🤖 Model Context Protocol (MCP) & Syntax Integration

  • All new statistical procedures are fully integrated into the StatCraft MCP Bridge:
    • Syntax execution (statcraft_run_syntax) parses QUICK CLUSTER, CODEBOOK, SUMMARIZE, KM, SURVIVAL, UNIANOVA, GLM, PARTIAL CORR, LOGISTIC REGRESSION, CURVEFIT;
    • Direct command invocation (statcraft_execute_command) supports all registered engine command IDs;
    • Live introspection (statcraft_list_commands and statcraft://commands) dynamically exposes schemas and parameter specs to AI assistants.

📦 Multi-Platform Release Artifacts

  • Windows (x64): Inno Setup Installer (.exe) + Portable ZIP archive (both launch cleanly without console window).
  • Linux (x64): Debian package (.deb) + Portable TAR.GZ archive.
  • macOS (Apple Silicon ARM64 & Intel x64): Apple DMG Disk Image + Application Bundle (.app) TAR.GZ.

Русский

Релиз StatCraft v0.3.1 — это масштабное расширение математических и аналитических возможностей платформы, выводящее StatCraft на уровень профессиональных пакетов эконометрики и биостатистики. В релиз вошли Пакет 1 (Продвинутая регрессия и частные корреляции), Пакет 2 (Общая линейная модель: UNIANOVA, MANOVA и повторные измерения), Пакет 3 (Кластерный анализ, отчёты и анализ выживаемости), а также устранение терминального окна при запуске приложения в Windows.

🔬 Продвинутая регрессия и частные корреляции (Feature 001)

  • Частные корреляции (PARTIAL CORR / stat.correlations.partial):
    • Симметризованное дополнение Шура для субковариационной матрицы ($S = R_{XX} - R_{XZ} R_{ZZ}^{-1} R_{ZX}$);
    • Точные двусторонние и односторонние $p$-значения через распределение Стьюдента ($df = N - k - 2$);
    • Матрицы нулевого порядка с режимами исключения пропусков Listwise и Pairwise;
    • Верифицировано против Python scipy.stats с точностью $10^{-12}$.
  • Бинарная логистическая регрессия (LOGISTIC REGRESSION / stat.regression.logistic):
    • Оптимизатор IRLS (Newton-Raphson) с адаптивным диагональным демпфированием матрицы Фишера ($\lambda = 10^{-11} \dots 10^{-5}$);
    • Асимптотические стандартные ошибки, статистика Вальда, 95% доверительные интервалы для отношений шансов $\text{Exp}(B)$;
    • Меры согласия: псевдо-$R^2$ Кокса-Снелла и Нагелькерке, критерий Хосмера-Лемешова по децилям риска и матрица классификации $2 \times 2$;
    • Верифицировано против Python statsmodels.Logit.
  • Оценка канонических кривых (CURVEFIT / stat.regression.curve):
    • Одновременная оценка 6 канонических моделей: линейной, логарифмической, обратной, квадратичной, степенной и экспоненциальной;
    • Сводка модели ($R^2, F, df_1, df_2, p$) и таблица оценок параметров ($b_0, b_1, b_2$).

📐 Общая линейная модель (Feature 002)

  • Одномерный дисперсионный/ковариационный анализ (UNIANOVA / stat.glm.univariate):
    • Ортогонализованная матрица плана с кодированием факторов контрастами отклонений (deviation contrasts, sum-to-zero) и ковариатами;
    • Суммы квадратов типа III (Type III SS) через маргинальную редукцию моделей и псевдообращение Jacobi SVD;
    • Таблица Between-Subjects Effects с $MS, F, p$ и частной эта-квадрат ($\text{Partial } \eta^2$);
    • Верифицировано против Python statsmodels.api.stats.anova_lm(typ=3).
  • Многомерный дисперсионный анализ (GLM Multivariate / stat.glm.multivariate — MANOVA):
    • Многомерное обобщение для $p \ge 2$ зависимых переменных с матрицами сумм квадратов и векторных произведений гипотез ($H$) и ошибки ($E$);
    • Обобщенное спектральное разложение $E^{-1/2} H E^{-1/2}$;
    • 4 канонических критерия: Wilks' $\Lambda$ (с $F$-аппроксимацией Рао), Pillai's Trace, Hotelling-Lawley Trace и Roy's Largest Root.
  • Анализ повторных измерений (GLM Repeated Measures / stat.glm.repeated):
    • Внутригрупповой фактор с ортонормированной матрицей контрастов Хельмерта ($k \times (k-1)$);
    • Критерий сферичности Мокли ($W, \text{прибл. } \chi^2, df, p$);
    • Эпсилон-поправки Гринхауса-Гейссера ($\hat{\varepsilon}$), Хюйнха-Фельдта ($\tilde{\varepsilon}$) и нижней границы ($1/(k-1)$) с пересчетом степеней свободы и $p$-значений.

🧩 Кластерный анализ, отчёты и анализ выживаемости (Feature 003)

  • Кластерный анализ методом K-средних (QUICK CLUSTER / stat.cluster.kmeans):
    • Детерминированная инициализация центров методом максимального разброса (Maximin / furthest point heuristic);
    • Итерат...
Read more

StatCraft v0.3.0

Choose a tag to compare

@github-actions github-actions released this 07 Nov 15:14

StatCraft v0.3.0

English | Русский


English

StatCraft v0.3.0 marks a monumental milestone in statistical computing: the official release of the StatCraft Network Bridge & Autonomous Code Mode via Model Context Protocol (MCP), alongside a brand-new Universal Theme System (Dark Pro, SPSS Classic Light, System Auto) and Automatic System Language Detection.

🤖 StatCraft Network Bridge & Autonomous AI Copilot (MCP / Code Mode)

  • Zero SPSS Experience Required: Users can now perform complex statistical analyses using natural language in their favorite AI assistants (Antigravity, Claude, ChatGPT, Ollama). The agent queries dataset schemas, formulates statistical pipelines, executes computations through StatCraft, and interprets $p$-values and effect sizes.
  • Deterministic Math vs. LLM Hallucinations: Large language models guide the investigation, while StatCraft's verified native Rust calculation engine performs the mathematics with $\le 10^{-6}$ precision verified against SciPy and SPSS.
  • Dual Bridge Interfaces:
    • Headless stdio MCP Server: Run statcraft.exe --mcp inside any MCP client (Claude Desktop, Cursor, Antigravity).
    • Local IPC Socket Server: Background TCP socket (127.0.0.1:18493) enabling live two-way control of the running StatCraft graphical window.
  • Rich MCP Toolset:
    • statcraft_run_syntax — execute batch SPSS syntax (.sps) and stream back ASCII tables;
    • statcraft_execute_command — universal dynamic invocation of any registered core engine command;
    • statcraft_list_commands & statcraft_list_variables — live introspection of command schemas and variable metadata;
    • statcraft_load_dataset — directly import raw CSV/TSV data into the active session;
    • statcraft_get_data_preview & statcraft_insert_output_note — live data slicing and markdown notes insertion.
  • Desktop UI (Extensions -> MCP Bridge / Copilot): In-app bridge management dialog built with DialogKit, featuring vector status indicators, real-time activity log, and one-click JSON configuration snippets.

🎨 Universal Theme System (Dark, Light, System)

  • Three Complete Visual Modes:
    • Dark Pro: Modern ArtCraft deep dark theme;
    • SPSS Classic Light: Academic high-contrast light theme (#FFFFFF app canvas, #F7F8FA dialogs, #E9ECEF matrix headers, #DDF4FF soft-blue selection);
    • System Auto: Seamless real-time tracking of OS light/dark mode preference.
  • Strict WCAG Compliance: Contrast ratio of primary text exceeds AAA ($15.6:1$ vs $7.0:1$ standard); muted text exceeds AA ($5.1:1$ vs $4.5:1$ standard).
  • Lock-Free Atomic Architecture: 100% Safe Rust global atomic switch (AtomicBool with Ordering::Relaxed) delivering static reference palette lookups with zero allocation overhead.
  • Autonomous DialogKit Theming: All existing 16 dialogs and all future extensions automatically adopt the active theme out of the box without engine changes.
  • FPS Guard & Persistence: Visual style updates cached to protect render loop FPS; theme choice saved to eframe::Storage (STORAGE_KEY_THEME = "statcraft_theme").

🌐 Automatic System Language Detection & Session Persistence

  • Smart Auto-Locale: Automatically detects user operating system language (Windows API, macOS preferences, POSIX environment variables) with seamless English fallback for international users.
  • Persistent Preferences: User language choice and bridge autostart flag reliably persist across sessions in eframe::Storage.

📦 Multi-Platform Release Artifacts

  • Windows (x64): Inno Setup Installer (.exe) + Portable ZIP archive.
  • Linux (x64): Debian package (.deb) + Portable TAR.GZ archive.
  • macOS (Apple Silicon ARM64 & Intel x64): Apple DMG Disk Image + Application Bundle (.app) TAR.GZ.

Русский

Релиз StatCraft v0.3.0 представляет важнейшую веху в развитии проекта: официальный запуск сетевого моста StatCraft Bridge и автономного режима Code Mode на базе Model Context Protocol (MCP), внедрение универсальной системы тем оформления (Dark Pro, SPSS Classic Light, System Auto) и автоматического определения языка операционной системы.

🤖 Сетевой мост StatCraft Bridge и ИИ-ассистенты (MCP / Code Mode)

  • Статистика без знания SPSS: Пользователи могут проводить полный статистический анализ на простом человеческом языке через ИИ-агентов (Antigravity, Claude, ChatGPT, Ollama). Агент сам исследует метаданные, отправляет команды, считывает таблицы вывода и профессионально интерпретирует уровни значимости ($p$-value).
  • Математическая строгость против галлюцинаций LLM: Языковая модель формирует логику исследования, а вычисления выполняет нативный Rust-движок StatCraft со строгой погрешностью $\le 10^{-6}$ (верифицирован против SciPy и канонических алгоритмов SPSS).
  • Два режима подключения:
    • Консольный stdio MCP-сервер: Запуск statcraft.exe --mcp в конфигурации любого MCP-клиента (Claude Desktop, Cursor, Antigravity).
    • Локальный IPC-сокет: Фоновый TCP-сервер (127.0.0.1:18493), позволяющий ИИ-агенту управлять открытым окном StatCraft в реальном времени.
  • Набор инструментов MCP:
    • statcraft_run_syntax — выполнение пакетного синтаксиса SPSS (.sps) с получением текстовых таблиц вывода;
    • statcraft_execute_command — универсальный вызов любой зарегистрированной команды ядра;
    • statcraft_list_commands и statcraft_list_variables — интроспекция схем команд и метаданных переменных;
    • statcraft_load_dataset — прямая загрузка сырых массивов данных в память активной сессии;
    • statcraft_get_data_preview и statcraft_insert_output_note — срез наблюдений и вставка аналитических заметок в Output Viewer.
  • Интерфейс в программе (Расширения -> Мост MCP / Copilot): Модальное окно управления мостом на базе DialogKit с векторным индикатором статуса, журналом активности и кнопками копирования готовых настроек подключения.

🎨 Универсальная система тем оформления (Dark, Light, System)

  • Три полноценных режима:
    • Dark Pro: Современная тёмная тема ArtCraft;
    • SPSS Classic Light: Академическая высококонтрастная светлая тема (#FFFFFF фон холста, #F7F8FA фон диалогов, #E9ECEF заголовки матриц, #DDF4FF выделение);
    • System Auto: Автоматическое следование за системной темой операционной системы.
  • Высокая контрастность по WCAG: Контрастность основного текста превосходит стандарт AAA ($15.6:1$ при норме $7.0:1$); вторичного текста — превосходит AA ($5.1:1$ при норме $4.5:1$).
  • Атомарная архитектура без блокировок: 100% Safe Rust глобальный переключатель (AtomicBool с Ordering::Relaxed), обеспечивающий мгновенный доступ к палитрам без аллокаций и оверхеда на горячем пути кадра egui.
  • Автономность для всех диалогов: Все существующие 16 диалогов и любые будущие расширения автоматически поддерживают активную тему без модификации ядра.
  • Защита FPS и сохранение настроек: Обновление стилей кэшируется в applied_dark_mode для защиты плавности интерфейса; выбор темы сохраняется в eframe::Storage (STORAGE_KEY_THEME = "statcraft_theme").

🌐 Автоопределение языка системы и персистентность настроек

  • Умный автодетект: Автоматическое определение языка ОС (Windows API, macOS preferences, переменные окружения POSIX) с корректным фоллбэком на английский язык для международных пользователей.
  • Надёжная персистентность: Выбранный пользователем язык и статус автозапуска моста MCP сохраняются между перезапусками приложения в eframe::Storage.

📦 Дистрибутивы для всех операционных систем

  • Windows (x64): Инсталлятор Inno Setup (.exe) + Портативный ZIP-архив.
  • Linux (x64): Пакет Debian (.deb) + Портативный архив TAR.GZ.
  • macOS (Apple Silicon ARM64 и Intel x64): Образ диска DMG + Приложение (.app) в архиве TAR.GZ.

Предыдущие релизы / Previous Releases

StatCraft v0.2.2

  • Исчерпывающий двуязычный каталог функциональных возможностей (docs/FEATURES.md и docs/FEATURES_RU.md).
  • Синхронизация версий в 4 манифестах пакетирования и релизные сборки.

StatCraft v0.2.1

  • Доказательный Clean-Room математический аудит вычислительного ядра против IBM SPSS Statistics 24 Algorithms Guide (1271 стр.) с точностью «Золотого оракула» ($\le 10^{-6}$).
  • Финализация блоков adp (Automated Data Preparation) и transform.programmability.

Full Changelog: v0.2.2...v0.3.0

StatCraft v0.2.2

Choose a tag to compare

@github-actions github-actions released this 06 Nov 20:04

StatCraft v0.2.2

English | Русский


English

StatCraft v0.2.2 publishes the comprehensive, exhaustive bilingual feature catalog documentation (docs/FEATURES.md and docs/FEATURES_RU.md) covering all analytical, data manipulation, and transformation procedures implemented across the entire application, alongside version synchronization and automated release packaging.

📖 Comprehensive Feature Guide (FEATURES.md & FEATURES_RU.md)

  • Published detailed, end-to-end documentation of every feature available in StatCraft v0.2.2:
    • Dual-View Data Management: Streaming CSV/TSV reader, Microsoft Excel reader (Calamine), Data View virtualized tabular grid with inline editing, row strike-through for filtered cases, and Variable View supporting all 9 canonical SPSS types, value labels, and missing value ranges.
    • Data Manipulation Suite (Data Menu): Multi-column stable case sorting (Sort Cases), conditional case filtering (Select Cases), subgroup stratification (Split File), and frequency/sampling case weighting (Weight Cases).
    • Complete Transformation Suite (Transform Menu): Variable computation (Compute Variable via RPN parser), in-place and target recoding (Recode), automatic integer recoding (Automatic Recode), lead/lag shifts (Shift Values), case value counting (Count Values), dummy variable generation (Create Dummy Variables), missing value imputation (Replace Missing Values), time series filters (Create Time Series), visual & optimal binning (Visual Binning & Optimal Binning), rank cases (Rank Cases with tie adjustments and normal scores), date/time wizard (Date and Time Wizard), automated data preparation (ADP), and programmability scripts (Programmability Transformations).
    • Statistical Calculation Suite (Analyze Menu): Descriptives, Frequencies, Crosstabs (with $\chi^2$, Fisher's exact, Likelihood Ratio, and Cramér's $V$), Means breakdown with ANOVA and $\eta^2$, One-Sample $t$-test, Independent-Samples $t$-test (with Levene's test and Welch's $t$), Paired-Samples $t$-test, One-Way ANOVA, Bivariate Correlations (Pearson $r$, Spearman $\rho$, Kendall $\tau_b$), Nonparametric tests (Mann-Whitney $U$, Kruskal-Wallis $H$, Wilcoxon Signed-Rank, and Sign test), Multiple Linear Regression (OLS/WLS with Collinearity Tolerance & VIF), Scale Reliability Analysis (Cronbach's $\alpha$ and Item-Total statistics), and Factor Analysis / PCA (with KMO, Bartlett's test, and Component Matrix).
    • Output Viewer & Export: Authentic multi-tier SPSS Pivot Tables with one-click TSV clipboard export for Excel, collapsible Outline navigation tree, and command syntax execution logging.
    • SPSS Command Syntax & Agent Readiness: Batch .sps syntax execution, script file loading/saving, non-destructive Undo/Redo (Ctrl+Z / Ctrl+Y), and typed parameter schemas specs() for AI agents.

📦 Multi-Platform Artifacts

  • Windows (x64): Inno Setup Installer (.exe) + Portable ZIP archive.
  • Linux (x64): Debian package (.deb) + Portable TAR.GZ archive.
  • macOS (Apple Silicon ARM64 & Intel x64): Apple DMG Disk Image + Application Bundle (.app) TAR.GZ.

Русский

Релиз StatCraft v0.2.2 публикует исчерпывающее двуязычное руководство по всем возможностям статистического пакета (docs/FEATURES_RU.md и docs/FEATURES.md), охватывающее все аналитические процедуры, алгоритмы манипуляций и трансформаций данных, реализованные в системе, а также синхронизирует версии сборки и релизные пакеты.

📖 Полный справочник возможностей (FEATURES_RU.md и FEATURES.md)

  • Опубликовано детальное сквозное описание всех функциональных модулей StatCraft v0.2.2:
    • Двухрежимное управление данными: потоковый загрузчик CSV/TSV, импорт Excel (Calamine), виртуализированный грид Data View с инлайн-редактированием ячеек, перечеркиванием отфильтрованных строк, и Variable View с поддержкой всех 9 типов переменных SPSS, меток значений и диапазонов пропусков.
    • Модуль манипуляций с данными (меню Data): многоуровневая сортировка (Sort Cases), выборка и фильтрация по условиям (Select Cases), расщепление файла на подгруппы (Split File) и взвешивание наблюдений (Weight Cases).
    • Полный блок преобразований данных (меню Transform): вычисление переменных (Compute Variable через Shunting-yard RPN), перекодирование в те же и другие переменные (Recode), автоматическое перекодирование (Automatic Recode), сдвиг значений (Shift Values), подсчет значений в наблюдениях (Count Values), дамми-переменные (Create Dummy Variables), восполнение пропущенных значений (Replace Missing Values), временные ряды (Create Time Series), визуальная и оптимальная дискретизация (Visual Binning и Optimal Binning), ранжирование наблюдений (Rank Cases), мастер даты и времени (Date and Time Wizard), автоматическая подготовка данных (ADP) и скриптовые трансформации (Programmability Transformations).
    • Блок статистических процедур (меню Analyze): описательные статистики (Descriptives), частоты (Frequencies), таблицы сопряженности (Crosstabs с $\chi^2$, точным тестом Фишера, поправкой Йейтса и мерами $\phi$/$V$), сравнение средних (Means Breakdown с ANOVA и $\eta^2$), одновыборочный $t$-критерий, $t$-критерий для независимых выборок (с критерием Левена и Уэлча), парный $t$-критерий, однофакторный дисперсионный анализ (One-Way ANOVA), парные корреляции (Пирсон, Спирмен, Кендалл $\tau_b$), непараметрические критерии (Манн-Уитни $U$, Краскел-Уоллис $H$, знаковые ранги Вилкоксона и критерий знаков), множественная линейная регрессия (OLS/WLS с оценками мультиколлинеарности Tolerance и VIF), анализ надежности шкалы (альфа Кронбаха и статистики пунктов), факторный анализ и метод главных компонент (PCA с тестами KMO и Бартлетта).
    • Модуль вывода и интеграция с Excel: аутентичные сводные таблицы SPSS (Pivot Tables) с копированием в TSV в один клик без поломки колонок в Excel, интерактивное дерево оглавления Outline и журнал синтаксиса.
    • Синтаксис SPSS и готовность к агентам: исполнение синтаксиса .sps, сохранение и открытие скриптов на диске, кнопка [ Paste ] во всех диалогах, откат правок Undo/Redo (Ctrl+Z) и типизированные схемы параметров specs() для внешних скриптов и ИИ-ассистентов.

📦 Дистрибутивы для всех операционных систем

  • Windows (x64): Инсталлятор Inno Setup (.exe) + Портативный ZIP-архив.
  • Linux (x64): Пакет Debian (.deb) + Портативный архив TAR.GZ.
  • macOS (Apple Silicon ARM64 и Intel x64): Образ диска DMG + Приложение (.app) в архиве TAR.GZ.

Предыдущие релизы / Previous Releases

StatCraft v0.2.1

  • Доказательный Clean-Room математический аудит вычислительного ядра против IBM SPSS Statistics 24 Algorithms Guide (1271 стр.) с точностью «Золотого оракула» ($\le 10^{-6}$).
  • Финализация блоков adp (Automated Data Preparation) и transform.programmability.

Full Changelog: v0.2.1...v0.2.2

StatCraft v0.2.1

Choose a tag to compare

@github-actions github-actions released this 01 Nov 10:35

StatCraft v0.2.1

English | Русский


English

StatCraft v0.2.1 delivers an evidence-backed Clean-Room mathematical audit of our statistical calculation engine against the canonical IBM SPSS Statistics 24 Algorithms Guide, alongside complete production activation of the Transform procedure suite.

🔬 Clean-Room Mathematical Audit (Craft Anything)

All statistical algorithms implemented in statcraft_algo have undergone a page-by-page verification against the official IBM SPSS Statistics 24 Algorithms Guide (1,271 pp., IBM Corporation) using the open-source Craft Anything (storytold/craft-anything) verification engine operating in clean-room: true mode.

Every mathematical formula, degrees-of-freedom rule, tie-correction variance, and significance level generator was confirmed to achieve 100% mathematical equivalence under our Golden Oracle precision threshold ($\le 10^{-6}$):

  1. Descriptives, Frequencies, Crosstabs & Means: Spicer (1972) provisional moments, Bliss sample excess kurtosis, HAVERAGE quartiles ($r = p(N+1)$), Yates continuity correction, Pearson $\chi^2$, Fisher's exact test, and ANOVA $\eta^2$.
  2. Mean Comparisons & ANOVA: Mean-centered Levene test of variance equality, Student's pooled $t$-test, Welch's separate variance $t$-test with Satterthwaite fractional $df$, paired-samples $t$-test, and One-Way ANOVA.
  3. Correlations & Multivariates: Bivariate Pearson $r$, Spearman $\rho$, Kendall $\tau_b$ with full tie corrections ($v_0, v_1, v_2$), OLS/WLS multiple regression with Tolerance & VIF diagnostics, cyclic Jacobi eigensolver for PCA, Bartlett's test of sphericity, Kaiser-Meyer-Olkin (KMO) measure, and Cronbach's $\alpha$.
  4. Nonparametric Tests: Mann-Whitney $U$, Wilcoxon rank sum $W$, Kruskal-Wallis $H_{adj}$ with tie factor, Wilcoxon signed-rank test with tie-corrected variance, and exact binomial Sign test.
  5. Data Transformations & Imputations: Blom, Tukey, Rankit, and Van der Waerden normal scores via Peter J. Acklam's rational approximation ($\le 1.15 \times 10^{-9}$ error), MDLP entropy discretization (Fayyad & Irani), and missing value imputation (linear interpolation, series mean, mean/median of nearby points, linear trend).

Comprehensive bilingual audit records are available in:

⚙️ Transform Suite Finalization

  • Automated Data Preparation (adp): Supervised feature screening, optimal binning, and cross-validation partition breakdown with 4 authentic SPSS pivot tables.
  • Programmability Transformations (transform.programmability): Transactional script engine for custom variable computations and conditional rules (IF ... THEN ... ELSE), syntax generator (BEGIN PROGRAM ... END PROGRAM.), and real-time vector syntax verification.
  • All [dev] badges removed from the Transform menu; 100% of procedures now fully operational with DialogKit modal interfaces and Output Viewer pivot tables.

📦 Multi-Platform Artifacts

  • Windows (x64): Inno Setup Installer (.exe) + Portable ZIP archive.
  • Linux (x64): Debian package (.deb) + Portable TAR.GZ archive.
  • macOS (Apple Silicon ARM64 & Intel x64): Apple DMG Disk Image + Application Bundle (.app) TAR.GZ.

Русский

Релиз StatCraft v0.2.1 представляет результаты доказательного Clean-Room математического аудита вычислительного ядра на полное соответствие каноническому руководству IBM SPSS Statistics 24 Algorithms Guide, а также завершает ввод в эксплуатацию всех процедур раздела «Преобразование» (Transform).

🔬 Инструментальный математический аудит Clean-Room (Craft Anything)

Все статистические алгоритмы, реализованные в ядре statcraft_algo, прошли постраничную сверку с официальным математическим руководством IBM SPSS Statistics 24 Algorithms Guide (1271 стр., IBM Corporation) с помощью открытого движка Craft Anything (storytold/craft-anything) в режиме clean-room: true.

Для всех формул, расчетов степеней свободы, поправок на связки рангов и уровней значимости подтверждена 100% математическая эквивалентность при соблюдении точности «Золотого оракула» ($\le 10^{-6}$):

  1. Описательные статистики, частоты, таблицы сопряженности и средние: рекуррентные моменты Спайсера (1972), эксцесс Блисса, квартили HAVERAGE ($r = p(N+1)$), поправка Йейтса на непрерывность, критерий Пирсона $\chi^2$, точный тест Фишера, ANOVA $\eta^2$.
  2. Сравнение средних и ANOVA: центрированный по среднему критерий Левена, критерий Стьюдента, критерий Уэлча с раздельными дисперсиями и дробными степенями свободы Саттертуэйта, парный $t$-критерий, однофакторный дисперсионный анализ.
  3. Корреляции и многомерные методы: парный Пирсон, ранговый Спирмен, Кендалл $\tau_b$ со всеми тремя поправками на связки ($v_0, v_1, v_2$), множественная регрессия OLS/WLS с диагностикой мультиколлинеарности (Tolerance, VIF), циклический метод Якоби для PCA, тест сферичности Бартлетта, индекс KMO, коэффициент надежности $\alpha$ Кронбаха.
  4. Непараметрические критерии: Манн-Уитни $U$, Уилкоксон $W$, Краскел-Уоллис $H_{adj}$ с коэффициентом связок, знаково-ранговый критерий Уилкоксона со скорректированной дисперсией, точный биномиальный критерий знаков.
  5. Трансформации данных и восполнение пропусков: нормальные метки Блома, Тьюки, Ранкита, Ван дер Вардена через аппроксимацию Питера Дж. Акклама (погрешность $\le 1.15 \times 10^{-9}$), дискретизация MDLP по информационной энтропии Шеннона (Файяд и Ирани), методы восполнения пропусков (линейная интерполяция, среднее ряда, среднее/медиана окрестности, линейный тренд).

Полная двуязычная документация аудита доступна в репозитории:

⚙️ Финализация процедур преобразования данных (Transform)

  • Автоматическая подготовка данных (adp): отбор предикторов, оптимальная дискретизация и разбиение на выборки с 4 аутентичными сводными таблицами вывода SPSS.
  • Программируемые преобразования (transform.programmability): транзакционный скриптовый движок пользовательских правил (IF ... THEN ... ELSE), генерация синтаксиса BEGIN PROGRAM ... END PROGRAM. и векторная проверка синтаксиса на лету.
  • Сняты все служебные бейджи [dev] в меню «Преобразование»; 100% процедур оснащены интерфейсами DialogKit и сводными таблицами Output Viewer.

📦 Дистрибутивы для всех операционных систем

  • Windows (x64): Инсталлятор Inno Setup (.exe) + Портативный ZIP-архив.
  • Linux (x64): Пакет Debian (.deb) + Портативный архив TAR.GZ.
  • macOS (Apple Silicon ARM64 и Intel x64): Образ диска DMG + Приложение (.app) в архиве TAR.GZ.

Full Changelog: v0.2.0...v0.2.1

StatCraft v0.2.0

Choose a tag to compare

@github-actions github-actions released this 30 Oct 14:11

Full Changelog: v0.1.0...v0.2.0

v0.1.0

Choose a tag to compare

@github-actions github-actions released this 28 Oct 15:50