Skip to content

zhk0567/DataMind

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

DataMind - 数据分析平台

一个功能完整的数据分析和统计建模平台,参考 SPSSPRO 设计,提供从数据管理到高级机器学习的全流程分析能力。

✨ 主要特性

  • 📊 数据管理: 数据上传、清洗、转换、质量评估
  • 📈 统计分析: 描述性统计、假设检验、回归分析、时间序列分析
  • 🤖 机器学习: 监督学习、无监督学习、模型评估与优化
  • 📉 数据可视化: 丰富的图表类型和统计图表
  • 🧠 AI自动分析: 使用本地Ollama模型智能分析数据,提供处理建议和可视化方案(支持流式响应)

🏗️ 系统架构

graph TB
    A[DataMind应用<br/>Flet GUI] --> B[主应用<br/>main.py]
    B --> C1[数据上传页面]
    B --> C2[数据处理页面]
    B --> C3[统计分析页面]
    B --> C4[机器学习页面]
    B --> C5[数据可视化页面]
    B --> C6[AI分析页面]
    B --> C7[首页]
    
    C1 --> D[核心功能模块<br/>core/]
    C2 --> D
    C3 --> D
    C4 --> D
    C5 --> D
    C6 --> D
    
    D --> E1[数据处理<br/>数据清洗/缺失值/异常值]
    D --> E2[统计分析<br/>基础统计/推断统计/回归/时间序列]
    D --> E3[机器学习<br/>监督学习/无监督学习]
    D --> E4[AI分析<br/>Ollama集成/流式响应]
    D --> E5[数据可视化<br/>基础图表/统计图表]
    D --> E6[报告生成<br/>统计报告/结果解释]
    
    E1 --> F1[Pandas<br/>NumPy<br/>SciPy]
    E2 --> F2[Scikit-learn<br/>Statsmodels<br/>XGBoost]
    E3 --> F2
    E4 --> F3[Ollama API<br/>requests]
    E5 --> F4[Matplotlib<br/>Seaborn]
Loading

📦 项目结构

DataMind/
├── core/                      # 核心功能模块
│   ├── data_processor.py      # 基础数据处理
│   ├── data_enhancement/      # 数据增强
│   ├── statistics/            # 统计分析
│   ├── ml/                    # 机器学习
│   ├── ai/                    # AI自动分析(Ollama)
│   ├── visualization/         # 数据可视化
│   └── reporting/             # 报告生成
├── ui_flet/                   # Flet用户界面
│   ├── pages/                 # 页面组件
│   ├── components/            # UI组件
│   ├── styles.py              # 样式定义
│   └── utils/                 # UI工具
├── examples/                  # 示例数据
├── main.py                    # 入口文件
└── requirements.txt           # 依赖列表

🎯 主要功能

数据管理

  • CSV/Excel 文件上传
  • 数据预览和探索
  • 缺失值处理(多种方法)
  • 异常值检测和处理
  • 数据转换和特征工程

统计分析

  • 描述性分析: 描述性统计、频数分析、交叉表分析
  • 差异性分析: t检验、卡方检验、方差分析
  • 非参数检验: Mann-Whitney检验、Kruskal-Wallis检验
  • 相关性分析: 相关分析、偏相关分析
  • 回归分析: 线性回归、逻辑回归、逐步回归
  • 高级分析: 主成分分析、聚类分析、决策树
  • 多变量分析: 因子分析、判别分析
  • 时间序列: ARIMA、指数平滑、趋势与季节性分析

机器学习

  • 监督学习: SVM、KNN、神经网络、集成学习
  • 无监督学习: DBSCAN、谱聚类、GMM、降维
  • 模型评估: 交叉验证、超参数优化、模型对比

数据可视化

  • 基础图表(柱状图、折线图、散点图等)
  • 统计图表(密度图、Q-Q图、残差图等)
  • 图表导出(PNG、PDF、SVG)

AI自动分析

  • 前置条件: 确保已安装并运行 Ollama,且已下载 qwen3-vl:235b-cloud 模型
  • 上传数据后自动触发AI分析
  • 流式响应,实时显示分析结果
  • 提供数据质量评估、处理建议、可视化方案和统计分析方向

Ollama配置说明:

  1. 安装 Ollama: 访问 https://ollama.ai 下载并安装
  2. 下载模型: 运行 ollama pull qwen3-vl:235b-cloud
  3. 启动服务: Ollama 默认运行在 http://localhost:11434
  4. 如果使用不同的模型或端口,可在 core/ai/ai_analyzer.py 中修改配置

🚀 快速开始

环境要求

  • Python 3.8+
  • Windows 10/11(当前版本)

安装步骤

  1. 克隆项目
git clone https://github.com/zhk0567/DataMind.git
cd DataMind
  1. 创建虚拟环境(推荐)
python -m venv venv
venv\Scripts\activate  # Windows
  1. 安装依赖
pip install -r requirements.txt
  1. 运行应用
python main.py

🔧 开发规范

代码规范

  • 文件大小: 单个文件不超过 500 行
  • 代码规范: 遵循 PEP 8
  • 代码复用: 提取公共方法和工具类,使用Mixin模式实现功能分离
  • 模块化设计: 功能分离,便于维护

无障碍访问(WCAG 2.1 AAA级标准)

DataMind 严格遵循 WCAG 2.1 AAA级(最高级别)无障碍访问标准:

视觉设计

  • 高对比度文字:所有文字颜色与背景的对比度达到WCAG AAA级标准(至少7:1)
  • 清晰的视觉层次:使用统一的字体大小系统
  • 一致的间距系统:标准化的间距规范

交互设计

  • 明确的焦点指示:所有可交互元素都有清晰的焦点状态
  • 合理的点击区域:按钮和交互元素尺寸符合最小点击区域要求
  • 友好的错误提示:使用SnackBar和AlertDialog提供清晰的反馈信息
  • 数据验证:在执行分析前进行数据验证,提供清晰的错误提示

代码规范

  • 语义化组件:使用语义化的组件名称和结构
  • 键盘导航支持:所有功能支持键盘操作
  • 屏幕阅读器友好:组件属性支持辅助技术识别

📄 许可证

[待定]

👥 贡献

欢迎提交 Issue 和 Pull Request!


最后更新: 2025年12月

About

SPSSPRO平替计划,纯python项目(开发中……)

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages