Merge pull request #33 from yuxizhe/main

feat: update hypergraph processing and enhance UI localization

Author: yuxizhe

assets/vis-QA.png

@@ -20,6 +20,7 @@
     split_string_by_multi_markers,
     truncate_list_by_token_size,
     process_combine_contexts,
+    deduplicate_by_key,
 )
 from .base import (
     BaseKVStorage,
@@ -1132,10 +1133,11 @@ async def hyper_query(
         so that we can have the final retrieval information.
     """
     context = combine_contexts(relation_context.get("context"), entity_context.get("context"))
+
     contextJson = {
-        "entities": entity_context.get("entities") + relation_context.get("entities"),
-        "hyperedges": relation_context.get("hyperedges") + relation_context.get("hyperedges"),
-        "text_units": relation_context.get("text_units") + relation_context.get("text_units")
+        "entities": deduplicate_by_key(entity_context.get("entities", []) + relation_context.get("entities", []), "entity_name"),
+        "hyperedges": deduplicate_by_key(entity_context.get("hyperedges", []) + relation_context.get("hyperedges", []), "entity_set"),
+        "text_units": deduplicate_by_key(entity_context.get("text_units", []) + relation_context.get("text_units", []), "content")
     }
 
     if query_param.only_need_context:
@@ -1433,7 +1435,6 @@ def filter_pairwise_edges(edges):
 {text_units_context}
 ```
 """
-        # 返回包含上下文字符串和结构化数据的字典
         contextJson = {
             "context": context_string,
             "entities": [

assets/vis-hg.png

@@ -308,4 +308,30 @@ def always_get_an_event_loop() -> asyncio.AbstractEventLoop:
         logger.info("Creating a new event loop in main thread.")
         new_loop = asyncio.new_event_loop()
         asyncio.set_event_loop(new_loop)
-        return new_loop
+        return new_loop
+
+def deduplicate_by_key(data_list, key_string):
+    unique_data = []
+    seen_keys = set()
+
+    def make_hashable(value):
+        if isinstance(value, (str, int, float, bool)) or value is None:
+            return value
+        if isinstance(value, list):
+            try:
+                return tuple(sorted(make_hashable(v) for v in value))
+            except TypeError:
+                return json.dumps(value, ensure_ascii=False, sort_keys=True)
+        if isinstance(value, dict):
+            return tuple(sorted((k, make_hashable(v)) for k, v in value.items()))
+        return str(value)
+
+    for item in data_list:
+        raw_key = item.get(key_string)
+        if raw_key is None:
+            continue
+        key = make_hashable(raw_key)
+        if key not in seen_keys:
+            seen_keys.add(key)
+            unique_data.append(item)
+    return unique_data  

hyperrag/operate.py

@@ -6,113 +6,56 @@ HyperRAG Web UI 是一个基于 React + FastAPI 的全栈 Web 应用，为 Hyper
 
 HyperRAG Web UI 提供了一个直观的 Web 界面来管理和使用 HyperRAG 系统，包括超图可视化、文档管理、检索问答等功能。
 
-## ✨ 主要功能
-
-### 🔍 检索问答 (QA)
-- 智能对话界面，支持多种查询模式
-- 支持 `hyper`、`hyper-lite`、`naive` 三种查询模式
-- 对话历史管理和持久化存储
-![chat](./assets/chat_e.png)
-
-### 📊 超图展示 (Graph)
-- 交互式超图可视化
-- 支持节点和超边的详细信息查看
-- 动态图形布局和缩放功能
-- 超图渲染
-![graph](./assets/graph.png)
-
-### 🗄️ HypergraphDB 管理 (DB)
-- 完整的超图数据库管理界面
-- 支持顶点 (Vertices) 和超边 (Hyperedges) 的 CRUD 操作
-- 数据库切换和状态管理
-- 邻居节点查询和关系分析
-![db1](./assets/db1.png)
-![db2](./assets/db2.png)
-
-### 📁 文档解析 (Files)
-- 拖拽式文件上传界面
-- 支持多种文档格式 (PDF, DOCX, TXT, Markdown)
-- 实时文档嵌入进度显示
-- WebSocket 实时日志监控
-- 批量文档处理和管理
-![file](./assets/file.png)
-
-### ⚙️ 系统设置 (Setting)
-- LLM 模型配置 (OpenAI, 其他兼容API)
-- 嵌入模型设置和参数调整
-- 数据库连接管理
-- API 连接测试工具
-![setting](./assets/setting.png)
-
-### 📚 API 文档 (API)
-- 内置 FastAPI 自动生成的 API 文档
-- 交互式 API 测试界面
-- 完整的接口说明和示例
-![api](./assets/api.png)
-
-## 🛠️ 技术栈
-
-### 前端技术
-- **React 18** - 主要框架
-- **Ant Design & Ant Design Pro** - UI 组件库
-- **Radix UI** - 现代化 UI 组件
-- **AntV G6** - 图形可视化
-- **React Router** - 路由管理
-- **MobX** - 状态管理
-- **Tailwind CSS** - 样式框架
-- **Vite** - 构建工具
-
-### 后端技术
-- **FastAPI** - 现代 Python Web 框架
-- **Uvicorn** - ASGI 服务器
-- **Pydantic** - 数据验证
-- **SQLAlchemy** - ORM
-- **WebSocket** - 实时通信
-- **OpenAI API** - LLM 集成
-
 ## 🚀 快速开始
 
 ### 环境要求
-- Node.js 16+ 
+
+- Node.js 16+
 - Python 3.8+
 - npm/yarn
 
 ### 后端启动
 
 1. 进入后端目录：
+
 ```bash
 cd web-ui/backend
 ```
 
 2. 安装依赖：
+
 ```bash
 pip install -r requirements.txt
 ```
 
-可下载解析好的3个demo数据库 [here](https://pan.baidu.com/s/1mrDJVpMW59gLtRRSXafXdw?pwd=w642#list/path=%2Fsharelink484952695-6132723540665%2FHyper-RAG%2Fweb-ui&parentPath=%2Fsharelink484952695-6132723540665).
+可下载解析好的 3 个 demo 数据库 [here](https://pan.baidu.com/s/1mrDJVpMW59gLtRRSXafXdw?pwd=w642#list/path=%2Fsharelink484952695-6132723540665%2FHyper-RAG%2Fweb-ui&parentPath=%2Fsharelink484952695-6132723540665).
 
 解压后复制到 `web-ui/backend/hyperrag_cache` 目录下
 
 3. 启动开发服务器：
+
 ```bash
 fastapi dev main.py
 ```
 
 ### 前端启动
 
 1. 进入前端目录：
+
 ```bash
 cd web-ui/frontend
 ```
 
 2. 安装依赖：
+
 ```bash
 npm install
 # 或
 pnpm install
 ```
 
 3. 启动开发服务器：
+
 ```bash
 npm run dev
 ```
@@ -122,21 +65,96 @@ npm run dev
 ## 📱 界面预览
 
 ### 主要页面
+
 - **首页**: 智能对话界面，支持多轮问答
 - **超图展示**: 交互式超图可视化展示
 - **数据库管理**: 完整的超图数据 CRUD 操作
 - **文档管理**: 文件上传和嵌入进度监控
 - **系统设置**: 模型配置和连接管理
 
+## ✨ 主要功能
+
+### 🔍 检索问答 (QA)
+
+- 智能对话界面，支持多种查询模式
+- 支持 `hyper`、`hyper-lite`、`naive` 三种查询模式
+- 对话历史管理和持久化存储
+  ![chat](./assets/chat_e.png)
+
+### 📊 超图展示 (Graph)
+
+- 交互式超图可视化
+- 支持节点和超边的详细信息查看
+- 动态图形布局和缩放功能
+- 超图渲染
+  ![graph](./assets/graph.png)
+
+### 🗄️ HypergraphDB 管理 (DB)
+
+- 完整的超图数据库管理界面
+- 支持顶点 (Vertices) 和超边 (Hyperedges) 的 CRUD 操作
+- 数据库切换和状态管理
+- 邻居节点查询和关系分析
+  ![db1](./assets/db1.png)
+  ![db2](./assets/db2.png)
+
+### 📁 文档解析 (Files)
+
+- 拖拽式文件上传界面
+- 支持多种文档格式 (PDF, DOCX, TXT, Markdown)
+- 实时文档嵌入进度显示
+- WebSocket 实时日志监控
+- 批量文档处理和管理
+  ![file](./assets/file.png)
+
+### ⚙️ 系统设置 (Setting)
+
+- LLM 模型配置 (OpenAI, 其他兼容 API)
+- 嵌入模型设置和参数调整
+- 数据库连接管理
+- API 连接测试工具
+  ![setting](./assets/setting.png)
+
+### 📚 API 文档 (API)
+
+- 内置 FastAPI 自动生成的 API 文档
+- 交互式 API 测试界面
+- 完整的接口说明和示例
+  ![api](./assets/api.png)
+
+## 🛠️ 技术栈
+
+### 前端技术
+
+- **React 18** - 主要框架
+- **Ant Design & Ant Design Pro** - UI 组件库
+- **Radix UI** - 现代化 UI 组件
+- **AntV G6** - 图形可视化
+- **React Router** - 路由管理
+- **MobX** - 状态管理
+- **Tailwind CSS** - 样式框架
+- **Vite** - 构建工具
+
+### 后端技术
+
+- **FastAPI** - 现代 Python Web 框架
+- **Uvicorn** - ASGI 服务器
+- **Pydantic** - 数据验证
+- **SQLAlchemy** - ORM
+- **WebSocket** - 实时通信
+- **OpenAI API** - LLM 集成
+
 ## 🔧 配置说明
 
 ### 后端配置
+
 - **LLM 配置**: 支持 OpenAI 和其他兼容 API
 - **嵌入模型**: 支持多种嵌入模型配置
 - **数据库**: 支持多数据库切换
 - **缓存**: 自动缓存管理
 
 ### 前端配置
+
 - **API 地址**: 自动检测后端服务地址
 - **主题**: 支持亮色/暗色主题
 - **布局**: 响应式设计，适配多种屏幕
@@ -146,13 +164,15 @@ npm run dev
 访问 `http://127.0.0.1:8000/docs` 查看完整的 API 文档，包括：
 
 ### 核心 API
+
 - `GET /db` - 获取超图数据
 - `POST /hyperrag/query` - 智能问答查询
 - `POST /hyperrag/insert` - 文档插入
 - `POST /files/upload` - 文件上传
 - `POST /files/embed` - 文档嵌入
 
 ### 管理 API
+
 - `GET /settings` - 获取系统设置
 - `POST /settings` - 保存系统设置
 - `GET /databases` - 获取数据库列表
@@ -161,11 +181,13 @@ npm run dev
 ## 📊 实时监控
 
 ### WebSocket 支持
+
 - 实时日志监控
 - 文档处理进度
 - 系统状态更新
 
 ### 进度追踪
+
 - 文件上传进度
 - 嵌入处理进度
 - 错误状态提醒

hyperrag/utils.py

@@ -253,7 +253,7 @@ async def delete_hyperedge_endpoint(hyperedge_id: str, database: str = None):
 class SettingsModel(BaseModel):
     apiKey: str = ""
     modelProvider: str = "openai"
-    modelName: str = "gpt-4.1-mini"
+    modelName: str = "gpt-5-mini"
     baseUrl: str = "https://api.openai.com/v1"
     selectedDatabase: str = ""
     maxTokens: int = 2000
@@ -340,15 +340,7 @@ async def get_databases():
 
         for file in database_files:
             # 根据文件名推断描述
-            description = ""
-            if 'wukong' in file:
-                description = "西游记超图"
-            elif 'sanguo' in file:
-                description = "三国演义超图"
-            elif 'Christmas' in file:
-                description = "圣诞颂歌超图"
-            else:
-                description = f"{file.replace('.hgdb', '')}超图"
+            description = f"{file.replace('.hgdb', '')}超图"
 
             databases.append({
                 "name": file,
@@ -442,7 +434,7 @@ async def get_hyperrag_llm_func(prompt, system_prompt=None, history_messages=[],
         with open(SETTINGS_FILE, 'r', encoding='utf-8') as f:
             settings = json.load(f)
 
-        model_name = settings.get("modelName", "gpt-4.1-mini")
+        model_name = settings.get("modelName", "gpt-5-mini")
         api_key = settings.get("apiKey")
         base_url = settings.get("baseUrl")
 

web-ui/README.md

@@ -4,6 +4,7 @@ import type { SizeType } from 'antd/es/config-provider/SizeContext';
 import { observer } from 'mobx-react';
 import { DatabaseOutlined, ReloadOutlined } from '@ant-design/icons';
 import { storeGlobalUser } from '../../store/globalUser';
+import { useTranslation } from 'react-i18next';
 
 const { Text } = Typography;
 const { Option } = Select;
@@ -34,12 +35,16 @@ const DatabaseSelector: React.FC<DatabaseSelectorProps> = ({
     mode = 'select',
     showCurrent = true,
     showRefresh = false,
-    placeholder = '请选择数据库',
+    placeholder,
     style = {},
     size = 'middle',
     onChange,
     disabled = false
 }) => {
+    const { t } = useTranslation();
+    
+    // 如果没有提供placeholder，使用默认的国际化文本
+    const defaultPlaceholder = placeholder || t('database.select_database_placeholder');
 
     // 初始化数据库列表
     useEffect(() => {
@@ -61,9 +66,9 @@ const DatabaseSelector: React.FC<DatabaseSelectorProps> = ({
     const handleRefresh = async () => {
         try {
             await storeGlobalUser.loadDatabases();
-            message.success('数据库列表已刷新');
+            message.success(t('database.refresh_success'));
         } catch (error) {
-            message.error('刷新数据库列表失败');
+            message.error(t('database.refresh_failed'));
         }
     };