From 9b63ac4bc51119da19f0c74ebb11ad073a067cf2 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Thu, 20 May 2021 10:46:22 +0800 Subject: [PATCH 01/13] data-export-1.7.3 --- .../install_SDK.md | 2 +- .../install_Service.md | 22 ++++++++++--------- 2 files changed, 13 insertions(+), 11 deletions(-) diff --git a/docs/WeBankBlockchain-Data-Export/install_SDK.md b/docs/WeBankBlockchain-Data-Export/install_SDK.md index 6f462e6..b456d38 100644 --- a/docs/WeBankBlockchain-Data-Export/install_SDK.md +++ b/docs/WeBankBlockchain-Data-Export/install_SDK.md @@ -20,7 +20,7 @@ ###### 建立依赖 ``` dependencies { - compile 'com.webank:data-export-sdk:1.7.2' + compile 'com.webank:data-export-sdk:1.7.3' } ``` diff --git a/docs/WeBankBlockchain-Data-Export/install_Service.md b/docs/WeBankBlockchain-Data-Export/install_Service.md index 08572de..502b9b7 100644 --- a/docs/WeBankBlockchain-Data-Export/install_Service.md +++ b/docs/WeBankBlockchain-Data-Export/install_Service.md @@ -99,6 +99,8 @@ tools目录如下： system.groupId=1 ##IP为节点运行的IP，PORT为节点运行的channel_port，默认为20200 system.nodeStr=127.0.0.1:20200 +# ecc-0 sm-1 +system.cryptoTypeConfig=0 ### 数据库的信息，暂时只支持mysql； serverTimezone 用来设置时区 ### 请确保在运行前创建对应的database，如果分库分表，则可配置多个数据源，如system.db1.dbUrl=\system.db1.user=\system.db0.password= @@ -132,19 +134,19 @@ system.certPath=/root/fisco/nodes/127.0.0.1/sdk ##### 配置合约 -将合约对应的abi和binary文件分别放置到config/abi和config/bin目录中。 +- 将要编译的合约拷贝到config/solidity目录下，目录中包含了一个HelloWorld合约示例文件，使用时请按需删除。也可直接配置合约文件所在目录的路径, 默认配置为./config/solidity，可按需修改 +- 按需配置编译器版本号，支持三种版本(0.4.25.1, 0.5.2.0, 0.6.10.0)，默认为0.4.25.1 -两个目录中包含了一个HelloWorld合约的abi和bin文件，使用时请按需删除。 - -合约bin和binary的获取参考[编译智能合约](https://fisco-bcos-documentation.readthedocs.io/zh_CN/latest/docs/tutorial/sdk_application.html#id6) +配置如下： +``` +system.solPath=./config/solidity +system.solcVersion=0.4.25.1 +``` -如果是在要连接的链节点上部署数据导出，也可直接配置abi和bin的路径，无需上述复制操作，配置路径取**绝对路径**。 -这里采用控制台[编译智能合约](https://fisco-bcos-documentation.readthedocs.io/zh_CN/latest/docs/tutorial/sdk_application.html#id6) 方式编译合约，可在控制台contracts/目录下看到编译结果， -配置例子如下： -``` -system.abiPath=/root/fisco/console/contracts/sdk/abi -system.binaryPath=/root/fisco/console/contracts/sdk/bin +```eval_rst +.. note:: + 如果正确配置了合约文件及编译版本号，但出现合约方法和事件数据没有导出的情况，可删除config/solidity/下已配置的未成功导出数据的合约，并将config/solidity/bin/(非国密目录/ecc/、国密目录为/sm/)下bin文件的内容替换为合约部署位置（如WeBase）编译得到的binary，然后清理数据库表重新启动即可。 ``` From c10e3504bf9b4f73d649b5ee082ee4668b968ae7 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Thu, 20 May 2021 10:57:59 +0800 Subject: [PATCH 02/13] data-stash-1.2.0 --- .../configuration.md | 18 ++++- .../data-query-install.md | 75 ++++++++++++++++++ .../data-sync-install.md | 79 +++++++++++++++++++ docs/WeBankBlockchain-Data-Stash/index.md | 4 +- docs/WeBankBlockchain-Data-Stash/install.md | 19 +++++ .../WeBankBlockchain-Data-Stash/quickstart.md | 55 ++++--------- 6 files changed, 209 insertions(+), 41 deletions(-) create mode 100644 docs/WeBankBlockchain-Data-Stash/data-query-install.md create mode 100644 docs/WeBankBlockchain-Data-Stash/data-sync-install.md create mode 100644 docs/WeBankBlockchain-Data-Stash/install.md diff --git a/docs/WeBankBlockchain-Data-Stash/configuration.md b/docs/WeBankBlockchain-Data-Stash/configuration.md index aeba330..18c74c9 100644 --- a/docs/WeBankBlockchain-Data-Stash/configuration.md +++ b/docs/WeBankBlockchain-Data-Stash/configuration.md @@ -1,5 +1,5 @@ # 详细配置 - +## 数据仓库 数据仓库组件的完整配置选项如下： | 配置项 | 说明 | 是否必需 | 说明| @@ -17,3 +17,19 @@ |read.blocks|每下载多少文件开始执行入库|否|默认为5| |read.clean|yes-入库完成后清理文件。no-不清理|否|默认清理| +## 数据同步 + +数据同步模块完整配置选项如下： + +| 配置项 | 说明 | 是否必需 | 默认| +| --- | --- | --- | --- | +|stash.ip|数据仓库数据库IP地址|必选|127.0.0.1| +|stash.port|数据仓库数据库端口|必选|3306| +|stash.dbname|数据仓库数据库名|必选|stash| +|stash.username|数据仓库数据库用户名|必选|root| +|stash.password|数据仓库数据库密码|必选|123456| +|node.groupId|待同步群组id|必选|1| +|node.path|节点路径|必选|默认当前路径| +|sync.endBlockNumber|指定同步截止区块号|非必选|默认：10000| +|sync.pageCount|指定除表_sys_hash_2_block_和表_sys_block_2_nonces_之外其他表的分页拉取行数，默认为1000行每页；|非必选|1000| +|sync.bigTablePageCount|指定表_sys_hash_2_block_和表_sys_block_2_nonces_的分页拉取行数，默认为1000行每页|非必选|1000| \ No newline at end of file diff --git a/docs/WeBankBlockchain-Data-Stash/data-query-install.md b/docs/WeBankBlockchain-Data-Stash/data-query-install.md new file mode 100644 index 0000000..3d70e10 --- /dev/null +++ b/docs/WeBankBlockchain-Data-Stash/data-query-install.md @@ -0,0 +1,75 @@ +### 数据裁剪查询 + +#### 使用步骤 + +##### 配置工程 + +###### 配置文件设置 + +修改application.properties文件中数据裁剪相关配置： + +``` +data.query.enable=true +data.query.certPath=./config +data.query.groupId=1 +data.query.nodeStr=127.0.0.1:20200 +data.query.topic=DB +``` + +###### 配置证书文件 + +连接链节点时，需配置证书或证书路径。 + +将链SDK证书拷贝到配置的证书路径下，如 **./config**下，SDK证书目录位于nodes/${ip}/sdk/目录下 +``` +# 假设SDK证书位于~/fisco/nodes/127.0.0.1/sdk/目录 +cp -r ~/fisco/nodes/127.0.0.1/sdk/* ./config/ +``` + +#### 运行程序 + +修改配置后，重新启动项目 + +``` +bash stop.sh +bash start.sh +``` + +#### 节点数据裁剪 + +##### 节点配置 + +FISCO BCOS节点在配置scalable存储模式时，对于本地经裁剪后缺少的数据，将通过Data-Stash访问数据源进行获取。 + +###### 模式启用 + +- 设置群组的ini配置文件中`[storage].type=scalable`来选择链的存储模式为`scalable`。 +- 设置群组的ini配置文件中`[storage].binary_log=true`来启用binlog。如用户使用build_chain脚本搭链，并选择scalable存储模式，配置文件会自动开启binlog。 + +###### 文件组织 + +节点使用scalable存储模式后，其数据目录内容如下： + +- `nodeX/data/groupX/block/Scalable/blocksDB/`下分文件夹存储区块数据。每个文件夹为独立的DB实例，用DB记录的首个块高来进行文件夹命名。用户在配置了数据仓库实现数据备份归档后，较旧（较低块高）的子文件夹**允许删除**。 +- `nodeX/data/groupX/block/Scalable/state`存储整体的状态数据，该文件夹**不可删除**。 + +###### binlog + +binlog文件记录了每个区块的每个交易对区块链状态的修改结果。binlog机制的作用在于： + +1. 提供了区块维度的数据操作结果的记录； +2. 节点可通过binlog文件而非通过原有的拉取区块重放交易的方式来恢复数据； +3. binlog文件为“数据仓库”的快照构建提供数据来源。 + +用户可通过设置群组的ini配置文件中`[storage].binary_log=true`来启用binlog（binlog默认关）。开启binlog后，`nodeX/data/groupX/BinaryLogs/`的目录如下。每个binlog文件以其记录的首个区块内容进行命名，且按从小到大的顺序来记录区块。如下图中，文件`18.binlog`记录的区块为块高18到块高29。 + +```bash +├── 0.binlog +├── 18.binlog +├── 30.binlog +└── 32.binlog +``` + +##### 节点启动 + +停止节点，在对节点数据进行上述裁剪后，启动节点 \ No newline at end of file diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md new file mode 100644 index 0000000..a9eb7c4 --- /dev/null +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -0,0 +1,79 @@ +### 数据快速同步 + +请在要同步数据的节点上执行以下步骤。 + +#### 获取启动脚本和配置文件 + +``` +curl -#LO https://github.com/WeBankBlockchain/Data-Stash/releases/download/V1.2.0/data-sync-bash.tar.gz +``` + +解压文件包至当前目录 +``` +tar -zxvf data-sync-bash.tar.gz && cd data-sync-bash && chmod -x data_sync.sh +``` + +data-sync目录如下： +``` +├── data-sync +│   ├── config.conf +│ └── data_sync.sh +``` + +```eval_rst +.. note:: + - config.conf为配置文件，数据仓库数据源配置。 + - data_sync.sh为启动脚本 +``` + + +#### 配置文件 + +修改config.conf文件：该文件包含了所有的配置信息。以下配置信息是必须要配置的： + +``` +[stash] +stash.ip=127.0.0.1 +stash.port=3306 +stash.dbname=stash +stash.username=root +stash.password=123456 + +[node] +#要导出的群组ID，会根据配置读取节点目录conf/下指定group.id.ini配置，进行数据同步 +node.groupId=1 +#节点路径，若选择在fisco对应节点目录下(如~/fisco/nodes/127.0.0.1/node0)执行下述步骤，则无需配置节点路径，默认即可。 +node.path=./ +``` + +更多配置参照[数据同步配置](./configuration.html#id3) + +#### 启动脚本 + +``` +bash data_sync.sh +``` + +上述脚本会自动拉取对应系统的data-sync包，并自动读取导出群组的配置，同步数据到对应的数据存储中，节点存储模式包括rocksdb/mysql/scalable三种。 + +看到如下日志，则表示执行成功： + +``` +... ... +[2021-04-29 15:08:24][1/34] processing _sys_tables_ +[2021-04-29 15:08:24.287430] [0x00000001056c45c0] [trace] [STORAGE]conversion end! +[2021-04-29 15:08:24.296431] [0x00000001056c45c0] [debug] [STORAGE][RocksDB][Commit]Write to db,encodeTimeCost=1,writeDBTimeCost=8,totalTimeCost=9 +[2021-04-29 15:08:24][1/34] _sys_tables_ downloaded items : 34 done. +[2021-04-29 15:08:24][2/34] processing _sys_hash_2_block_ +[2021-04-29 15:08:24.322570] [0x00000001056c45c0] [trace] [STORAGE]conversion table data,table name=_sys_hash_2_block_,new entry count=50,dirty entry count=0 +[2021-04-29 15:08:24.325145] [0x00000001056c45c0] [trace] [STORAGE]conversion end! +[2021-04-29 15:08:24.330759] [0x00000001056c45c0] [debug] [STORAGE][RocksDB][Commit]Write to db,encodeTimeCost=4,writeDBTimeCost=1,totalTimeCost=5 +... ... +``` + +如节点群组1的配置为RocksDB模式，则同步后的数据可在节点data/group1/block/RocksDB/路径下看到，如下文件： + +``` +ls data/ +000006.log 000007.sst CURRENT IDENTITY LOCK LOG MANIFEST-000008 OPTIONS-000005 +``` \ No newline at end of file diff --git a/docs/WeBankBlockchain-Data-Stash/index.md b/docs/WeBankBlockchain-Data-Stash/index.md index e6d342d..7d2bd8d 100644 --- a/docs/WeBankBlockchain-Data-Stash/index.md +++ b/docs/WeBankBlockchain-Data-Stash/index.md @@ -20,6 +20,7 @@ - 备份数据的可信存储 - 支持断点续传 - 轻量级接入 + - 数据裁剪和同步 - ... ``` ```eval_rst @@ -27,9 +28,8 @@ :maxdepth: 3 intro.md - quickstart.md + install.md configuration.md - advance.md design.md faq.md appendix.md diff --git a/docs/WeBankBlockchain-Data-Stash/install.md b/docs/WeBankBlockchain-Data-Stash/install.md new file mode 100644 index 0000000..c8556ac --- /dev/null +++ b/docs/WeBankBlockchain-Data-Stash/install.md @@ -0,0 +1,19 @@ +## 快速开始 + +```eval_rst +.. note:: + + 本指引主要介绍如何通过Data-Stash为节点生成全量备份。全量备份是节点冷热分离、快速同步的基础。并提供数据裁剪和同步的使用方式。 + +``` + + +```eval_rst +.. toctree:: + :maxdepth: 3 + + quickstart.md + data-query-install.md + data-sync-install.md + +``` diff --git a/docs/WeBankBlockchain-Data-Stash/quickstart.md b/docs/WeBankBlockchain-Data-Stash/quickstart.md index 64e8761..5a3693a 100644 --- a/docs/WeBankBlockchain-Data-Stash/quickstart.md +++ b/docs/WeBankBlockchain-Data-Stash/quickstart.md @@ -1,18 +1,6 @@ -# 快速开始 +### 数据仓库启动 -```eval_rst -.. note:: - - 本指引主要介绍如何通过Data-Stash为节点生成全量备份。全量备份是节点冷热分离、快速同步的基础。 - - 若要使节点在仅保留热数据的情况下还能正常运行，需要先启动 `amdb-proxy `_ ，以通过amdb访问全量数据 。 - - 若要将数据仓库数据导回节点实现节点同步或迁移，则需要先启动 `amdb-proxy `_ ，再启动 `fisco-sync `_ 。fisco-sync的运行依赖于amdb。 - -``` - - -## 前置依赖 +#### 前置依赖 在使用本组件前，请确认系统环境已安装相关依赖软件，清单如下： @@ -26,9 +14,9 @@ 如果您还未安装这些依赖，请参考[附录](appendix.md)。 -## 基础设置 +#### 基础设置 -### FISCO BCOS节点配置 +##### FISCO BCOS节点配置 由于数据仓库组件用于生成节点的全量备份，所以要求节点拥有包括第一个区块在内的完整binlog日志，故需要确保该节点加入FISCO BCOS网络前就开启binlog生成选项。如果您的节点已经在运行中，请先停止该节点，并删除对应群组（以group1为例）的数据。例如： @@ -59,7 +47,7 @@ binary_log=true 0.binlog ``` -### Nginx配置 +##### Nginx配置 FISCO BCOS节点的binlog日志存放在节点文件目录中，为了让外界能够访问这些binlog，现需要在节点所在服务器安装nginx并配置端口映射，这样外界即可根据该端口访问binlog。 @@ -122,9 +110,9 @@ nginx配置文件位于/usr/local/nginx/conf/nginx.conf。需要在http模块内 ![](./picture/nginx_success.png) -## 运行数据仓库组件 +#### 运行数据仓库组件 -### 下载源码 +##### 下载源码 通过git 下载源码. @@ -137,26 +125,22 @@ git clone https://github.com/WeBankBlockchain/Data-Stash.git - 如果因为网络问题导致长时间无法下载，请尝试：git clone https://gitee.com/WeBankBlockchain/Data-Stash.git ``` -### 编译源码 +##### 编译源码 ``` -cd Data-Stash -./gradlew clean bootJar +cd Data-Stash/tools ``` -编译完成后，会生成dist目录，其具备如下结构： +tools目录如下： ``` -dist -│ start.sh -│ stop.sh -│ Data-Stash.jar -└───config -│ │ application.properties -└───lib - │ ... +├── tools +│   ├── config +│   │   ├── application.properties +│   ├── start.sh +│ └── stop.sh ``` -### 启动配置 +##### 启动配置 在启动之间还需要进行配置，主要包括： - binlog获取端口 @@ -168,7 +152,6 @@ dist ### 配置nginx服务的binlog地址，如果连接多个节点的话，使用逗号分隔 system.binlogAddress=http://www.example.com:5299/,http://www.example.com:5300/ - ### 数据库连接配置 #### 禁用分库分表 spring.shardingsphere.enabled=false @@ -183,17 +166,13 @@ spring.datasource.driverClassName=com.mysql.jdbc.Driver - Data-Stash并不会自动创建数据库，所以请预先建好数据库。 - 若您的链是国密链，请配置system.encryptType=1. DataStash需要验证区块中的签名。 ``` -### 运行程序 +##### 运行程序 可以通过bash启动程序： ``` chmod +x *sh bash start.sh ``` -也可以直接通过jar包启动： -``` -java -jar Data-Stash.jar -``` 如果日志出现下述字样，则表示运行成功： From 47846e5605f98240c85c2deb73e2b2e614c0c5af Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Wed, 2 Jun 2021 12:02:27 +0800 Subject: [PATCH 03/13] data-stash-1.2.0 --- docs/WeBankBlockchain-Data-Stash/data-sync-install.md | 8 ++++++-- 1 file changed, 6 insertions(+), 2 deletions(-) diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md index a9eb7c4..568d72d 100644 --- a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -1,6 +1,6 @@ ### 数据快速同步 -请在要同步数据的节点上执行以下步骤。 +请在要同步数据的节点上执行以下步骤，同步前新节点保持在未启动状态。 #### 获取启动脚本和配置文件 @@ -44,6 +44,10 @@ stash.password=123456 node.groupId=1 #节点路径，若选择在fisco对应节点目录下(如~/fisco/nodes/127.0.0.1/node0)执行下述步骤，则无需配置节点路径，默认即可。 node.path=./ + +[more] +#同步截止区块号，如默认为10000，则同步0-9999号区块至新节点 +sync.endBlockNumber=10000 ``` 更多配置参照[数据同步配置](./configuration.html#id3) @@ -54,7 +58,7 @@ node.path=./ bash data_sync.sh ``` -上述脚本会自动拉取对应系统的data-sync包，并自动读取导出群组的配置，同步数据到对应的数据存储中，节点存储模式包括rocksdb/mysql/scalable三种。 +上述脚本会自动拉取对应系统的data-sync包，并自动读取导出群组的配置，同步数据到对应的数据存储中，节点存储模式包括rocksdb/mysql/scalable三种。其中scalable模式，只同步状态数据，区块数据将从数据仓库获取。 看到如下日志，则表示执行成功： From e481ea528f74b91c64d3935788c34a1e5d4fa399 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Wed, 2 Jun 2021 14:48:17 +0800 Subject: [PATCH 04/13] data-stash-1.2.0 --- docs/WeBankBlockchain-Data-Stash/data-sync-install.md | 8 ++++++-- 1 file changed, 6 insertions(+), 2 deletions(-) diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md index 568d72d..3062f2f 100644 --- a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -1,6 +1,6 @@ ### 数据快速同步 -请在要同步数据的节点上执行以下步骤，同步前新节点保持在未启动状态。 +请在要同步数据的节点上执行以下步骤，同步前新节点保持在未启动状态，并清空节点data目录。 #### 获取启动脚本和配置文件 @@ -57,8 +57,12 @@ sync.endBlockNumber=10000 ``` bash data_sync.sh ``` +```eval_rst + .. admonition:: **注意事项** + + 上述脚本会自动拉取对应系统的data-sync包，并自动读取节点群组的配置，同步数据到对应的节点存储源中，节点存储模式包括rocksdb/mysql/scalable三种。其中scalable模式，只同步状态数据，区块数据需要通过数据仓库获取。 -上述脚本会自动拉取对应系统的data-sync包，并自动读取导出群组的配置，同步数据到对应的数据存储中，节点存储模式包括rocksdb/mysql/scalable三种。其中scalable模式，只同步状态数据，区块数据将从数据仓库获取。 +``` 看到如下日志，则表示执行成功： From 16eb369c2f13e94f672cb584abb1de9ce9a8d386 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Wed, 2 Jun 2021 15:42:26 +0800 Subject: [PATCH 05/13] data-stash-1.2.0 --- docs/WeBankBlockchain-Data-Stash/data-sync-install.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md index 3062f2f..5007b21 100644 --- a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -58,7 +58,7 @@ sync.endBlockNumber=10000 bash data_sync.sh ``` ```eval_rst - .. admonition:: **注意事项** + .. note:: 上述脚本会自动拉取对应系统的data-sync包，并自动读取节点群组的配置，同步数据到对应的节点存储源中，节点存储模式包括rocksdb/mysql/scalable三种。其中scalable模式，只同步状态数据，区块数据需要通过数据仓库获取。 From d134164e87d4fc9037dbaf3a03c103473fdfd2ed Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Wed, 2 Jun 2021 15:49:36 +0800 Subject: [PATCH 06/13] data-stash-1.2.0 --- docs/WeBankBlockchain-Data-Stash/data-sync-install.md | 8 +++++--- 1 file changed, 5 insertions(+), 3 deletions(-) diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md index 5007b21..e155c5b 100644 --- a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -57,13 +57,15 @@ sync.endBlockNumber=10000 ``` bash data_sync.sh ``` -```eval_rst - .. note:: - 上述脚本会自动拉取对应系统的data-sync包，并自动读取节点群组的配置，同步数据到对应的节点存储源中，节点存储模式包括rocksdb/mysql/scalable三种。其中scalable模式，只同步状态数据，区块数据需要通过数据仓库获取。 +```eval_rst +.. note:: + 上述脚本会自动拉取对应系统的data-sync包，并自动读取节点群组的配置，同步数据到对应的节点存储源中，节点存储模式包括rocksdb/mysql/scalable三种。 + rocksdb/mysql模式为全量数据同步；scalable模式下，只同步状态数据，区块数据需要通过数据仓库获取。 ``` + 看到如下日志，则表示执行成功： ``` From ed2c57a167751403db0abf1792a022d3e7d8f95d Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Wed, 2 Jun 2021 15:52:03 +0800 Subject: [PATCH 07/13] data-stash-1.2.0 --- docs/WeBankBlockchain-Data-Stash/data-sync-install.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md index e155c5b..4a5ecdb 100644 --- a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -60,8 +60,8 @@ bash data_sync.sh ```eval_rst .. note:: - 上述脚本会自动拉取对应系统的data-sync包，并自动读取节点群组的配置，同步数据到对应的节点存储源中，节点存储模式包括rocksdb/mysql/scalable三种。 - rocksdb/mysql模式为全量数据同步；scalable模式下，只同步状态数据，区块数据需要通过数据仓库获取。 + - 上述脚本会自动拉取对应系统的data-sync包，并自动读取节点群组的配置，同步数据到对应的节点存储源中，节点存储模式包括rocksdb/mysql/scalable三种。 + - rocksdb/mysql模式为全量数据同步；scalable模式下，只同步状态数据，区块数据需要通过数据仓库获取。 ``` From 61533b4fdfbadc3852c054c0b66aea5b155b8b7d Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Tue, 8 Jun 2021 16:18:00 +0800 Subject: [PATCH 08/13] data-stash-1.2.0 --- docs/WeBankBlockchain-Data-Stash/data-sync-install.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md index 4a5ecdb..9e2de6a 100644 --- a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -46,7 +46,7 @@ node.groupId=1 node.path=./ [more] -#同步截止区块号，如默认为10000，则同步0-9999号区块至新节点 +#同步截止区块号，如默认为10000，则同步0-9999号区块至新节点，后续区块将从其他节点同步拉取 sync.endBlockNumber=10000 ``` From 1a8194e2e656171599419c99f55aa99746e6d17d Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Tue, 8 Jun 2021 18:03:24 +0800 Subject: [PATCH 09/13] data_stash --- docs/WeBankBlockchain-Data-Stash/configuration.md | 2 +- docs/WeBankBlockchain-Data-Stash/data-sync-install.md | 3 ++- 2 files changed, 3 insertions(+), 2 deletions(-) diff --git a/docs/WeBankBlockchain-Data-Stash/configuration.md b/docs/WeBankBlockchain-Data-Stash/configuration.md index 18c74c9..e76aa46 100644 --- a/docs/WeBankBlockchain-Data-Stash/configuration.md +++ b/docs/WeBankBlockchain-Data-Stash/configuration.md @@ -30,6 +30,6 @@ |stash.password|数据仓库数据库密码|必选|123456| |node.groupId|待同步群组id|必选|1| |node.path|节点路径|必选|默认当前路径| -|sync.endBlockNumber|指定同步截止区块号|非必选|默认：10000| +|sync.endBlockNumber|指定同步截止区块号，后续区块从其他节点拉取|非必选|默认：10000| |sync.pageCount|指定除表_sys_hash_2_block_和表_sys_block_2_nonces_之外其他表的分页拉取行数，默认为1000行每页；|非必选|1000| |sync.bigTablePageCount|指定表_sys_hash_2_block_和表_sys_block_2_nonces_的分页拉取行数，默认为1000行每页|非必选|1000| \ No newline at end of file diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md index 9e2de6a..43aad37 100644 --- a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -61,7 +61,8 @@ bash data_sync.sh ```eval_rst .. note:: - 上述脚本会自动拉取对应系统的data-sync包，并自动读取节点群组的配置，同步数据到对应的节点存储源中，节点存储模式包括rocksdb/mysql/scalable三种。 - - rocksdb/mysql模式为全量数据同步；scalable模式下，只同步状态数据，区块数据需要通过数据仓库获取。 + - rocksdb/mysql模式为全量数据同步,包括区块和状态数据。 + - scalable模式下，只同步状态数据，区块数据需要通过数据仓库获取，参考[数据裁剪查询](./data-query-install.md) ``` From b39a3d2e9047531a2ae90ed625a2b45feb538883 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Wed, 9 Jun 2021 10:24:48 +0800 Subject: [PATCH 10/13] data_stash --- docs/WeBankBlockchain-Data-Stash/data-sync-install.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md index 43aad37..89a76d6 100644 --- a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -61,7 +61,7 @@ bash data_sync.sh ```eval_rst .. note:: - 上述脚本会自动拉取对应系统的data-sync包，并自动读取节点群组的配置，同步数据到对应的节点存储源中，节点存储模式包括rocksdb/mysql/scalable三种。 - - rocksdb/mysql模式为全量数据同步,包括区块和状态数据。 + - rocksdb/mysql模式同步数据包括区块和状态数据。 - scalable模式下，只同步状态数据，区块数据需要通过数据仓库获取，参考[数据裁剪查询](./data-query-install.md) ``` From 74dec828595e28b34cb0f377701120d84400a0fe Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Wed, 9 Jun 2021 11:00:57 +0800 Subject: [PATCH 11/13] data_stash --- docs/WeBankBlockchain-Data-Stash/data-sync-install.md | 8 ++++++++ 1 file changed, 8 insertions(+) diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md index 89a76d6..3e85521 100644 --- a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -8,6 +8,14 @@ curl -#LO https://github.com/WeBankBlockchain/Data-Stash/releases/download/V1.2.0/data-sync-bash.tar.gz ``` +```eval_rst +.. note:: + - 如果因为网络问题导致长时间无法下载，请尝试： + - curl -#LO https://gitee.com/WeBankBlockchain/Data-Stash/attach_files/730064/download/data-sync-bash.tar.gz + +``` + + 解压文件包至当前目录 ``` tar -zxvf data-sync-bash.tar.gz && cd data-sync-bash && chmod -x data_sync.sh From ede8006798b2917e1cf2d071f961b98ee1d39228 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Wed, 9 Jun 2021 18:01:33 +0800 Subject: [PATCH 12/13] data_stash --- docs/WeBankBlockchain-Data-Stash/data-sync-install.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md index 3e85521..77238bb 100644 --- a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -2,6 +2,8 @@ 请在要同步数据的节点上执行以下步骤，同步前新节点保持在未启动状态，并清空节点data目录。 +扩容新节点参考[扩容节点](https://fisco-bcos-documentation.readthedocs.io/zh_CN/latest/docs/tutorial/add_new_node.html?highlight=%E6%96%B0%E8%8A%82%E7%82%B9#id1) + #### 获取启动脚本和配置文件 ``` From a8d911acb7fe62af8e91c2ece9f132e1d9e7785d Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=8D=A1=E6=8B=89=E9=A9=AC=E4=BD=90=E5=A4=AB?= <973459080@qq.com> Date: Wed, 9 Jun 2021 18:15:29 +0800 Subject: [PATCH 13/13] data_stash --- docs/WeBankBlockchain-Data-Stash/data-sync-install.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md index 77238bb..55640b5 100644 --- a/docs/WeBankBlockchain-Data-Stash/data-sync-install.md +++ b/docs/WeBankBlockchain-Data-Stash/data-sync-install.md @@ -72,7 +72,7 @@ bash data_sync.sh .. note:: - 上述脚本会自动拉取对应系统的data-sync包，并自动读取节点群组的配置，同步数据到对应的节点存储源中，节点存储模式包括rocksdb/mysql/scalable三种。 - rocksdb/mysql模式同步数据包括区块和状态数据。 - - scalable模式下，只同步状态数据，区块数据需要通过数据仓库获取，参考[数据裁剪查询](./data-query-install.md) + - scalable模式下，只同步状态数据，区块数据需要通过数据仓库获取，参考数据裁剪查询 ```