Skip to content

Commit

Permalink
remove 0.13 version
Browse files Browse the repository at this point in the history
  • Loading branch information
@SpriCoder
SpriCoder committed Jun 5, 2024
1 parent e6b38f7 commit 27ee8c4
Show file tree
Hide file tree
Showing 30 changed files with 84 additions and 2,435 deletions.
12 changes: 1 addition & 11 deletions .github/workflows/main.yml
View file
Original file line number Diff line number Diff line change
Expand Up @@ -75,7 +75,7 @@ jobs:
id: compile-benchmark
run: |
cd ${{ github.workspace }}/iot-benchmark
mvn clean package -am -pl core,influxdb,influxdb-2.0,tdengine,timescaledb,iotdb-1.0,iotdb-1.1,iotdb-0.13,iotdb-1.3 -DskipTests
mvn clean package -am -pl core,influxdb,influxdb-2.0,tdengine,timescaledb,iotdb-1.0,iotdb-1.1,iotdb-1.3 -DskipTests
# get time
- name: collect common info
shell: bash
Expand All @@ -98,16 +98,6 @@ jobs:
Java Version: java${{ matrix.java_version }}
draft: false
prerelease: false
#---0.13
- name: Upload benchmark-iotdb-0.13
uses: actions/upload-release-asset@v1
env:
GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
with:
upload_url: ${{ steps.create-release.outputs.upload_url }}
asset_path: ${{ github.workspace }}/iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13.zip
asset_name: benchmark-iotdb-0.13-java${{ matrix.java_version }}.zip
asset_content_type: application/zip
#---1.0
- name: Upload benchmark-iotdb-1.0
uses: actions/upload-release-asset@v1
Expand Down
12 changes: 1 addition & 11 deletions .github/workflows/release_history_commit.yml
View file
Original file line number Diff line number Diff line change
Expand Up @@ -46,7 +46,7 @@ jobs:
id: compile-benchmark
run: |
cd ${{ github.workspace }}/iot-benchmark
mvn clean package -am -pl core,influxdb,influxdb-2.0,tdengine,tdengine-3.0,timescaledb,iotdb-1.0,iotdb-1.1,iotdb-0.13 -DskipTests
mvn clean package -am -pl core,influxdb,influxdb-2.0,tdengine,tdengine-3.0,timescaledb,iotdb-1.0,iotdb-1.1,iotdb-1.3 -DskipTests
# get time
- name: collect common info
shell: bash
Expand All @@ -69,16 +69,6 @@ jobs:
Java Version: java${{ matrix.java_version }}
draft: false
prerelease: false
#---0.13
- name: Upload benchmark-iotdb-0.13
uses: actions/upload-release-asset@v1
env:
GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
with:
upload_url: ${{ steps.create-release.outputs.upload_url }}
asset_path: ${{ github.workspace }}/iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13.zip
asset_name: benchmark-iotdb-0.13-java${{ matrix.java_version }}.zip
asset_content_type: application/zip
#---1.0
- name: Upload benchmark-iotdb-1.0
uses: actions/upload-release-asset@v1
Expand Down
69 changes: 34 additions & 35 deletions README-cn.md
View file
Original file line number Diff line number Diff line change
Expand Up @@ -127,7 +127,7 @@ iot-benchmark的特点如下：
1. Java 8
2. Maven：不建议使用镜像源，国内可以使用阿里云镜像源。
3. 合适版本的数据库
1. Apache IoTDB >= v0.13([获取方式](https://github.com/apache/iotdb))
1. Apache IoTDB >= v1.0([获取方式](https://github.com/apache/iotdb))
2. 其他的对应版本的数据库
4. CSV的记录模式只能在Linux系统中使用，记录测试过程中的相关系统信息。
5. 我们建议使用MacOs或Linux系统，本文以MacOS和Linux系统为例，如果使用Windows系统，请使用`conf`文件夹下的`benchmark.bat`脚本启动benchmark。
Expand All @@ -137,8 +137,8 @@ iot-benchmark的特点如下：
| :------------: | :-------------------: | :------------------------------------------------------------------------------- |
| 常规测试模式 | testWithDefaultPath | 支持多种读和写操作的混合负载 |
| 生成数据模式 | generateDataMode | Benchmark生成数据集到FILE_PATH路径中 |
| 正确性写入模式 | verificationWriteMode | 从FILE_PATH路径中加载数据集进行写入，目前支持 IoTDB v0.13 及更新的版本 |
| 正确性查询模式 | verificationQueryMode | 从FILE_PATH路径中加载数据集和数据库中进行比对，目前支持 IoTDB v0.13 及更新的版本 |
| 正确性写入模式 | verificationWriteMode | 从FILE_PATH路径中加载数据集进行写入，目前支持 IoTDB v1.0 及更新的版本 |
| 正确性查询模式 | verificationQueryMode | 从FILE_PATH路径中加载数据集和数据库中进行比对，目前支持 IoTDB v1.0 及更新的版本 |

## 5.3. iot-benchmark的编译构建

Expand All @@ -150,16 +150,15 @@ mvn clean package -Dmaven.test.skip=true

该命令会编译iot-benchmark的core模块，和所有其他相关的数据库。

在完成编译后，以IoTDB v0.13为例，你可以进入到`iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13`文件夹下，使用`./benchmark.sh`来启动对IoTDB v0.13的测试。
在完成编译后，以IoTDB v1.0为例，你可以进入到`iot-benchmark/iotdb-1.0/target/iot-benchmark-iotdb-1.0`文件夹下，使用`./benchmark.sh`来启动对IoTDB v1.0的测试。

默认的配置文件存放在`iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13/conf`下，您可以编辑`config.properties`来完成配置，请**注意的是，您需要将配置文件中的DB_SWITCH参数调整为您需要被测数据库**，其对应关系和可能取值如下所示：
默认的配置文件存放在`iot-benchmark/iotdb-1.0/target/iot-benchmark-iotdb-1.0/conf`下，您可以编辑`config.properties`来完成配置，请**注意的是，您需要将配置文件中的DB_SWITCH参数调整为您需要被测数据库**，其对应关系和可能取值如下所示：

| 数据库 | 版本 | 对应子项目 | DB_SWITCH |
| :------------------: | :------: | :-----------------: | :----------------------------------------------------------------------------------------------------------: |
| IoTDB | 1.3 | iotdb-1.3 | IoTDB-130-JDBC<br>IoTDB-130-SESSION_BY_TABLET<br>IoTDB-130-SESSION_BY_RECORD<br>IoTDB-130-SESSION_BY_RECORDS |
| IoTDB | 1.1 | iotdb-1.1 | IoTDB-110-JDBC<br>IoTDB-110-SESSION_BY_TABLET<br>IoTDB-110-SESSION_BY_RECORD<br>IoTDB-110-SESSION_BY_RECORDS |
| IoTDB | 1.0 | iotdb-1.0 | IoTDB-100-JDBC<br>IoTDB-100-SESSION_BY_TABLET<br>IoTDB-100-SESSION_BY_RECORD<br>IoTDB-100-SESSION_BY_RECORDS |
| IoTDB | 0.13 | iotdb-0.13 | IoTDB-013-JDBC<br>IoTDB-013-SESSION_BY_TABLET<br>IoTDB-013-SESSION_BY_RECORD<br>IoTDB-013-SESSION_BY_RECORDS |
| InfluxDB | v1.x | influxdb | InfluxDB |
| InfluxDB | v2.0 | influxdb-2.0 | InfluxDB-2.0 |
| QuestDB | v6.0.7 | questdb | QuestDB |
Expand Down Expand Up @@ -210,7 +209,7 @@ CPU：I7-11700
```properties
HOST=127.0.0.1
PORT=6667
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
BENCHMARK_WORK_MODE=testWithDefaultPath
OPERATION_PROPORTION=1:0:0:0:0:0:0:0:0:0:0
GROUP_NUMBER=10
Expand All @@ -228,7 +227,7 @@ LOOP=10000

在启动测试之前，您需要在本机的6667端口启动IoTDB服务。

之后您进入到`iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：
之后您进入到`iot-benchmark/iotdb-1.0/target/iot-benchmark-iotdb-1.0`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：

```sh
> ./benchmark.sh
Expand Down Expand Up @@ -258,7 +257,7 @@ BENCHMARK_WORK_MODE=testWithDefaultPath
########### Database Connection Information ###########
DOUBLE_WRITE=false
DBConfig=
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=[127.0.0.1]
########### Data Mode ###########
GROUP_NUMBER=10
Expand Down Expand Up @@ -368,7 +367,7 @@ MAX_K=170000
HOST=127.0.0.1
PORT=6667
IS_DELETE_DATA=false
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
BENCHMARK_WORK_MODE=testWithDefaultPath
OPERATION_PROPORTION=0:1:1:1:1:1:1:1:1:1:1
GROUP_NUMBER=10
Expand Down Expand Up @@ -400,7 +399,7 @@ GROUP_BY_TIME_UNIT=20000

在启动测试之前，您需要在本机的6667端口启动IoTDB服务。

之后您进入到`iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：
之后您进入到`iot-benchmark/iotdb-1.0/target/iot-benchmark-iotdb-1.0`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：

```sh
> ./benchmark.sh
Expand Down Expand Up @@ -429,7 +428,7 @@ BENCHMARK_WORK_MODE=testWithDefaultPath
########### Database Connection Information ###########
DOUBLE_WRITE=false
DBConfig=
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=[127.0.0.1]
########### Data Mode ###########
GROUP_NUMBER=10
Expand Down Expand Up @@ -511,7 +510,7 @@ VALUE_RANGE_QUERY_DESC 5.44 0.52 2.05 2.68 3.62
HOST=127.0.0.1
PORT=6667
IS_DELETE_DATA=false
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
BENCHMARK_WORK_MODE=testWithDefaultPath
OPERATION_PROPORTION=1:1:1:1:1:1:1:1:1:1:1
GROUP_NUMBER=10
Expand Down Expand Up @@ -542,7 +541,7 @@ GROUP_BY_TIME_UNIT=20000

在启动测试之前，您需要在本机的6667端口启动IoTDB服务。

之后您进入到`iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：
之后您进入到`iot-benchmark/iotdb-1.0/target/iot-benchmark-iotdb-1.0`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：

```sh
> ./benchmark.sh
Expand Down Expand Up @@ -571,7 +570,7 @@ BENCHMARK_WORK_MODE=testWithDefaultPath
########### Database Connection Information ###########
DOUBLE_WRITE=false
DBConfig=
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=[127.0.0.1]
########### Data Mode ###########
GROUP_NUMBER=10
Expand Down Expand Up @@ -650,7 +649,7 @@ VALUE_RANGE_QUERY_DESC 13.19 0.37 0.65 0.86 1.46
HOST=127.0.0.1
PORT=6667
IS_DELETE_DATA=false
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
BENCHMARK_WORK_MODE=testWithDefaultPath
OPERATION_PROPORTION=1:1:1:1:1:1:1:1:1:1:1
GROUP_NUMBER=10
Expand Down Expand Up @@ -681,7 +680,7 @@ GROUP_BY_TIME_UNIT=20000

在启动测试之前，您需要在本机的6667端口启动IoTDB服务。

之后您进入到`iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：
之后您进入到`iot-benchmark/iotdb-1.0/target/iot-benchmark-iotdb-1.0`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：

```sh
> ./benchmark.sh
Expand All @@ -700,7 +699,7 @@ BENCHMARK_WORK_MODE=testWithDefaultPath
########### Database Connection Information ###########
DOUBLE_WRITE=false
DBConfig=
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=[127.0.0.1]
########### Data Mode ###########
GROUP_NUMBER=10
Expand Down Expand Up @@ -791,7 +790,7 @@ MONITOR_INTERVAL=0

在启动测试之前，您需要在本机的6667端口启动IoTDB服务。

之后您进入到`iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：
之后您进入到`iot-benchmark/iotdb-1.0/target/iot-benchmark-iotdb-1.0`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：

```sh
> ./benchmark.sh
Expand Down Expand Up @@ -855,7 +854,7 @@ BIG_BATCH_SIZE=100
### 6.7.2. Benchmark的启动

您进入到`iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：
您进入到`iot-benchmark/iotdb-1.0/target/iot-benchmark-iotdb-1.0`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：

```sh
> ./benchmark.sh
Expand Down Expand Up @@ -921,7 +920,7 @@ SENSORS=[s_0, s_1, s_2, s_3, s_4, s_5, s_6, s_7, s_8, s_9]

## 6.8. 正确性写入模式（单数据库，外部数据集）

为了验证数据集写入的正确性，您可以使用该模式写入生成数据模式中生成的数据集，目前该模式仅支持IoTDB v0.13 及更新的版本和InfluxDB v1.x
为了验证数据集写入的正确性，您可以使用该模式写入生成数据模式中生成的数据集，目前该模式仅支持IoTDB v1.0 及更新的版本和InfluxDB v1.x

### 6.8.1. Benchmark的配置

Expand Down Expand Up @@ -962,7 +961,7 @@ IS_COPY_MODE=true

在启动测试之前，您需要在本机的6667端口启动IoTDB服务。

之后您进入到`iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：
之后您进入到`iot-benchmark/iotdb-1.0/target/iot-benchmark-iotdb-1.0`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：

```sh
> ./benchmark.sh
Expand Down Expand Up @@ -991,7 +990,7 @@ BENCHMARK_WORK_MODE=verificationWriteMode
########### Database Connection Information ###########
DOUBLE_WRITE=false
DBConfig=
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=[127.0.0.1]
########### Data Mode ###########
GROUP_NUMBER=10
Expand Down Expand Up @@ -1035,7 +1034,7 @@ INGESTION 0.52 0.02 0.02 0.03 0.03

在运行这个模式之前需要先使用正确性写入模式写入数据到数据库。

为了验证数据集写入的正确性，您可以使用该模式查询写入到数据库中的数据集，目前该模式仅支持IoTDB v0.13 和 InfluxDB v1.x
为了验证数据集写入的正确性，您可以使用该模式查询写入到数据库中的数据集，目前该模式仅支持IoTDB v1.0 和 InfluxDB v1.x

### 6.9.1. Benchmark的配置

Expand All @@ -1057,7 +1056,7 @@ BIG_BATCH_SIZE=100

在启动测试之前，您需要在本机的6667端口启动IoTDB服务。

之后您进入到`iot-benchmark/iotdb-0.13/target/iot-benchmark-iotdb-0.13`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：
之后您进入到`iot-benchmark/iotdb-1.0/target/iot-benchmark-iotdb-1.0`中运行如下命令来启动Benchmark(目前仅Unix/OS X系统中执行如下脚本)：

```sh
> ./benchmark.sh
Expand Down Expand Up @@ -1085,7 +1084,7 @@ BENCHMARK_WORK_MODE=verificationQueryMode
########### Database Connection Information ###########
DOUBLE_WRITE=false
DBConfig=
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=[127.0.0.1]
########### Data Mode ###########
GROUP_NUMBER=10
Expand Down Expand Up @@ -1130,7 +1129,7 @@ VERIFICATION_QUERY 14.48 0.96 11.40 12.67 14.43
为了更方便、快速完成正确性验证，iot-benchmark也支持双数据库模式。

1. 对于上文中提到的所有测试场景，除特别说明，均支持双数据库进行。请在`verification`项目中**启动测试**。
2. 对于下文中的正确性验证的相关测试场景，均必须在双数据库模式下运行，并且目前仅支持IoTDB v0.13 及更新的版本和timescaledb。
2. 对于下文中的正确性验证的相关测试场景，均必须在双数据库模式下运行，并且目前仅支持IoTDB v1.0 及更新的版本和timescaledb。

为了完成双数据库配置，您需要对`config.properties`完成如下修改：

Expand Down Expand Up @@ -1170,7 +1169,7 @@ IS_POINT_COMPARISON=false

```
BENCHMARK_WORK_MODE=testWithDefaultPath
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=127.0.0.1
PORT=6667
OPERATION_PROPORTION=1:0:0:0:0:0:0:0:0:0:0
Expand Down Expand Up @@ -1216,7 +1215,7 @@ BENCHMARK_WORK_MODE=testWithDefaultPath
########### Database Connection Information ###########
DOUBLE_WRITE=true
DBConfig=
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=[127.0.0.1]
ANOTHER DBConfig=
DB_SWITCH=TimescaleDB
Expand Down Expand Up @@ -1300,7 +1299,7 @@ IS_POINT_COMPARISON=true

```
BENCHMARK_WORK_MODE=testWithDefaultPath
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=127.0.0.1
PORT=6667
OPERATION_PROPORTION=1:0:0:0:0:0:0:0:0:0:0
Expand Down Expand Up @@ -1346,7 +1345,7 @@ BENCHMARK_WORK_MODE=testWithDefaultPath
########### Database Connection Information ###########
DOUBLE_WRITE=true
DBConfig=
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=[127.0.0.1]
ANOTHER DBConfig=
DB_SWITCH=TimescaleDB
Expand Down Expand Up @@ -1414,7 +1413,7 @@ IS_COMPARISON=true

```
BENCHMARK_WORK_MODE=testWithDefaultPath
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=127.0.0.1
PORT=6667
OPERATION_PROPORTION=0:1:1:1:1:1:1:1:1:1:1
Expand Down Expand Up @@ -1459,7 +1458,7 @@ BENCHMARK_WORK_MODE=testWithDefaultPath
########### Database Connection Information ###########
DOUBLE_WRITE=true
DBConfig=
DB_SWITCH=IoTDB-013-SESSION_BY_TABLET
DB_SWITCH=IoTDB-100-SESSION_BY_TABLET
HOST=[127.0.0.1]
ANOTHER DBConfig=
DB_SWITCH=TimescaleDB
Expand Down Expand Up @@ -1561,7 +1560,7 @@ VALUE_RANGE_QUERY_DESC 1.61 0.14 0.30 0.43 0.72
[快速指引](./tdengine/README.md)

# 8. 正确性验证的进一步说明
1. 目前正确性验证部分仅支持IoTDB v0.13 及更新的版本和TimeScaleDB
1. 目前正确性验证部分仅支持IoTDB v1.0 及更新的版本和TimeScaleDB
2. [快速指引](verification/README.md)

# 9. 自动化脚本
Expand Down Expand Up @@ -1629,7 +1628,7 @@ LOOP=50 DEVICE_NUMBER=20 TEST
2. iot-benchmark的所有的数据库测试的实现均在各个maven子项目中。
3. 如果你想要使用IDEA等编辑器运行Benchmark：
1. 可以在每一个maven子项目下找到test文件目录下的TestEntrance，运行对应测试。
2. 以IoTDB 0.13为例，你可以运行`iotdb-0.13/src/main/test/cn/edu/tsinghua/iotdb/benchmark/TestEntrance`
2. 以IoTDB 1.0为例，你可以运行`iotdb-1.0/src/main/test/cn/edu/tsinghua/iotdb/benchmark/TestEntrance`

# 11. 相关文章
Benchmark Time Series Database with iot-benchmark for IoT Scenarios
Expand Down

0 comments on commit 27ee8c4

Please sign in to comment.