Doris 2.1 动态分区与自动分区同时使用时，分区名称不一致的问题

[heichong]

doris版本：2.1

drop table if exists dw_ods.test ;
create table if not exists dw_ods.test
(
    dd_date date not null comment '日期'
)
duplicate key(dd_date)
comment 'test'
auto partition by range date_trunc(dd_date, 'day')()
distributed by hash(dd_date) BUCKETS 1
properties
(
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "day",
    "dynamic_partition.start" = "-60",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "1",
    "replication_num" = "3"
);

分区情况如下：

再插入一条历史数据：

insert into dw_ods.test values('2022-01-03')

分区情况如下：

可以看到自动分区创建的名称，与动态分区创建的名称不一致。

期望：
动态分区与自动分区同时使用时，分区名称一致，有什么办法支持吗？

[yagagagaga]

The community will fix this issue, and you can follow it on #32319

[heichong]

thanks

[heichong]

@yagagagaga

使用 auto partition by list ，分区名也和期望的不一致，这也是同样的问题吗？有办法自己控制分区名的格式吗？

drop table if exists dw_ods.test ;
create table if not exists dw_ods.test
(
    dy int not null comment '年份'
)
duplicate key(dy)
comment 'test'
auto partition by list(dy)()
distributed by hash(dy) buckets 1
properties
(
    "replication_num" = "3"
);

插入数据：

INSERT INTO dw_ods.test (dy) 
VALUES(2022);

查看分区

期望的分区名：p2022

[yagagagaga]

目前没办法，这个也会修复的

[cjj2010]

这个问题近期我会继续修复

[cjj2010]

The community will fix this issue, and you can follow it on #32319

我已经为它提交pr on #33458

[cjj2010]

目前没办法，这个也会修复的

I have checked the source code and found that the current fixed partition format is s+s.length. If you need to support custom partitions, you need to confirm a solution. What should I do？

[heichong]

@cjj2010
我有一个想法，不知是否好实现。
在properties增加一个属性，如：auto_partition_name_format = "p{0}_xxx"
其中{0}代表分区的第一个参数，这样就可以让用户自定义自动分区的名称

[heichong]

自动计算分区名称代码

不是太确定，自动分区list partition name计算逻辑是否如上所示，
如果是的话，按我上述的想法，上述代码是否可以做如下类似改动：

//                partitionName += getFormatPartitionValue(value);
                TableProperty tableProperty = olapTable.getTableProperty();
                if(partitionInfo.enableAutomaticPartition()
                    && tableProperty != null && tableProperty.getProperties().containsKey("auto_partition_list_format")){
                    String autoPartitionFormat = tableProperty.getProperties().get("auto_partition_list_format");
                    partitionName = MessageFormat.format(autoPartitionFormat, curPartitionValues.toArray());
                }else{
                    // Concatenate each string with '_'. X means null
                    String value = curPartitionValues.stream()
                        .map(s -> (s == null) ? "X" : s )
                        .reduce("", (s1, s2) -> s1 + "_" + s2);
                    partitionName += getFormatPartitionValue(value);
                }

这样，如果用户设置了format property，就完全按照用户格式生成partition name

[zclllyybb]

目前这个功能无法实现，因为分区名实际上牵扯到了很多东西，如果容许custom格式，则在特定数据下有冲突的风险。不过我们会提供一个功能针对对应数据计算分区名，会缓解一部分BI场景下的使用困难#34130

[heichong]

好的，感谢！