-
Notifications
You must be signed in to change notification settings - Fork 1
/
application.properties
72 lines (64 loc) · 3.33 KB
/
application.properties
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
debezium.sink.type=iceberg
debezium.format.value.schemas.enable=true
####################################################################################
# postgresql source config:
####################################################################################
debezium.source.connector.class=io.debezium.connector.postgresql.PostgresConnector
debezium.source.offset.storage.file.filename=data/offsets.dat
debezium.source.offset.flush.interval.ms=0
debezium.source.database.hostname=127.0.0.1
debezium.source.database.port=5432
debezium.source.database.user=datagen
debezium.source.database.password=supersecret1
debezium.source.database.dbname=datagen
debezium.source.database.server.name=localhost
debezium.source.schema.include.list=datagen
debezium.source.plugin.name=pgoutput
# below is new as of 3.15.2024
debezium.source.topic.prefix=dbz_
####################################################################################
# Iceberg sink config:
####################################################################################
debezium.sink.iceberg.warehouse=s3://iceberg-data
debezium.sink.iceberg.catalog-name=icecatalog
debezium.sink.iceberg.table-namespace=icecatalog
#debezium.sink.iceberg.table-prefix=cdc_
# above was the orig. below is new on 3.15.2024
debezium.sink.iceberg.table-prefix=debeziumcdc_
debezium.sink.iceberg.write.format.default=parquet
debezium.sink.iceberg.upsert=true
debezium.sink.iceberg.upsert-keep-deletes=true
debezium.sink.iceberg.table.auto-create=true
debezium.sink.iceberg.name=icecatalog
debezium.sink.iceberg.catalog-impl=org.apache.iceberg.jdbc.JdbcCatalog
debezium.sink.iceberg.uri=jdbc:postgresql://127.0.0.1:5432/icecatalog
debezium.sink.iceberg.jdbc.user=icecatalog
debezium.sink.iceberg.jdbc.password=supersecret1
####################################################################################
# S3 config to a local minio instance
####################################################################################
debezium.sink.iceberg.fs.defaultFS=s3://iceberg-data/icecatalog
debezium.sink.iceberg.io-impl=org.apache.iceberg.aws.s3.S3FileIO
debezium.sink.iceberg.com.amazonaws.services.s3a.enableV4=true
debezium.sink.iceberg.s3.endpoint=http://127.0.0.1:9000
debezium.sink.iceberg.s3.path-style-access=true
debezium.sink.iceberg.s3.access-key-id=<your S3 access-key>
debezium.sink.iceberg.s3.secret-access-key=<your s3 secret-key>
####################################################################################
# do event flattening. unwrap message!
####################################################################################
debezium.transforms=unwrap
debezium.transforms.unwrap.type=io.debezium.transforms.ExtractNewRecordState
debezium.transforms.unwrap.add.fields=op,table,source.ts_ms,db
debezium.transforms.unwrap.delete.handling.mode=rewrite
debezium.transforms.unwrap.drop.tombstones=true
####################################################################################
# ############ SET LOG LEVELS ############
####################################################################################
quarkus.log.level=INFO
quarkus.log.console.json=false
# hadoop, parquet
quarkus.log.category."org.apache.hadoop".level=WARN
quarkus.log.category."org.apache.parquet".level=WARN
# Ignore messages below warning level from Jetty, because it's a bit verbose
quarkus.log.category."org.eclipse.jetty".level=WARN