[问题]如果Source是数据库，像MSSQL、MySql，怎么去处理数据的读取 #2
Comments
|
计算总销售金额或报表数据，是不是一个时间范围，如果有时间范围，直接设置WindowInterval是多长时间。如果没有时间范围一直累加，那么在WindowTask窗口任务增加累的变量，在addmetadata函数里，累加就行了。
…------------------ 原始邮件 ------------------
发件人: "Jack Feng"<notifications@github.com>;
发送时间: 2020年12月9日(星期三) 上午9:37
收件人: "wxzz/CSharpFlink"<CSharpFlink@noreply.github.com>;
抄送: "Subscribed"<subscribed@noreply.github.com>;
主题: [wxzz/CSharpFlink] [问题]如果Source是数据库，像MSSQL、MySql，怎么去处理数据的读取 (#2)
如果Source是数据库，像MSSQL、MySql，怎么去处理数据的读取，让CSharpFlink持续的去处理业务数据，并能保证业务数据不被重复处理呢？
常用的场景：
1.计算总销售金额；
2.计算报表数据
是否能提供一下思路或CSharpFlink最佳实践
谢谢。
—
You are receiving this because you are subscribed to this thread.
Reply to this email directly, view it on GitHub, or unsubscribe.
|
|
明白，有一个难点在于，我怎么去订阅数据？因为不能去重复处理数据，所以我要知道我处理在哪个位置，然后从这个位置开始拉取数据继续处理。 我看 有没有更好的方式？ 其实核心问题就是，怎么流式的去处理数据，不依赖过多的中间件 |
|
传输数据主要以你们的方案为准，现在可以接收kf的数据，如果是其他数据源，你们自己按kf的示例开发就行了。如果是窗口计算的话，已经按时间和ID对重复数据进行了过滤，如下代码：
…------------------ 原始邮件 ------------------
发件人: "Jack Feng"<notifications@github.com>;
发送时间: 2020年12月9日(星期三) 上午10:02
收件人: "wxzz/CSharpFlink"<CSharpFlink@noreply.github.com>;
抄送: "唯笑志在"<504547114@qq.com>; "Comment"<comment@noreply.github.com>;
主题: Re: [wxzz/CSharpFlink] [问题]如果Source是数据库，像MSSQL、MySql，怎么去处理数据的读取 (#2)
明白，有一个难点在于，我怎么去订阅数据？因为不能去重复处理数据，所以我要知道我处理在哪个位置，然后从这个位置开始拉取数据继续处理。
我看flink方案，好像是把数据同步到Kafka中，然后flink订阅Kafka进行处理。
有没有更好的方式？
—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub, or unsubscribe.
|
|
没有看到相关代码 |
重复数据的处理在WindowsTask的AddMetaData中。 |
|
ok |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
如果Source是数据库，像MSSQL、MySql，怎么去处理数据的读取，让
CSharpFlink持续的去处理业务数据，并能保证业务数据不被重复处理呢？常用的场景：
1.计算总销售金额；
2.计算报表数据
是否能提供一下思路或
CSharpFlink最佳实践谢谢。
The text was updated successfully, but these errors were encountered: