【蓝因子教育】长周期指标聚合计算场景 - 方案演进(蓝氧因子是什么)

今日霍州(www.jrhz.info)©️

当前场景的架构演进过程。首先,在 Flink + MQ 架构中,当前场景的消息类型为 Changelog。因为 MQ 并不支持传递 Changelog 类型数据,所以在指标计算之前,需要按照用户粒度 + 『直播间』粒度,使用 Last_Value 等聚合函数手动构建 Retract 消息,再根据『直播间』 ID 聚合,得到『直播间』的用户举报人数。在此过程中,Flink 链路会产生大量的 Keyed State,并且由于审核完成时间不固定,无法确定状态到底需存储多久,这导致 Flink 任务中的状态会线性膨胀,引发任务不稳定。

今日霍州(www.jrhz.info)©️

最终,团队采用 Doris 方案实现,将用户的举报明细直接写入 Doris 的明细表中,在查询服务层实现整体的计算逻辑。根据主播 ID 和『直播间』的开播 / 关播时间,点查 Doris 明细表,解决了 Flink + MQ 链路中的大状态问题。但是,为保障 Doris 集群的整体稳定性,对接口进行了限流,将限流阈值设置为 150 QPS。因此,当查询遇到高并发时,经常会触发限流,影响用户的查询体验。

特别声明:[【蓝因子教育】长周期指标聚合计算场景 - 方案演进(蓝氧因子是什么)] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

韩国尺度电影《姐姐》:情感与悬疑交织的震撼!值得收藏起来一看(韩国尺度电影 上流社会)

姐姐》最具冲击力的,并非以暴制暴的爽快宣泄,而是仁爱在复仇途中的灵魂挣扎。当仁爱擦拭妹妹照片时颤抖的指尖,当她在法庭上撕心裂肺喊出“我只想要一个公道”时,这些瞬间汇聚的并非复仇的快感,而是映照每个人良知的…

韩国尺度电影《<strong>姐姐</strong>》:情感与悬疑交织的震撼!值得收藏起来一看(韩国尺度电影 上流社会)

魅族23手机确认今年发布:手感更进一步,不再搭载白面板(魅族手机poweredby)

1 月 10 日消息,在今天下午的 2026 魅友新春会活动中,魅族方面宣布,2026 年将会发布魅族 23手机,但“有惊喜,也有遗憾”。 据悉,“惊喜”在于魅族 23 的手感将更进一步,并带来魅…

魅族23手机确认今年发布:手感更进一步,不再搭载白面板(魅族手机poweredby)

这4个显高『穿搭』公式,让你视觉增高10cm!(显高『穿搭』男生)

❌ 不显高:宽松的长款上衣完全遮盖了腰线,把身材变成了五五分。 ✅ 显高:利用同色系『穿搭』或利落的线条,打造纵向延伸感,视觉上自然就高了。😭 我们这代人,可能因为各种原因,在身高上留下了或多或少的遗憾,所…

这4个显高『穿搭』公式,让你视觉增高10cm!(显高『穿搭』男生)

向家再强,也难压『周星驰』,港娱圈独一无二,『周星驰』从没向圈子低头

每一部电影,都像在封闭空间里呼吸,镜头用横移和拉近带动情绪递进,让观众把压抑感传导到心里。现实里,他也把这种节奏用在生活里,不拉帮结派,一刀直走主线,这种一往无前和孤注一掷,值得所有电影人和观众好好琢磨。每个…

向家再强,也难压『周星驰』,港娱圈独一无二,『周星驰』从没向圈子低头

晚餐用红薯替代主食能减肥吗 搭配对了才有效附搭配方案(晚上用红薯当主食会发胖吗)

  红薯是生活中常见的粗粮,因其香甜软糯的口感受到不少人喜爱,也常被纳入减肥食谱。但很多人疑惑:晚餐吃红薯能减肥吗?其实,晚餐吃红薯是否能减肥,关键在于食用方式、食用量以及搭配。科学合理地将红薯作为晚餐的一部分,能辅助减肥;若食用不当,则可

晚餐用红薯替代主食能减肥吗 搭配对了才有效附搭配方案(晚上用红薯当主食会发胖吗)