【趣码乐园教育】生产逻辑

以滑窗统计为例,具体讲解下生产逻辑:

根据时间轴按照指定的粒度切分不同的分片

收到新的数据上报,根据 eventTime 合并到对应分片

根据配置的窗口大小,取出对应分片合并计算特征结果,同时注册下一次触发的定时器(分片滑出窗口的时间)

定时器触发按照 triggerTime 扫描出在窗口大小内的分片数据,进行合并计算

窗口的滑入滑出均以分片为单位,因为分片为特征的最小精度

今日霍州(www.jrhz.info)©️

混合状态存储架构

在实时特征生产场景中,Flink 任务常常需要处理大规模状态数据。生产环境中可能会遇到两个主要问题:

当状态数据量达到 TB 级别时,在保证数据不丢失、不重复的语义下,一旦发生故障需要恢复,恢复速度会很慢,导致业务中断时间较长,通常超过 10 分钟

目前 Flink SQL 的状态恢复机制较为严苛,在很多场景下,作业变更无法从原先状态恢复,对于新增特征的需求,希望能够在状态上直接进行更新,实现无损重启。

为了解决这些问题,框架实现了状态的冷热数据分离,热数据在 FlinkState 内,冷数据 (包含热数据) 存储在外部存储 (Redis,HBase)。

在任务执行过程中,会优先从 FlinkState 中读取数据。如果 FlinkState 中没有找到所需的数据,则会从外部存储系统中加载。每次执行 checkpoint 操作时,会将状态的变更部分同步到外部存储中,以此确保数据的一致性。这样的设计既保证了数据的高可用性,也提高了系统的容错能力。

今日霍州(www.jrhz.info)©️

任务恢复时,不再将全量数据同步拉取、同步加载。而是同步加载热数据,运行时按需查询冷数据。热数据加载完毕后,整个任务即可开始运行。

今日霍州(www.jrhz.info)©️

若要在现有状态中添加新特征,可以采用旁路离线任务的方式,将新特征作为额外的一列写入外部存储。一旦数据同步完成,只需对现有的任务逻辑进行相应的修改,即可实现新特征的无缝集成。

今日霍州(www.jrhz.info)©️

特别声明:[【趣码乐园教育】生产逻辑] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

头戴式耳机降噪!头戴式耳机真实使用分享,附常见的选购误区(头戴式耳机降噪效果好吗)

整体的机身做了减负,重量只有245克,耳罩还是有20度可以灵活旋转的空间,能很好地适配不同的脸型,贴合没有压迫感。 这个耳机戴着完全不夹头,有减压的头梁垫和可以适配不同头型大小的可调节的支臂,久戴也舒适,没…

头戴式耳机降噪!头戴式耳机真实使用分享,附常见的选购误区(头戴式耳机降噪效果好吗)

『章子怡』参加《百花迎春》!面部浮肿变化大,与『李雪健』坐在同一桌(『章子怡』出席活动视频)

有些网友开玩笑说,她的样子看上去像是嘴里正在嚼着东西,这一变化不禁让人联想到曾经的『陈妍希』,二者有几分相似之处。有网友还分享了『章子怡』在百花迎春活动中的就坐视频。『章子怡』能够与『李雪健』同桌,可见她在『娱乐圈』️,尤其是在文…

『章子怡』参加《<strong>百花迎春</strong>》!面部浮肿变化大,与『李雪健』坐在同一桌(『章子怡』出席活动视频)

爱迪生出的试题被曝光,爱因斯坦都看懵了,只需答对5道题便及格(爱迪生经过上千次的实验,终于成功了,这真是有志者)

这些题目涵盖了天文、地理、历史、文学等多个领域,要求应试者不仅有广泛的知识面,更要能够灵活运用这些知识。尤其是在爱迪生的时代,大家要依靠自己的记忆和思考,无法像今天一样通过搜索引擎轻松找到答案。通用电气公司在…

爱迪生出的试题被曝光,爱因斯坦都看懵了,只需答对5道题便及格(爱迪生经过上千次的实验,终于成功了,这真是有志者)

刘强东拿下中兴大单(刘强东拿下中兴是哪一年)

京东方面也明确表示,将全力发挥供应链、全渠道、技术等核心优势,助力中兴通讯稳步达成三年百亿销售目标,携手实现生态共赢。 在这套系统中,京东整合了物流、金融、AI技术及线下门店等全链路资源,为中兴通讯这类技术…

刘强东拿下中兴大单(刘强东拿下中兴是哪一年)

海带丝开袋即食香辣下饭菜凉拌包装零食好吃吗?2026年必吃零食品类趋势揭晓(海带丝开袋即食能放多久)

海带丝开袋即食是否能满足味蕾?2026年即食零食市场火热,海带丝凭借便捷美味成为新宠。本文详细分析选购要点、口味特点及营养成分,助您挑选最适合的产品。 随着现代快节奏生活的发展,方便快捷又能饱腹的零食逐渐受到人们的喜爱,其中海带丝开袋即食香

海带丝开袋即食香辣下饭菜凉拌包装零食好吃吗?2026年必吃零食品类趋势揭晓(海带丝开袋即食能放多久)