2025上海站(PPT合集)(2025上海站f1)

2025上海站(PPT合集)(2025上海站f1)

今天分享的是:2025上海站(PPT合集)

报告共计:123页

Flink Forward Asia 2025上海站:实时计算技术赋能多行业『数字化』转型

在『数字化』浪潮与AI技术深度融合的当下,实时数据处理能力成为企业竞争力的核心要素之一。8月16日,Flink Forward Asia 2025城市巡回上海站如期举行,来自阿里云、饿了么、滔搏、淘天集团等企业的技术专家,分享了Apache Flink及相关生态技术在AI融合、湖仓架构、业务实践等领域的最新探索,为各行业『数字化』转型提供了可落地的技术路径。

Flink+AI:实时数据处理开辟新场景

随着AI技术在各行业的渗透,“实时数据+AI”的融合需求日益迫切。阿里云智能高级技术专家、Apache Flink PMC成员宋辛童指出,Flink在实时AI领域已形成两大核心应用方向:实时AI数据分析与实时AI智能体。

在实时AI数据分析层面,Flink可支撑情感分析、智能推荐、实时知识更新(RAG)等场景。例如,通过Flink的AI函数直接对接大模型服务,能实现文本的实时分类打标与“温度感知”,还可将结构化与非结构化数据转化为向量数据,存入向量数据库实现毫秒级相似性搜索。这一能力已在头部车企的“客户之声(VOC)”项目中落地——该项目需处理高层战略、产品介绍、售后维修等多场景的语音与文字数据,传统人工抽检或NLP小模型方案存在并发低、泛化能力弱的问题。而基于Flink+阿里云百炼大模型+Kafka的架构,在1200个Kafka分区、100并发度的配置下,实现了240万条数据/小时的处理效率,远超百万条/小时的预期,同时通过优化参数控制了成本,标签生成准确度也显著提升。

实时AI智能体则聚焦“事件驱动”,覆盖直播分析、智能运维等场景。以直播分析为例,Flink可按5分钟窗口聚合弹幕数据,结合用户画像分析弹幕情绪的人群分布、讨论热点,甚至识别音画不同步等问题,为直播内容调整提供实时建议;在智能运维场景中,Flink能整合日志、节点状态、作业指标等数据,通过调用大模型诊断心跳超时、GC时间过长等故障,并给出调优建议,减少人工干预成本。宋辛童强调,Flink的实时性(秒级至亚秒级响应)、大规模分布式处理能力(每秒千万级吞吐)、成熟的容错机制,成为支撑这些场景的核心优势,而开源项目Flink Agents的推进(计划9月底发布首个MVP版本),将进一步降低AI智能体的开发门槛,吸引更多企业参与生态共建。

湖仓架构升级:从“数据孤岛”到“统一协同”

传统数据处理中,“数据孤岛”“流批分离”等问题长期困扰企业,而Lakehouse(湖仓一体)架构凭借“统一存储、开放生态、高效治理”的特性,成为破局关键。本次大会上,多位专家分享了湖仓架构的实践经验,其中Paimon作为核心技术载体,展现出强大的适配能力。

阿里云开源数据湖平台负责人、Apache Paimon PMC Chair李劲松介绍,从传统Hive离线数仓到Lakehouse的升级,核心在于解决“数据割裂”与“治理复杂”问题。Paimon REST Catalog通过统一元数据管理,支持结构化、非结构化、AI模型等多模态数据存储,同时优化了权限管控与性能——相比Hive Metastore的权限碎片化、高并发查询效率低等问题,Paimon REST Catalog实现了细粒度权限控制与审计,元数据查询速度提升显著,还能通过UUID路径设计避免跨系统数据冲突,支持异步延迟删除,为多引擎(Flink、Spark、StarRocks等)共享数据提供保障。

饿了么与滔搏的实践则让湖仓架构的价值更具象。饿了么大数据架构师王沛斌表示,饿了么实时数仓经历了从“烟囱式开发”(1.0)到“CDM资产复用”(2.0)的演进,最终选择基于Flink+Paimon构建Lakehouse架构(ALake)。以淘宝闪购业务为例,该业务日订单量最高突破8000万单,传统T+1时效无法满足实时库存监控、营销定价等需求。通过Flink实时处理订单数据,结合Paimon的流写流读能力,饿了么实现了1-5分钟的数据延迟,存储成本降低30%以上,查询性能提升40%,同时支撑了AB实验、商家生意参谋、实时决策大屏等核心场景,研发周期从“周级”缩短至“小时级”。

作为国内最大的运动零售运营商,滔搏则面临“设备老旧”“数据处理瓶颈”等零售行业典型痛点。滔搏数创中心负责人张君祥介绍,此前滔搏依赖Hadoop集群+Kudu、Impala等组件,存在硬件性能不足、组件社区热度低、维护成本高等问题。通过转型Flink+Paimon架构,滔搏实现了全渠道数据的实时整合——线上电商平台(天猫、得物等)与线下门店的交易、库存数据可秒级同步,支撑了“线上线下一盘货”“实时调货补货”“个性化会员营销”等场景。转型后,数仓任务整体效率提升20%以上,240个API接口、3994个计算任务的运维复杂度大幅降低,还通过向Paimon社区贡献源码,实现了从“技术使用者”到“生态共建者”的转变。

淘天Fluss创新:破解实时数仓痛点

在大促、高并发等场景中,实时数仓常面临数据消费冗余、探查困难、大状态运维复杂等问题。淘天集团大数据架构师王利雷分享了基于Apache Fluss(incubating)的解决方案,为这些痛点提供了新思路。

据介绍,淘天搜推AB实验分析平台(通天塔)需处理曝光、点击、成交等海量数据,传统架构中,MQ数据需整行消费(仅用30%列却消耗100%资源),State数据“黑盒不可查”,双流Join的大State运维(如24小时状态重置)耗时耗力,数据订正依赖下游去重,语义不明确。而Fluss通过三大核心能力解决这些问题:一是列存架构,基于Apache Arrow实现按需消费,仅传输所需列,IO消耗随读取列数减少等比下降;二是K-V表Merge引擎,支持首行优先、末行优先、自定义版本等更新方式,简化数据订正;三是Delta Join技术,将CDC流读与索引点查结合,替代传统双流Join的大State维护,State大小减少95%以上,CPU与内存资源消耗降低80%。

在2025年618大促中,淘天搜推基于Fluss的实时数仓经受住了考验:流量峰值达1000万级/秒,数据规模超PB级,平均延迟低于1秒,同时支撑了成交归因、多维即席分析、AB报表等核心场景。王利雷表示,未来淘天将进一步拓展Fluss的应用范围,探索多模态数据管道、实时特征工程等方向,推动“流批一体”从技术概念走向更广泛的业务落地。

落地工具:简化企业技术实践路径

为降低企业应用门槛,本次大会还介绍了Flink CDC与流批一体LakeHouse的标准化解决方案。传统数据集成需分别处理全量与增量数据,系统复杂且维护成本高;而Flink CDC技术可实现全量+增量数据的统一实时同步,无需额外合并操作。此外,结合阿里云数据湖构建(DLF)与Paimon,企业可快速搭建云原生LakeHouse——DLF提供统一元数据与权限管理,Paimon实现流批一体存储,配合Flink、Spark等计算引擎,打破数据孤岛,实现“一份数据,多端复用”。

当前,这些解决方案已支持在线部署,企业可通过阿里云平台快速体验,无需从零搭建架构。无论是『互联网』企业的高并发场景,还是零售、制造行业的实时业务需求,都能从中找到适配的技术路径。

从AI融合到湖仓实践,从技术创新到行业落地,Flink Forward Asia 2025上海站的分享展现了实时计算技术的“实用性”与“前瞻性”。在『数字化』转型加速的今天,Flink及相关生态技术正成为企业打通数据链路、释放AI价值、提升业务敏捷性的关键支撑,为各行业创造更高效、更智能的发展空间。

以下为报告节选内容

报告共计: 123页

中小未来圈,你需要的资料,我这里都有!

特别声明:[2025上海站(PPT合集)(2025上海站f1)] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

43岁『范冰冰』在豪宅内撸猫,穿居家服素颜很接地气,胖12斤仍美艳动人(『范冰冰』现装)

照片里的她穿着宽松的居家服 盘腿坐在沙发上 怀里抱着一只橘猫 素颜朝天却依然精致得让人移不开眼。 有人说她过气了 有人说她不如从前了 但我觉得一个女人能在43岁的年纪 在自己的豪宅里安静地撸猫 穿着最舒服…

43岁『范冰冰』在豪宅内撸猫,穿居家服素颜很接地气,胖12斤仍美艳动人(『范冰冰』现装)

为金靖放弃国企北漂3年,对方大红大紫她却无人问津,刘胜瑛恨吗(金靖什么来头)

就像喜剧剧本的经典结构,她们的人生在毕业那年迎来分岔路:刘胜瑛捧着国企铁饭碗时,金靖正在电视台的茶水间里复印文件。当金靖在《演员请就位》收获掌声时,刘胜瑛正在编剧会议上据理力争某个笑点设计——她们始终是彼此最…

为金靖放弃国企北漂3年,对方大红大紫她却无人问津,刘胜瑛恨吗(金靖什么来头)

ai文章人工智能洗稿(人工智能ai内容阅读)

最近,AI洗稿的问题让他十分头疼。 有一次,小李精心创作了一篇关于人工智能前沿应用的文章,数据却很不理想。这不仅让洗稿问题得到了妥善处理,还显著提升了小李自身的创作效率,使得他能够更快速地产出高质量的文章,…

ai文章人工智能洗稿(人工智能ai内容阅读)

500亿元的大市场,来了!与你有关 智慧养老『机器人』️加速落地(500亿元的大市场有哪些)

随着我国老龄化程度加深,养老服务供需矛盾日益突出,同时也为智慧养老带来了广阔的市场空间。如今,具备健康检测、理疗、陪伴等功能的养老『机器人』️越来越多地出现在各地的养老院里

500亿元的大市场,来了!与你有关 智慧养老『机器人』️加速落地(500亿元的大市场有哪些)

广告器材加工工厂实力排行:从材料到成品的全链路品控标杆_1(广告加工制作厂)

当广告不再只是画面传播,而是品牌科技的具象化表达,全链路品控能力已成为广告加工企业的生存底线。灵通展览系统公司凭借135项专利跻身全球行业前三的案例证明:未来属于将技术专利转化为品控标准的企业。 当…

广告器材加工工厂实力排行:从材料到成品的全链路品控标杆_1(广告加工制作厂)