大数据

1. 首页
2. IT互联网
3. 大数据

一文搞懂Flink 的 Materialized Table：简化数据管道的利器

你好，我是 shengjk1，多年大厂经验，努力构建 通俗易懂的、好玩的编程语言教程。 欢迎关注！你会有如下收益： 了解大厂经验 拥有和大厂相匹配的技术等 希望看什么，评论或者私信告诉我！ 文章目录 一、背景 二、Materialized Table 优势 （一&#xff

大数据 2025年05月25日 110 点赞 0 评论 6411 浏览

Java 大视界 -- Java 大数据在智慧港口集装箱调度与物流效率提升中的应用创新（159）

       💖亲爱的朋友们，热烈欢迎来到 青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！💖一、欢迎加入【福利社群】点击快速加入1： 青云交技术圈福利社群（

大数据 2025年04月26日 136 点赞 0 评论 6408 浏览

一文说清楚Hive中常用的聚合函数[collect_list]

collect_list(col)是Hive中常用的聚合函数，用于将分组内的某列值（col）收集到一个数组中。它的核心作用是将多行数据合并为单行的数组结构，常用于数据重组或复杂分析场景。以下是详细说明和示例： 一、函数特点 分组聚合：需配合GROUP BY使用，将每个分组内的col值收集为数组。

大数据 2025年08月16日 176 点赞 0 评论 6314 浏览

大数据爬虫可视化分析：基于Python的豆瓣书籍可视化分析系统的设计与实现

这里写目录标题 大数据爬虫可视化分析：基于Python的豆瓣书籍可视化分析系统的设计与实现 一、项目概述 二、项目说明 三、研究意义 四、系统总体架构设计 技术架构 五、需求分析 六、系统设计 完整架构图 架构核心说明 七、系统总体框架设计图（分层 + 模块化架构） 框架设计说明

大数据 2025年12月10日 197 点赞 0 评论 6311 浏览

Spring Boot 整合 RabbitMQ

Spring Boot 整合 RabbitMQ 一、概述：RabbitMQ 是什么？你可以把 RabbitMQ 想象成一个「快递中转站」。 比如你在网上买了一本书，卖家（生产者）把包裹（消息）交给快递站（RabbitMQ），快递站根据包裹上的地址&#xff0

大数据 2025年08月19日 37 点赞 0 评论 6190 浏览

Flink 如何部署在没有Hadoop的机器上

引言本文主要介绍Flink on Yarn 模式下 ,Flink 需要不需要与Hadoop 部署在相同机器上？如果不需要，那推荐是部署在相同机器上还是部署在不同机器上？ 结论写在前面在 Flink on YARN 模式下，Flink 不需要与 Hadoop 部署在同一台机器上，它其实只需要能够访问 Hadoop 集群的环境&#

大数据 2025年04月27日 92 点赞 0 评论 6046 浏览

【大数据技术-HBase-关于Hmaster、RegionServer、Region等组件功能和读写流程总结】

Hmaster的作用负责命名空间、表的创建和删除等一些DDL操作、region分配和负载均衡，并不参与数据读写，相比与其他大数据组件，如hdfs的namenode，在hbase中，Hmaster的作用是比较弱化的，即使挂掉，也暂时不影响现有表的读写。 RegionServer的作用一个机器上一个regionserver进程，主要负责管理多个region，接受客户端读写请求并交给region进行处

大数据 2025年05月20日 127 点赞 0 评论 6011 浏览

SpringKafka错误处理：重试机制与死信队列

文章目录 引言 一、Spring Kafka错误处理基础 二、配置重试机制 三、死信队列实现 四、特定异常的处理策略 五、整合事务与错误处理 总结 引言在构建基于Kafka的消息系统时，错误处理是确保系统可靠性和稳定性的关键因素。即使设计再完善的系统，在运行过程中也不可避免地会遇到各种异常情况，如网络波动、服务不可用、数据格式错误

大数据 2025年05月21日 85 点赞 0 评论 5923 浏览

RabbitMQ 工作模式使用案例之（发布订阅模式、路由模式、通配符模式）

Hi~！这里是奋斗的明志，很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~~ 🌱🌱个人主页：奋斗的明志 🌱🌱所属专栏：RabbitMQ 📚本系列文章为个人学习笔记，在这里撰写成文一为巩固知识，

大数据 2025年05月20日 180 点赞 0 评论 5796 浏览

【RabbitMQ】工作模式介绍

目录 一、Simple（简单模式） 二、Work Queue （工作队列模式） 三、Publish/Subscribe（发布订阅模式） 3.1 交换机 3.2 发布订阅模式 四、Routing（路由模式） 五、Topics （通配符模式）

大数据 2025年12月13日 58 点赞 0 评论 5729 浏览