一文说清楚Hive中常用的聚合函数[collect_list] collect_list(col)是Hive中常用的聚合函数,用于将分组内的某列值(col)收集到一个数组中。它的核心作用是将多行数据合并为单行的数组结构,常用于数据重组或复杂分析场景。以下是详细说明和示例: 一、函数特点 分组聚合:需配合GROUP BY使用,将每个分组内的col值收集为数组。 大数据 2025年08月16日 176 点赞 0 评论 6800 浏览
RabbitMQ之监听和@RabbitListener解析 为什么生产者需要创建RabbitTemplate这么一个Bean才能发送消息,而监听却只需要加一个@RabbitListener注解即可 首先,我们需要回顾在不使用SpringBoot时是怎样使用rabbitmq发送和接受消息的 生产者实现: public void testSendMessage() throws IO 大数据 2025年07月14日 192 点赞 0 评论 6777 浏览
PyFlink DataStream 程序骨架、常用 Source/Sink、状态(State)、与 Table/SQL 互转一篇搞定 1. PyFlink DataStream 作业的通用结构一个标准的 DataStream 作业,通常有 5 步:1)创建 StreamExecutionEnvironment 2)创建 Source 得到初始 DataStream 3)编排 transformation(map/filter/key_by/re 大数据 2026年04月19日 81 点赞 0 评论 6772 浏览
Spark大数据分析与实战笔记(第六章 Kafka分布式发布订阅消息系统-03) 文章目录 每日一句正能量 第6章 Kafka分布式发布订阅消息系统 章节概要 6.3 Kafka 集群部署与测试 6.3.1 安装Kafka 6.3.2 启动Kafka服务 每日一句正能量 也许生活中偶有黯淡无光的时刻,但别忘了还有未实现的梦想,努力朝着自己的目标一点点前进。幸福就是每一个微小目标的达成。这些温暖明亮的小目标,一定 大数据 2026年02月08日 182 点赞 0 评论 6647 浏览
Flink 如何部署在没有Hadoop的机器上 引言本文主要介绍Flink on Yarn 模式下 ,Flink 需要不需要与Hadoop 部署在相同机器上?如果不需要,那推荐是部署在相同机器上还是部署在不同机器上? 结论写在前面在 Flink on YARN 模式下,Flink 不需要与 Hadoop 部署在同一台机器上,它其实只需要能够访问 Hadoop 集群的环境&# 大数据 2025年04月27日 92 点赞 0 评论 6577 浏览
Spring Boot 整合 RabbitMQ Spring Boot 整合 RabbitMQ 一、概述:RabbitMQ 是什么?你可以把 RabbitMQ 想象成一个「快递中转站」。 比如你在网上买了一本书,卖家(生产者)把包裹(消息)交给快递站(RabbitMQ),快递站根据包裹上的地址࿰ 大数据 2025年08月19日 37 点赞 0 评论 6560 浏览
【大数据技术-HBase-关于Hmaster、RegionServer、Region等组件功能和读写流程总结】 Hmaster的作用负责命名空间、表的创建和删除等一些DDL操作、region分配和负载均衡,并不参与数据读写,相比与其他大数据组件,如hdfs的namenode,在hbase中,Hmaster的作用是比较弱化的,即使挂掉,也暂时不影响现有表的读写。 RegionServer的作用一个机器上一个regionserver进程,主要负责管理多个region,接受客户端读写请求并交给region进行处 大数据 2025年05月20日 127 点赞 0 评论 6527 浏览
极客星闪 | 筑基:轻量级方案之 VS Code + HiSpark 插件开发环境搭建 TL;DR (核心摘要):本文档介绍在 Windows 下通过 VS Code 配合 HiSpark Studio 扩展插件搭建开发环境的完整流程。该方案具备轻量化、易操作的特点,涵盖从软件安装到源码编译、镜像烧录及串口监控的全过程。 1. 安装 VS Code1.1 准备工作与环境检查 VS Code 安装包下载: 大数据 2026年06月06日 139 点赞 0 评论 6422 浏览
超越放射科医生:详解 REDMOD 框架在胰腺癌“亚视觉”阶段的早期检测实现 REDMOD(Radiomics-based Early Detection MODel)框架是胰腺癌早期筛查领域的一项突破性进展。它通过捕捉那些“肉眼不可见”的微细病理信号,显著提升了临床诊断的时间窗。以下是对该框架的深度解读: 1. 什么是“亚视觉(Subvisual)”影像特征?所谓的“亚视觉” 大数据 2026年07月26日 43 点赞 0 评论 6406 浏览
RabbitMQ 工作模式使用案例之(发布订阅模式、路由模式、通配符模式) Hi~!这里是奋斗的明志,很荣幸您能阅读我的文章,诚请评论指点,欢迎欢迎 ~~ 🌱🌱个人主页:奋斗的明志 🌱🌱所属专栏:RabbitMQ 📚本系列文章为个人学习笔记,在这里撰写成文一为巩固知识, 大数据 2025年05月20日 180 点赞 0 评论 6380 浏览