大数据

1. 首页
2. IT互联网
3. 大数据

SpringBoot消息队列集成：RabbitMQ、Kafka使用源码级分析(17)

SpringBoot消息队列集成：RabbitMQ、Kafka使用源码级分析 一、消息队列基础概念 1.1 消息队列的定义与作用消息队列（Message Queue）是一种在不同组件或应用之间传递消息的中间件技术。它基于"生产者-消费者"模式，允许应用程序通过发送和接收消息来进行异步通信。消息队列的主要作用包括&#xff1a

大数据 2025年07月28日 93 点赞 0 评论 6621 浏览

The History of Big Data

数据洪流悄然重塑世界的进程中，大数据的历史是技术迭代与需求驱动的交响。从 2003 年分布式系统雏形初现，到 Hadoop 掀起开源浪潮，再到 Spark、容器化技术与深度学习的接力革新，以及 Hadoop 生态的兴衰起落，大数据发展史如同一部技术进化史诗。本文将循着 2003 至 2023 年的时间脉络，解码这场

大数据 2025年07月28日 122 点赞 0 评论 16160 浏览

学习秒杀系统-异步下单（包含RabbitMQ基础知识）

文章目录 前言 预备知识：RabbitMQ定义及常用组件概念 基础概念 常用组件 工作模式 2.1 简单模式 (Simple Mode) 2.2 工作队列模式 (Work Queues Mode) 2.1，2.2的代码实现： 2.3 发布/订阅模式 (Publish/Subscribe Mode) 2.3代码实现 2.4 路由模式 (Rou

大数据 2025年07月28日 197 点赞 0 评论 3767 浏览

大数据（7.4）Kafka存算分离架构深度实践：解锁对象存储的无限潜能

目录 一、传统架构的存储困境与破局 1.1 数据爆炸时代的存储挑战 1.2 存算分离的核心价值矩阵 二、对象存储集成架构设计 2.1 分层存储核心组件 2.2 关键配置参数优化 三、深度集成实践方案 3.1 冷热数据分层策略 3.1.1 存储策略性能对比 3.2 跨云数据湖方案 四、企业级应用案例 4.1 金融交易审计系

大数据 2025年07月28日 140 点赞 0 评论 13545 浏览

Hive SQL 快速入门指南

在大数据蓬勃发展的当下，处理海量数据成为企业面临的关键挑战。Hive SQL 作为一款强大的工具，为我们打开了高效处理大数据的大门。接下来，让我们一起踏上 Hive SQL 的入门之旅。​一、Hive SQL 是什么​Hive 是基于 Hadoop 的数据仓库工具，它允许我们使用类似 SQL 的语法来查询和分析存储在 Hadoop 分布式文件

大数据 2025年07月28日 129 点赞 0 评论 14260 浏览

详解RabbitMQ高级特性之死信队列

目录死信队列添加配置常量类声明队列和交换机并绑定二者关系死信--消息过期给队列设置TTL编写生产消息代码编写消费消息代码观察现象死信--消息超过队列最大长度设置队列的最大长度编写生产消息代码编写消费消息代码观察现象死信--消息被拒绝编写生产消息代码编写消费消息代码观察现象面试题死信队列死信(dead message) 简单理解就是因为种种原因, ⽆法被消费的信息, 就是死信. 有死信, ⾃然就有死

大数据 2025年07月28日 162 点赞 0 评论 1748 浏览

大数据Hadoop之——安装部署hadoop

目录 前期准备一、JDK的安装1、安装jdk2、配置Java环境变量  3、加载环境变量4、进行校验二、hadoop的环境搭建1、hadoop的下载安装 2、配置文件设置2.1. 配置 hadoop-env.sh2.2. 配置 core-site.xml2.3. 配置 hdfs-site.xml2.4. 配置 yarn-site.xml2.5. 配置 mapred-site.xml 3、Hdfs格

大数据 2025年07月28日 89 点赞 0 评论 16270 浏览

Hadoop3.3.5伪分布式集群搭建（Ubuntu系统）

环境准备 系统要求：Ubuntu 20.04/22.04 LTS 软件版本： Hadoop 3.3.5 JDK 8 硬件要求：至少4GB内存，20GB磁盘空间 详细步骤1.安装Vim编辑器后续需要更改一些配置文件，我比较喜欢用的是 vim（vi增强版，基本用法相同&#xf

大数据 2025年07月28日 158 点赞 0 评论 9173 浏览

【kafka系列】消费者重平衡 Rebalance

目录流程1. 消费者组重平衡（Rebalance）的流程逻辑分析阶段一：触发重平衡阶段二：消费者组协调阶段三：重平衡完成关键设计思想2. Mermaid 流程代码关键点总结重平衡的影响1. 重平衡期间的消费行为2. 重平衡对业务的影响3. 优化建议总结 触发条件：新消费者加入、消费者宕机、订阅Topic分区

大数据 2025年07月28日 87 点赞 0 评论 18831 浏览

Kafka

1. Kafka启动方式我下载的是kafka_2.13-3.9.1版本，官网下载 1.1. 自带的zookeeper（也可独立安装）# 先确认在 kafka 目录下 cd /path/to/kafka_2.13-3.9.1 # 后台启动zookeeper nohup bin/zookeeper-server-start.sh config/zookeep

大数据 2025年07月28日 100 点赞 0 评论 11640 浏览