大数据

1. 首页
2. IT互联网
3. 大数据

Flink【基础知识 01】简介+核心架构+分层API+集群架构+应用场景+特点优势（一篇即可大概了解Flink）

目前比较流行的大数据混合处理引擎 Spark【基于内存】，基本上已经取代了Hadoop 的 MapReduce 【基于IO】成为当前大数据处理的标准。Spark-Streaming 的流计算本质上还是批（微批）计算，Flink 是近年来在开源社区不断发展的技术中的能够同时支持高吞吐、低延迟、高性能的纯实时的分布式处理框架【Flink的开窗函数

大数据 2026年01月12日 49 点赞 0 评论 5470 浏览

spring配置并使用rabbitmq

本篇博客默认你已经成功安装了rabbitmq。如未安装，可参照官网#xff0c;选择对应平台进行安装 一、虚拟主机 虚拟主机的概念： 虚拟主机不是指vm虚拟机，而是指一个通过逻辑进行资源隔离和分区的机制，类似于一个独立的“逻辑服务器”，通过虚拟主机&

大数据 2025年07月27日 107 点赞 0 评论 5476 浏览

【Java 开发日记】RabbitMQ 里面的交换机是什么，你用过哪种？

目录交换机是什么？我用过的交换机类型（及详细介绍）① 直连交换机② 扇出交换机③ 主题交换机④ 头交换机总结与对比交换机是什么？在 RabbitMQ 中，交换机 是消息路由机制的核心。你可以把它想象成一个邮局分拣员。 生产者 发送消息时，它不是直接把消息放到队列里，而是发送到 交换机。 然后&#

大数据 2025年12月10日 143 点赞 0 评论 5485 浏览

六种主流ETL工具的比较与Kettle的实践练习指南--MySQL、hive、hdfs等之间的数据迁移

        在数据集成和数据仓库建设中，ETL（Extract, Transform, Load）工具扮演着至关重要的角色。本文将对六种主流ETL工具进行比较，并深入探讨Kettle的实践应用。一、六种主流ETL工具比较1. DataPipeline 设计及架构：专为超大数据量、高度复杂的数据链路设计的灵活、可扩展的数据交

大数据 2025年04月27日 52 点赞 0 评论 5495 浏览

默契之舞 之 生产者消费者模式（RabbitMQ）

Hi~！这里是奋斗的明志，很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~~ 🌱🌱个人主页：奋斗的明志 🌱🌱所属专栏：RabbitMQ 📚本系列文章为个人学习笔记，在这里撰写成文一为巩固知识，

大数据 2026年03月14日 180 点赞 0 评论 5526 浏览

Zookeeper 概述

Zookeeper 概述 Zookeeper 概述与使用指南 什么是Zookeeper？ Zookeeper的主要作用 使用Zookeeper的框架 典型使用场景 1. 配置管理 2. 分布式锁 3. 服务注册与发现 Zookeeper的缺陷 与其他协调服务的比较 实际案例：Kafka使用Zookeeper 最佳实践 Zoo

大数据 2025年07月06日 150 点赞 0 评论 5574 浏览

【西瓜带你学Kafka | 第六期】Kafka 生产确认、消费 API 与分区分配策略（文含图解）

文章目录 前言 一、Kafka 的 ACK 机制 acks = 0：最快但最不可靠 acks = 1：Kafka 默认设置 acks = -1（或 all）：最可靠但最慢 三种 ACK 对比 二、Kafka 提供的 API 有哪些 Sample API（底层 AP

大数据 2026年05月21日 74 点赞 0 评论 5592 浏览

大数据领域分布式存储的语言数据存储与处理

大数据领域分布式存储的语言数据存储与处理 关键词：大数据、分布式存储、语言数据处理、Hadoop、Spark、NoSQL、数据分片 摘要：本文深入探讨了大数据领域中语言数据的分布式存储与处理技术。我们将从基础概念出发，分析分布式存储系统的架构原理，详细讲解语言数据处理的特殊挑战和解决方案，并通过实际代码示例展示如何高效地存储和处理大规模语言数据。文章还将介绍当前主流的技术框架和工具，

大数据 2026年03月03日 195 点赞 0 评论 5593 浏览

宽依赖的代价：Spark 与 MapReduce Shuffle 的数据重分布对比

MapReduce与Spark Shuffle过程对比：大数据处理中的洗牌机制分析 🌟 你好，我是 励志成为糕手 ！ 🌌 在代码的宇宙中，我是那个追逐优雅与性能的星际旅人。 ✨ 每一行代码都是我种下的星光，在逻辑的土壤里生长成璀璨的银河； 🛠️ 每一个算法都是我

大数据 2025年10月20日 196 点赞 0 评论 5594 浏览

不止于存储，更是智能管道：Apache IoTDB 融合 IoT 与大数据生态

文章目录 一、时代背景：为什么时序数据库是大数据与 IoT 的必选项 二、选型要从场景出发：我们关心什么？ 1. 写入吞吐能力 2. 查询与分析效率 3. 数据存储压缩率 4. Schema 灵活性与建模便利度 5. 分布式与高可用能力 6. 与大数据生态的集成度 7. 边缘计算支持 三、Apache IoTDB：为

大数据 2026年01月12日 189 点赞 0 评论 5647 浏览