大数据

1. 首页
2. IT互联网
3. 大数据

物联网平台的消息处理架构：从Kafka到Flink的实时流计算工程复盘

物联网平台的消息处理架构：从Kafka到Flink的实时流计算工程复盘 物联网消息处理的本质是"分级"——不是所有消息都需要毫秒级处理，但最贵的那几条，晚一秒都不行。 一、消息的分级处理模型2023年我们重构了一个日处理80亿条设备消息的物联网平台。消息类型非常多样： 消息类型 延迟要求 丢失容忍 日均量 优先级 设备

大数据 2026年08月20日 150 点赞 0 评论 14731 浏览

Zookeeper - 临时节点的生命周期与核心特性详解

👋 大家好，欢迎来到我的技术博客！ 📚 在这里，我会分享学习笔记、实战经验与技术思考，力求用简单的方式讲清楚复杂的问题。 🎯 本文将围绕Zookeeper这个话题展开，希望能为你带来一些启发或实用的参考。 🌱 无论你是刚入门的新手，还是正在进阶的

大数据 2026年08月20日 159 点赞 0 评论 4257 浏览

Zookeeper - Java API 实现节点的创建与删除开发

👋 大家好，欢迎来到我的技术博客！ 📚 在这里，我会分享学习笔记、实战经验与技术思考，力求用简单的方式讲清楚复杂的问题。 🎯 本文将围绕Zookeeper这个话题展开，希望能为你带来一些启发或实用的参考。 🌱 无论你是刚入门的新手，还是正在进阶的

大数据 2026年08月18日 164 点赞 0 评论 14991 浏览

ZooKeeper 3.7.1三节点集群部署：myid、选举与同步测试

前言在本地学习ZooKeeper时，通常只需要启动一个服务端，再连接localhost:2181完成节点的创建和查询。这种方式适合熟悉命令，但单个进程停止后，整个协调服务就无法继续提供访问。ZooKeeper集群通常由奇数个节点组成。三节点集群允许其中一个节点暂时不可用，只要剩余节点仍能形成多数派，集群就可以继续

大数据 2026年08月18日 118 点赞 0 评论 17493 浏览

数据仓库的架构演进：从MySQL到ClickHouse到数据湖的工程化实践

数据仓库的架构演进：从MySQL到ClickHouse到数据湖的工程化实践一、数据仓库架构演进的必然性：数据增长的指数曲线初创公司的数据仓库通常从MySQL开始——一个电商订单表+用户表+商品表，几百MB到几GB的数据量，MySQL的单表查询在10-100ms内完成。但当数据规模突破1TB后，问题开始累积&#xf

大数据 2026年08月11日 50 点赞 0 评论 17525 浏览

RabbitMQ 消息顺序性保障：如何保证消息严格有序？

RabbitMQ 消息顺序性保障：如何保证消息严格有序？ 前言 一、RabbitMQ 为什么会出现消息乱序？ 二、RabbitMQ 保证消息顺序的核心思路 三、实现消息顺序性的 3 种方案（生产可用） 方案1：全局严格顺序 —— 单队列 + 单消费者 + 单线程（最

大数据 2026年08月10日 79 点赞 0 评论 3629 浏览

RabbitMQ实战：RabbitMQ与Kafka深度对比——架构、性能、场景、选型全解析

RabbitMQ实战：RabbitMQ与Kafka深度对比——架构、性能、场景、选型全解析 一、前言 二、基础认知：RabbitMQ与Kafka核心定义 2.1 RabbitMQ 2.2 Kafka 三、RabbitMQ与Kafka架构流程图对比 3.1 RabbitMQ 核心架构流程图 3.2 Kafka 核心架构流程图 四、Ra

大数据 2026年08月02日 175 点赞 0 评论 18378 浏览

消息队列选型实战：RabbitMQ、Kafka 与 Redis Streams 的工程权衡

消息队列选型实战：RabbitMQ、Kafka 与 Redis Streams 的工程权衡一、消息队列的选择不是「哪个性能最高」，而是「哪个最适合你的消息模式、交付语义和运维能力」消息队列（Message Queue）是现代分布式系统里最常用的解耦组件。生产者把消息发给队列，消费者从队列里取消息处理，生产者和消费者

大数据 2026年07月28日 157 点赞 0 评论 13992 浏览

超越放射科医生：详解 REDMOD 框架在胰腺癌“亚视觉”阶段的早期检测实现

REDMOD（Radiomics-based Early Detection MODel）框架是胰腺癌早期筛查领域的一项突破性进展。它通过捕捉那些“肉眼不可见”的微细病理信号，显著提升了临床诊断的时间窗。以下是对该框架的深度解读： 1. 什么是“亚视觉（Subvisual）”影像特征？所谓的“亚视觉”

大数据 2026年07月26日 43 点赞 0 评论 6406 浏览

Kafka 消息重试设计：别让失败消息原地打转

Kafka 消息重试设计：别让失败消息原地打转一、重试不是直接再消费一次Kafka 常用于微服务解耦。消费失败时，很多代码会直接抛异常，让消息再次被消费。这样简单，但如果下游一直不可用或消息本身有问题，就会原地打转，阻塞后续消息，甚至形成重试风暴。消息重试要区分临时失败和永久失败。二、先拆失败类型fl

大数据 2026年07月26日 53 点赞 0 评论 10454 浏览