大数据

Windows 下 Kafka 安装教程(保姆级)

一、准备工作✅ 1. 安装 Java JDK(Kafka 依赖 Java 运行环境)Kafka 是基于 Java 的,必须先安装 JDK。一般学到kafka的同学肯定已经安装好了JDK了,这一步我就不写了,具体可以参考其他文章。⚠️ 注意:Kafka 3.9.0 要求本地必须安装 JDK 17 或以上版本。JDK

Kafka 的 ACK 机制详解

1.ACK 机制的基本概念ACK(Acknowledgment)即确认机制,是 Kafka 生产者和 Broker 之间的一种消息确认约定。生产者在发送消息后,需要等待 Broker 端的确认信号,以此判断消息是否成功发送。这一机制主要是为了保证消息不会因为网络问题或 Broker 故障而丢失,确保数据的可靠性。

Flink学习笔记:整体架构

开一个新坑,系统性的学习下 Flink,计划从整体架构到核心概念再到调优方法,最后是相关源码的阅读。今天就来学习 Flink 整体架构,我们先看官网的架构图图中包含三部分,分别是 Client、JobManager 和 TaskManager。其中 Client 并不属于 Flink 集群,它主要用来把用户编写的程

浅谈大数据领域 HDFS 的数据分片策略

浅谈大数据领域 HDFS 的数据分片策略 关键词:HDFS、数据分片、大数据存储、分布式文件系统、数据块、副本策略、负载均衡 摘要:本文深入探讨了Hadoop分布式文件系统(HDFS)中的数据分片策略,这是大数据处理的基础核心概念。我们将从HDFS架构设计出发,详细分析其数据分片原理、分片大小选择策略、副本放置算法以及实际应用中的优化技巧。文章包含完整的理论分析、数学模型、Pytho

Java 大视界 -- Java 大数据在智能教育虚拟学习环境构建与用户体验优化中的应用(221)

       💖亲爱的朋友们,热烈欢迎来到 青云交的博客!能与诸位在此相逢,我倍感荣幸。在这飞速更迭的时代,我们都渴望一方心灵净土,而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识,也期待你毫无保留地分享独特见解,愿我们于此携手成长,共赴新程&#xff

VMWare上搭建大数据集群

文章目录 0. 更新情况说明 1. 采用软件较新版本 2. 准备三台虚拟机 3. 搭建Hadoop集群 3.1 在主节点上配置Hadoop 3.1.1 编辑映射文件 3.1.2 配置免密登录 3.1.3 配置JDK 3.1.4 配置Hadoop 3.2 从主节点分发到从节点 3.2.1 从master节点分发到slave1节点 3.2.2 从master节点分发到sl

【智能协同云图库】智能协同云图库第三弹:基于腾讯云 COS 对象存储—开发图片模块

图片模块 一、需求分析 在设计图库系统时,优先确保用户能够查看图片功能,而上传功能暂时仅限管理员使用,以保证系统的安全性和稳定性。基于这一原则,我们将优先实现以下功能,并按优先级排列如下: 图片上传与创建: 仅管理员可用,支持选择本地图片上传,并填写相关信息&

ubuntu安装kafka4.0

ubuntu安装kafka4.0 安装jdk17 安装kafka 启动kafka 设置开机自启 安装jdk17sudo apt install openjdk-17-jdk //验证安装 java -version 安装kafka下载kafka4.0cd /data/kafka //替换为自己的安装路径 sudo wget

Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理

摘要:本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。 Tips:点击「阅读原文」跳转阿里云实时计算 Flink~ Flink

Kafka单机版安装部署

目录 1.1、概述 1.2、系统环境 1.3、ZooKeeper的作用 1.4、部署流程 1.4.1、下载安装包 1.4.2、解压文件 1.4.3、创建日志目录 1.4.4、配置Kafka 1.4.5、启动Kafka服务 1.4.6、启动成功验证 1.5、创建Topic测试 1.6、消息生产与消费测试 1.6.1、启动生产者 1.6.2、启动消费者 1.1、概述