大数据

大数据Hadoop之——安装部署hadoop

目录 前期准备一、JDK的安装1、安装jdk2、配置Java环境变量  3、加载环境变量4、进行校验二、hadoop的环境搭建1、hadoop的下载安装 2、配置文件设置2.1. 配置 hadoop-env.sh2.2. 配置 core-site.xml2.3. 配置 hdfs-site.xml2.4. 配置 yarn-site.xml2.5. 配置 mapred-site.xml 3、Hdfs格

Hadoop3.3.5伪分布式集群搭建(Ubuntu系统)

环境准备 系统要求:Ubuntu 20.04/22.04 LTS 软件版本: Hadoop 3.3.5 JDK 8 硬件要求:至少4GB内存,20GB磁盘空间 详细步骤1.安装Vim编辑器后续需要更改一些配置文件,我比较喜欢用的是 vim(vi增强版,基本用法相同&#xf

【kafka系列】消费者重平衡 Rebalance

目录流程1. 消费者组重平衡(Rebalance)的流程逻辑分析阶段一:触发重平衡阶段二:消费者组协调阶段三:重平衡完成关键设计思想2. Mermaid 流程代码关键点总结重平衡的影响1. 重平衡期间的消费行为2. 重平衡对业务的影响3. 优化建议总结 触发条件:新消费者加入、消费者宕机、订阅Topic分区

Kafka

1. Kafka启动方式我下载的是kafka_2.13-3.9.1版本,官网下载 1.1. 自带的zookeeper(也可独立安装)# 先确认在 kafka 目录下 cd /path/to/kafka_2.13-3.9.1 # 后台启动zookeeper nohup bin/zookeeper-server-start.sh config/zookeep

Java 大视界 -- Java 大数据机器学习模型在金融衍生品创新设计与风险评估中的应用(335)

Java 大视界 -- Java 大数据机器学习模型在金融衍生品创新设计与风险评估中的应用(335) 引言: 正文: 一、Java 构建的金融大数据融合平台 1.1 多源异构数据接入引擎 1.2 数据质量管控体系 二、Java 驱动的机器学习模型构建 2.1 衍生品定价模型&#xff0

时序数据库选型指南:为什么 Apache IoTDB 正在成为工业大数据的首选?

👨‍🎓博主简介   🏅CSDN博客专家   🏅云计算领域优质创作者   🏅华为云开发者社区专家博主   🏅阿里云开发者社区专家博主 💊交流社区:运维交流社区 欢迎大家的加入! 🐋 希望大家多多支持,我们一起进步&#xff

Java 大视界 -- Java 大数据机器学习模型在卫星通信信号干扰检测与智能抗干扰中的应用(323)

Java 大视界 -- Java 大数据机器学习模型在卫星通信信号干扰检测与智能抗干扰中的应用(323) 引言: 正文: 一、Java 驱动的卫星通信数据采集与预处理架构 1.1 多源异构数据实时采集层 1.2 信号预处理与特征提取框架 二、Java 构建卫星通信干扰检测机器学习模型 2

RabbitMQ消息查看全攻略:管理界面、命令行、监控与日志

RabbitMQ消息查看全攻略:管理界面、命令行、监控与日志在日常的开发和运维工作中,查看 RabbitMQ 中的消息是一项常见的需求。无论是调试问题、监控系统状态,还是进行性能分析,能够快速准确地查看消息内容都至关重要。今天,就让我们一起探索几种查看 RabbitMQ 消息的实用方法,帮助你更高效地管理和优化你的

spring配置并使用rabbitmq

本篇博客默认你已经成功安装了rabbitmq。如未安装,可参照官网#xff0c;选择对应平台进行安装 一、虚拟主机 虚拟主机的概念: 虚拟主机不是指vm虚拟机,而是指一个通过逻辑进行资源隔离和分区的机制,类似于一个独立的“逻辑服务器”,通过虚拟主机&

Spark 4.0的VariantType 类型以及内部存储

背景本文基于Spark 4.0 总结Spark中的 VariantType 类型,用尽量少的字节来存储Json的格式化数据 分析这里主要介绍 Variant 的存储,我们从VariantBuilder.buildJson方法(把对应的json数据存储为VariantType类型)开始:public static Variant parseJson(Jso