大数据

RabbitMQ - 在微服务架构中的落地:消息推送 / 解耦 / 削峰填谷

👋 大家好,欢迎来到我的技术博客! 📚 在这里,我会分享学习笔记、实战经验与技术思考,力求用简单的方式讲清楚复杂的问题。 🎯 本文将围绕RabbitMQ这个话题展开,希望能为你带来一些启发或实用的参考。 🌱 无论你是刚入门的新手,还是正在进阶的开

The History of Big Data

数据洪流悄然重塑世界的进程中,大数据的历史是技术迭代与需求驱动的交响。从 2003 年分布式系统雏形初现,到 Hadoop 掀起开源浪潮,再到 Spark、容器化技术与深度学习的接力革新,以及 Hadoop 生态的兴衰起落,大数据发展史如同一部技术进化史诗。本文将循着 2003 至 2023 年的时间脉络,解码这场

大数据背景下时序数据库选型指南:国产开源技术的突破与实践

摘要:在大数据时代,时序数据管理面临写入频繁、存储量大等挑战。Apache IoTDB作为专业时序数据库,通过树状数据模型、高效压缩算法和分布式架构,实现千万级数据点/秒写入和毫秒级查询。其支持SQL语法、UDF扩展和Hadoop/Spark生态集成,在智能网联汽车、电力监控等场景中显著提升性能并降低80%存储成本。选型时

Kafka 3.x版本 KRaft模式集群搭建教程

1.前言        Apache Kafka 从 2.8.0 版本(2021年4月发布) 开始正式引入 KRaft(Kafka Raft)模式,作为 替代 ZooKeeper 的元数据管理机制。为什么引入 KRaft? 简化架构:减少对 ZooKeeper 的依赖,降低运维复杂度。

破解大数据密码:蓝耘Maas平台与阿里QWQ的智能分析革命

目录引言一、 蓝耘Maas平台阿里QWQ简介(1)平台概述(2)核心技术与架构(3)主要功能与应用二、如何调用Maas平台阿里QwQ?(1)注册(2)选择Maas平台 (3)选择QwQ-32B (4&#x

大数据Hadoop之——安装部署hadoop

目录 前期准备一、JDK的安装1、安装jdk2、配置Java环境变量  3、加载环境变量4、进行校验二、hadoop的环境搭建1、hadoop的下载安装 2、配置文件设置2.1. 配置 hadoop-env.sh2.2. 配置 core-site.xml2.3. 配置 hdfs-site.xml2.4. 配置 yarn-site.xml2.5. 配置 mapred-site.xml 3、Hdfs格

Hadoop 安装与搭建全流程教学【全网最全超详细保姆级教学】

Hadoop 安装与搭建全流程教学【全网最全超详细保姆级教学】 一.前言 Hadoop 的安装是一场充满细节的挑战😫!不过别担心,本篇保姆级教程将手把手带你从零搭建一个 3 节点 Hadoop 集群,即便是完全没接触过的新手,也能跟着步骤一遍成功✅!亲测有效,放心上车🚀&#xf

Java 大视界 -- 基于 Java 的大数据分布式存储在科研大数据归档与长期保存中的应用(328)

Java 大视界 -- 基于 Java 的大数据分布式存储在科研大数据归档与长期保存中的应用(328) 引言: 正文: 一、Java 驱动的科研分布式存储架构(跨领域适配) 1.1 多场景弹性存储系统(支持 EB 级扩展) 1.2 故障自愈与数据

告别 nohup:Hive Metastore 交给 systemd 托管的完整步骤

Hive Metastore 从 nohup 手工启动迁移到 systemd 托管 背景在 Hadoop 3 + Hive 3 的学习环境中,Hive Metastore 通常是通过如下方式启动的:nohup hive --service metastore -p 9083 > /tmp/hive-metastore.log 2>&1 &a

Rabbitmq下载和安装(Windows系统,百度网盘)

一.下载安装Erlang1.百度云下载链接: 提取码:8ilc2.安装傻瓜式安装 直接下一步 选择自己要安装的路径3.配置环境变量增加变量名为:ERLANG_HOME 变量值填写自己的安装路径(注意定位到位于bin目录的上一级目录,可能