大数据

RabbitMQ简介

什么是 RabbitMQ?RabbitMQ 是一个开源的消息代理软件,实现了 AMQP(高级消息队列协议)标准。简单说,它就像一个邮局系统,负责在不同应用程序之间可靠地传递消息。核心概念1. 消息(Message) 要传输的数据,包含有效载荷(实际内容&#

Spark RDD 宽窄依赖:从 DAG 到 Shuffle 的性能之道

Spark RDD 宽窄依赖:从 DAG 到 Shuffle 的性能之道 🌟 你好,我是 励志成为糕手 ! 🌌 在代码的宇宙中,我是那个追逐优雅与性能的星际旅人。 ✨ 每一行代码都是我种下的星光,在逻辑的土壤里生长成璀璨的银河; 🛠️ 每一个算法都是我绘制的星图

大数据计算资源基础知识,以及5个核心技术讲解(hadoop、mapreduce、hive、spark、flink)

大数据计算资源基础知识 大数据处理基本背景大数据处理面临的主要挑战是数据量太大,无法在单台机器上高效处理。因此,需要分布式系统将数据和计算任务分散到多台机器上协同完成。根据处理方式和应用场景的不同,发展出了不同类型的计算资源。 批处理计算资源背景:最早的大数据处理方式,主要处理已经存储好的大量历史数据。 MapReduce&

RabbitMQ - 仲裁队列(Quorum Queue)的实现与优势

👋 大家好,欢迎来到我的技术博客! 📚 在这里,我会分享学习笔记、实战经验与技术思考,力求用简单的方式讲清楚复杂的问题。 🎯 本文将围绕RabbitMQ这个话题展开,希望能为你带来一些启发或实用的参考。 🌱 无论你是刚入门的新手,还是正在进阶的开

Spark的shuffle史上最详细解析 , 应用场景等多维度

以下内容将对 Spark 中 Shuffle 的原理、流程、配置项、实际应用场景、常见问题及解决方案等进行全面、详细、细致的分析和阐述,并在必要处辅以示例和配置展示。最后会进行总结,同时给出项目中可能出现的场景、问题、优化方式,力求内容完善、翔实且具有可操作性。 一、Shuffle 的背景与概念 什么是 Shuffle? 在分布式计算框架&

Hive的分区分桶和数据抽样

文章目录 分区 概念 分区表的操作 创建分区表 新建分区 导入数据到指定分区 写入数据到指定分区 删除分区 删除多个分区 查看分区 查看分区表结构 动态分区 1. 开启动态分区参数设置 2. 设置为非严格模式 3. 设置所有节点可创建的最大分区数 4. 设置单个节点可创建的最大分区数 5.设置整个MRJob可创建的最大文件数 6. 设置当有空分区产生时是否报错&#x

基于大数据爬虫+Python+SpringBoot+Hive的网络电视剧收视率分析与可视化平台系统(源码+论文+PPT+部署文档教程等)

 博主介绍:CSDN毕设辅导第一人、全网粉丝50W+,csdn特邀作者、博客专家、腾讯云社区合作讲师、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌ 技术范围:SpringBoot、Vue、SSM、HLMT、Jsp、P

NVIDIA DGX Spark实战指南:从开箱到部署200B参数大模型

1. 开箱与初识:当超级计算走进你的桌面还记得几年前,想要跑一个像样的AI模型,要么得去租用昂贵的云端GPU实例,忍受网络延迟和排队等待,要么就得面对一台台嗡嗡作响、占地巨大的服务器机柜。那种感觉,就像你想喝杯水,却必须去管理一个水库。但今天,当我把NVIDIA DGX Spark从那个简约的牛皮纸盒里取出来时,这种印象被彻底颠覆了。它的尺寸,150mm x 150mm x 50.5mm,比一个i