大数据
  1. 首页
  2. IT互联网
  3. 大数据

列表

【推荐系统】深度学习训练框架（十五）：特征工程——PySpark DataFrame数据处理核心指南

【推荐系统】深度学习训练框架（十五）：特征工程——PySpark DataFrame数据处理核心指南

📚 一、DataFrame核心概念 1.1 什么是DataFrame？本质：PySpark DataFrame是一个分布式、不可变、基于命名列的数据集合，类似于关系型数据库表或Pandas DataFrame，但底层是RDD的封装。关键特性： 分布式处理：数据自动分区在集群节点上并行处理 惰性
大数据 2025年12月14日
震撼登场！大数据下交易数据的挖掘策略

震撼登场！大数据下交易数据的挖掘策略

震撼登场！大数据下交易数据的挖掘策略：从理论到实践的全栈解析 元数据框架 标题震撼登场！大数据下交易数据的挖掘策略：从分布式系统到因果推断的全栈实践指南 关键词交易数据挖掘；大数据架构；实时流处理；关联规则；欺诈检测；推荐系统；联邦学习 摘要交易数据是商业世界的“数字血液”——从电商订单、金融交易到零售POS记录，每一条数据都隐含着用户行为、市场趋势与商业机会。当交易数据从GB级跃升至PB级，传
大数据 2025年10月17日
RabbitMQ 进阶

RabbitMQ 进阶

文章目录 一、发送者的可靠性 1.1 生产者重试机制： 1.2 生产者确认机制： 1.2.1 开启生产者确认： 1.2.2 定义 ReturnCallback： 1.2.3 定义 ConfirmCallback： 二、MQ 的可靠性 2.1 数据
大数据 2025年05月26日
Hive的窗口函数

Hive的窗口函数

Hive的窗口函数（Window Functions）是其SQL功能的核心亮点之一，用于在分组数据上执行计算，同时保留原始表的行数（不压缩分组）。窗口函数特别适用于排名分析、趋势计算、移动统计等复杂场景，是处理时间序列数据和多维分析的利器。 一、窗口函数的核心概念窗口函数的语法结构：fu
大数据 2025年08月19日
【详解】安装单节点并配置启动Kafka

【详解】安装单节点并配置启动Kafka

目录安装单节点并配置启动Kafka环境准备系统要求安装 Java下载并解压 Kafka配置 Kafka修改 ​​server.properties​​启动 ZooKeeper启动 Kafka测试 Kafka创建主题发送消息接收消息停止 Kafka 和 ZooKeeper停止 Kafka停止 ZooKeeper前提条件步骤 1: 安装 Java步骤 2: 下载 Kafka步骤 3: 配置 Kafka
大数据 2025年07月07日
SpringBoot消息队列集成：RabbitMQ、Kafka使用源码级分析(17)

SpringBoot消息队列集成：RabbitMQ、Kafka使用源码级分析(17)

SpringBoot消息队列集成：RabbitMQ、Kafka使用源码级分析 一、消息队列基础概念 1.1 消息队列的定义与作用消息队列（Message Queue）是一种在不同组件或应用之间传递消息的中间件技术。它基于"生产者-消费者"模式，允许应用程序通过发送和接收消息来进行异步通信。消息队列的主要作用包括&#xff1a
大数据 2025年07月28日
RabbitMQ的“死信“快递站：无法路由的消息去哪了

RabbitMQ的“死信“快递站：无法路由的消息去哪了

想象你寄出一份重要快递，却填错了地址——快递员如何处理？RabbitMQ也面临同样的挑战！本文将揭秘消息路由失败的四大去向，带你建立可靠的消息"纠错系统"！ 一、消息丢失的灾难现场💥场景还原： 后果： 用户支付成功但订单未创建 系统无错误日志，问题难
大数据 2025年10月17日
史上最全Flink面试题(完整版)

史上最全Flink面试题(完整版)

1、简单介绍一下 FlinkFlink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以
大数据 2025年11月23日
精心整理的 22道 Kafka 高频面试题（含答案），你都会了吗？

精心整理的 22道 Kafka 高频面试题（含答案），你都会了吗？

目录一、基础知识与概念1.1 简要介绍Apache Kafka是什么，它的主要用途是什么？1.2 解释一下Kafka中的Producer、Broker、Consumer以及Topic的概念？1.3 Kafka的消息是如何保证顺序性的？1.4 Kafka中的消息是如何存储的？1.5 解释Kafka的高可用性和分区（Partitions）机制？二、架构与设计2.1  Kafka集群是如何工作
大数据 2025年07月04日
RabbitMQ直接查看队列中消息的内容

RabbitMQ直接查看队列中消息的内容

1. 使用 RabbitMQ 管理控制台查看队列中有多少消息（非内容）打开 RabbitMQ 的 Web 管理界面（默认地址）： 登录后，点击左侧菜单栏 "Queues" 点击你要查看的队列，比如 my_queu
大数据 2025年12月13日