大数据

1. 首页
2. IT互联网
3. 大数据

Apache Spark vs Flink vs Airflow，谁才是数据湖ETL的终极利器？

第一章：Apache Spark vs Flink vs Airflow，谁才是数据湖ETL的终极利器？在构建现代数据湖架构时，ETL（提取、转换、加载）流程的选择直接决定了系统的实时性、可扩展性和运维复杂度。Apache Spark、Flink 和 Airflow 各自代表了不同的处理范式：Spar

大数据 2026年01月12日 155 点赞 0 评论 13756 浏览

Java 大视界 -- Java 大数据在智能医疗电子病历数据分析与临床科研中的应用（314）

       💖亲爱的朋友们，热烈欢迎来到 青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程&#xff0

大数据 2025年07月04日 128 点赞 0 评论 13777 浏览

一、消息队列理论基础与Kafka架构价值解析

一、传统架构面临的致命痛点与问题引入 1.1 灾难性的系统强耦合 假设我们正在开发一个核心的电商交易平台。在最原始的单体架构或早期的微服务架构中，订单微服务创建完一条新订单后，需要通过网络接口直接调用库存系统扣减商品、调用积分系统增加用户成长值，并且调用物流系统生成运单。这种模式下，订单系统被严重绑架。一旦物流系统因为内部网络抖动出现超时

大数据 2026年03月04日 55 点赞 0 评论 13786 浏览

Hadoop•HDFS的Java API操作

听说这是目录哦 上传文件到HDFS🌈 一、下载Windows版本的JDK和Hadoop 二、配置物理机环境变量 三、创建项目 四 、添加依赖 五、新建java类 六、创建文件 七、打开集群 八、选中、运行 从HDFS下载文件🪐 一、写代码 二、HDFS要个文件 三、物理机要个文件夹（目录） 四、运行代码

大数据 2025年05月25日 64 点赞 0 评论 13813 浏览

使用 PySpark 从 Kafka 读取数据流并处理为表

使用 PySpark 从 Kafka 读取数据流并处理为表下面是一个完整的指南，展示如何通过 PySpark 从 Kafka 消费数据流，并将其处理为可以执行 SQL 查询的表。 1. 环境准备确保已安装: Apache Spark (包含Spark SQL和Spark Streaming) Kafka PySpark 对应的Kafka连接器 (通常已包含在Spark

大数据 2025年09月09日 85 点赞 0 评论 13830 浏览

大数据浪潮下，解锁智算云平台实操密码

目录蓝耘 GPU 智算云平台：开启 AI 算力新征程前期准备：注册与登录注册流程登录步骤登录注意事项实例创建：挑选合适的算力选择 GPU 资源选择操作系统镜像设置实例名称和密码创建实例的具体操作步骤环境搭建：代码环境初构建（一）连接计算实例（二）安装系统依赖库（三&#xff

大数据 2025年06月01日 53 点赞 0 评论 13856 浏览

五、Hadoop集群部署：从零搭建三节点Hadoop环境（保姆级教程）

作者：IvanCodes 日期：2025年5月7日 专栏：Hadoop教程 前言： 想玩转大数据，Hadoop集群是绕不开的一道坎。很多小伙伴一看到集群部署就头大，各种配置、各种坑。别慌！这篇教程就是你的“救生圈”。 一、磨刀不误砍柴工：环境准备（虚拟机与网络&#x

大数据 2026年02月02日 160 点赞 0 评论 13889 浏览

《旅游行业接口数据落地 Hive ODS 表全流程实战！从采集到分区一站搞定》

🏖️ 旅游行业数据中台实战：接口数据如何高效落地 Hive ODS 表？ ✍️ 作者：大数据狂人｜大数据架构师 十年数仓与实时计算架构经验，擅长旅游、电商、政务数据中台建设。 本文将从 接口采集 → 数据解析 → Hive ODS 落地 → 分区维护，一步步带你完成旅游行业的真实数据落地案例。 一、

大数据 2025年11月30日 91 点赞 0 评论 13897 浏览

使用 Spark NLP 实现中文实体抽取与关系提取

在自然语言处理（NLP）领域，实体抽取和关系提取是两个重要的任务。实体抽取用于从文本中识别出具有特定意义的实体（如人名、地名、组织名等），而关系提取则用于识别实体之间的关系。本文将通过一个基于 Apache Spark 和 Spark NLP 的示例，展示如何实现中文文本的实体抽取和关系提取。一、技术栈介绍1. Apache SparkApache Spark 是一个分布式计算框架，广泛用于大规模

大数据 2025年04月26日 58 点赞 0 评论 13952 浏览

Rabbitmq的三个端口区分

1. 端口5672 功能：这是AMQP（高级消息队列协议）的默认端口。 用途：主要用于RabbitMQ客户端和服务器之间的通信，包括消息的发送和接收等操作。它是RabbitMQ进行消息传递的核心端口。 2. 端口15672 功能：这是RabbitMQ管理界面的默认端口。 用途：通过浏览器可以访问该端口

大数据 2025年05月20日 32 点赞 0 评论 13966 浏览