大数据
  1. 首页
  2. IT互联网
  3. 大数据

列表

Java 大视界 -- Java 大数据在智慧交通停车场智能管理与车位预测中的应用实践

Java 大视界 -- Java 大数据在智慧交通停车场智能管理与车位预测中的应用实践

Java 大视界 -- Java 大数据在智慧交通停车场智能管理与车位预测中的应用实践 引言： 正文： 一、智慧交通停车场现状与挑战 1.1 停车场管理现状 1.2 车位预测挑战 二、Java 大数据在停车场智能管理中的应用 2.1 数据采集与整合 2.2 智能收费系统 2.3 车位引导系统 三、Ja
大数据 2025年11月17日
【大数据】Hadoop 2.X和1.X升级优化对比

【大数据】Hadoop 2.X和1.X升级优化对比

目录1.前言2.hadoop 1.X的缺点和优化方向3.解决NameNode的局限性3.1.Hadoop HA3.2.Haddop federation4.yarn5.周边组件1.前言本文是作者大数据系列中的一文，专栏地址：#前文中我们从大数据的概论入手、分别聊了分布式文件系统的鼻祖GFS、分布式数据库的鼻祖Big Table、hadoop中的分布式文件系统HDFS、计
大数据 2025年11月26日
RabbitMQ与Celery深度集成：构建高性能Python异步任务系统

RabbitMQ与Celery深度集成：构建高性能Python异步任务系统

目录摘要1 引言：为什么现代Python项目需要消息队列1.1 消息队列的核心价值1.2 RabbitMQ与Celery的协同优势2 RabbitMQ核心原理深度解析2.1 AMQP协议与消息模型2.1.1 Exchange类型与路由机制2.1.2 消息持久化与可靠性2.2 高级消息模式2.2.1 死信队列与延迟消息2.2.2 优先级队列3 Celery架构与核心机制3.1 Cele
大数据 2026年02月04日
基于 Kafka 的医嘱事件架构

基于 Kafka 的医嘱事件架构

一：为什么要用事件总线 解耦：把 HIS 的业务事实（医嘱、执行、记账）解耦为事件，病案、计费、质控、DRG 等系统通过消费同一条事实构建各自视图 可回放 / 恢复：事件可以持久化并重放，用于补录、补算或回放历史 高吞吐与扩展：Kafka 能天然横向扩展&#xff0c
大数据 2026年03月23日
探索大数据领域Spark的分布式计算性能提升方法

探索大数据领域Spark的分布式计算性能提升方法

Spark分布式计算性能调优全攻略：从原理到实践的12个关键方法副标题：解决Shuffle慢、资源浪费、任务倾斜的实战指南 摘要/引言你有没有遇到过这样的场景？ 写好的Spark任务跑到一半卡住，盯着日志看“Shuffle Read”进度半天不动； 明明给了10个Executor，却只有2个在干活，
大数据 2025年12月14日
NIFI【应用 02】1.28.1版本使用实例分享（GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6）配置使用及模板分享（txt文件解析）

NIFI【应用 02】1.28.1版本使用实例分享（GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6）配置使用及模板分享（txt文件解析）

Apache NIFI 安装过程可参考《一篇学会部署NIFI》中文文档地址 内容很是详细，大家可以参考。没有中文文档的可查看官方文档 NIFI 新手，一些配置或者处理器本身的使用可能存在一些问题，发现的小伙伴儿请不吝赐教。 txt文件解析实例
大数据 2025年11月23日
标签计算引擎（Flink/Spark）选型

标签计算引擎（Flink/Spark）选型

海量标签计算在实际业务落地中面临多重核心难点，直接决定了分布式计算引擎的选型方向。其一，数据规模与并发压力大，标签计算需处理TB/PB级海量用户、商品、设备数据，且包含高并发实时流数据（如峰值时段用户行为日志）与海量静态历史数据，对引擎的吞吐量和并发处理能力提出极高要求。其二，延迟与准确
大数据 2026年04月11日
Flink 1.14.6 版本 lib 目录依赖Jar包资源

Flink 1.14.6 版本 lib 目录依赖Jar包资源

Flink 1.14.6 版本 lib 目录依赖Jar包资源 【下载地址】Flink1.14.6版本lib目录依赖Jar包资源 该项目为 Flink 1.14.6 版本提供了完整的 lib 目录依赖 Jar 包资源，涵盖了数据库连接器、SQL 连接器、分布式计算及模拟数据生成等核心功能。包括 flink-connector-jdbc、flink-doris-connector、f
大数据 2025年05月23日
Pyspark学习一：概述

Pyspark学习一：概述

PySpark 介绍 & 为什么使用 PySpark 官方文档： 1. PySpark 是什么？ PySpark 是 Apache Spark 的 Python API，提供了 大规模分布式计算能力，用于处理 大数据。 Spark 本身是
大数据 2025年04月17日
Java 大视界 -- Java 大数据机器学习模型在元宇宙虚拟场景智能交互中的关键技术

Java 大视界 -- Java 大数据机器学习模型在元宇宙虚拟场景智能交互中的关键技术

Java 大视界 -- Java 大数据机器学习模型在元宇宙虚拟场景智能交互中的关键技术 引言： 正文： 一、元宇宙智能交互：从概念到现实的鸿沟与跨越 1.1 沉浸式交互的核心诉求 1.2 技术实现的三大挑战 二、Java 大数据：元宇宙的「数字基石」与「智能引擎」 2.1 分布式数据
大数据 2025年09月26日