NIFI【应用 02】1.28.1版本使用实例分享(GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6)配置使用及模板分享(txt文件解析) Apache NIFI 安装过程可参考《一篇学会部署NIFI》中文文档地址 内容很是详细,大家可以参考。没有中文文档的可查看官方文档 NIFI 新手,一些配置或者处理器本身的使用可能存在一些问题,发现的小伙伴儿请不吝赐教。 txt文件解析实例 大数据 2025年11月23日 115 点赞 0 评论 9739 浏览
探索大数据领域Spark的分布式计算性能提升方法 Spark分布式计算性能调优全攻略:从原理到实践的12个关键方法副标题:解决Shuffle慢、资源浪费、任务倾斜的实战指南 摘要/引言你有没有遇到过这样的场景? 写好的Spark任务跑到一半卡住,盯着日志看“Shuffle Read”进度半天不动; 明明给了10个Executor,却只有2个在干活, 大数据 2025年12月14日 125 点赞 0 评论 9709 浏览
Pyspark学习一:概述 PySpark 介绍 & 为什么使用 PySpark 官方文档: 1. PySpark 是什么? PySpark 是 Apache Spark 的 Python API,提供了 大规模分布式计算能力,用于处理 大数据。 Spark 本身是 大数据 2025年04月17日 157 点赞 0 评论 9620 浏览
Spark 4.0的VariantType 类型以及内部存储 背景本文基于Spark 4.0 总结Spark中的 VariantType 类型,用尽量少的字节来存储Json的格式化数据 分析这里主要介绍 Variant 的存储,我们从VariantBuilder.buildJson方法(把对应的json数据存储为VariantType类型)开始:public static Variant parseJson(Jso 大数据 2025年07月27日 84 点赞 0 评论 9591 浏览
可信医疗大数据来源、院内数据、病种数据及编程使用方案分析 摘要 随着医疗信息化与人工智能技术的深度融合,医疗大数据已成为精准医疗、公共卫生决策和临床研究的核心驱动力。本文系统梳理了国内外主流可信医疗大数据来源,包括国家级医疗数据库、区域健康信息平台、医院电子病历系统(EMR)、生物样本库及多组学数据等;针对肿瘤、心血管疾病、糖尿病等高发慢性病,深入分析其数据维度、特征及研究价值;提出基于Python、R、Spark等技术的医疗大数据编程处理方案,涵盖数 大数据 2025年09月02日 78 点赞 0 评论 9549 浏览
Hadoop3.3.5伪分布式集群搭建(Ubuntu系统) 环境准备 系统要求:Ubuntu 20.04/22.04 LTS 软件版本: Hadoop 3.3.5 JDK 8 硬件要求:至少4GB内存,20GB磁盘空间 详细步骤1.安装Vim编辑器后续需要更改一些配置文件,我比较喜欢用的是 vim(vi增强版,基本用法相同 大数据 2025年07月28日 158 点赞 0 评论 9540 浏览
Java 大视界 -- Java 大数据在智慧交通停车场智能管理与车位预测中的应用实践 Java 大视界 -- Java 大数据在智慧交通停车场智能管理与车位预测中的应用实践 引言: 正文: 一、智慧交通停车场现状与挑战 1.1 停车场管理现状 1.2 车位预测挑战 二、Java 大数据在停车场智能管理中的应用 2.1 数据采集与整合 2.2 智能收费系统 2.3 车位引导系统 三、Ja 大数据 2025年11月17日 111 点赞 0 评论 9533 浏览
【大数据】Hadoop 2.X和1.X升级优化对比 目录1.前言2.hadoop 1.X的缺点和优化方向3.解决NameNode的局限性3.1.Hadoop HA3.2.Haddop federation4.yarn5.周边组件1.前言本文是作者大数据系列中的一文,专栏地址:#前文中我们从大数据的概论入手、分别聊了分布式文件系统的鼻祖GFS、分布式数据库的鼻祖Big Table、hadoop中的分布式文件系统HDFS、计 大数据 2025年11月26日 100 点赞 0 评论 9471 浏览
【Dubbo+Zookeeper】——SpringBoot+Dubbo+Zookeeper知识整合 🎼个人主页:【Y小夜】😎作者简介:一位双非学校的大二学生,编程爱好者,专注于基础和实战分享,欢迎私信咨询!🎆入门专栏:🎇【MySQL,Java基础,Rust】🎈热门专栏: 大数据 2025年09月29日 132 点赞 0 评论 9378 浏览
计算机毕业设计Python+PySpark+Hadoop图书推荐系统 图书可视化大屏 大数据毕业设计(源码+LW文档+PPT+讲解) 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 信息安全/网络安全 大模型、大数据、深度学习领域中科院硕士在读,所有源码均一手开发&#x 大数据 2025年11月23日 59 点赞 0 评论 9288 浏览