flink写doris时的优化 1.概念doris并不擅长高频、小量数据的导入;因为doris每一次数据导入都会在be节点上生成数据文件;如果高频导入小量数据,就会在存储层产生大量的小文件(必然会影响到后续的查询效率,也会对系统产生更多的compaction操作压力)而flink是实时不断地往doris中插入数据,所以很容易出现上述 大数据 2025年06月01日 169 点赞 0 评论 5052 浏览
大数据-259 离线数仓 - Griffin架构 修改配置 pom.xml sparkProperties 编译启动 点一下关注吧!!!非常感谢!!持续更新!!! Java篇开始了!目前开始更新 MyBatis,一起深入浅出! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) 大数据 2025年04月28日 102 点赞 0 评论 5049 浏览
Zookeeper 概述 Zookeeper 概述 Zookeeper 概述与使用指南 什么是Zookeeper? Zookeeper的主要作用 使用Zookeeper的框架 典型使用场景 1. 配置管理 2. 分布式锁 3. 服务注册与发现 Zookeeper的缺陷 与其他协调服务的比较 实际案例:Kafka使用Zookeeper 最佳实践 Zoo 大数据 2025年07月06日 150 点赞 0 评论 4927 浏览
spring配置并使用rabbitmq 本篇博客默认你已经成功安装了rabbitmq。如未安装,可参照官网#xff0c;选择对应平台进行安装 一、虚拟主机 虚拟主机的概念: 虚拟主机不是指vm虚拟机,而是指一个通过逻辑进行资源隔离和分区的机制,类似于一个独立的“逻辑服务器”,通过虚拟主机& 大数据 2025年07月27日 107 点赞 0 评论 4803 浏览
Java 大视界 -- Java 大数据机器学习模型在金融反洗钱交易模式识别与风险预警中的应用(319) 💖亲爱的朋友们,热烈欢迎来到 青云交的博客!能与诸位在此相逢,我倍感荣幸。在这飞速更迭的时代,我们都渴望一方心灵净土,而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识,也期待你毫无保留地分享独特见解,愿我们于此携手成长,共赴新程࿰ 大数据 2025年07月04日 92 点赞 0 评论 4759 浏览
毕业设计项目 python大数据旅游数据分析可视化系统(源码分享) 文章目录 0 前言 1 课题背景 2 数据处理 3 数据可视化工具 3.1 django框架介绍 3.2 ECharts 4 Django使用echarts进行可视化展示(mysql数据库) 4.1 修改setting.py连接mysql数据库 4.2 导入数据 4.3 使用echarts可视化展示 5 实现效果 5.1前端展 大数据 2025年05月23日 73 点赞 0 评论 4740 浏览
六种主流ETL工具的比较与Kettle的实践练习指南--MySQL、hive、hdfs等之间的数据迁移 在数据集成和数据仓库建设中,ETL(Extract, Transform, Load)工具扮演着至关重要的角色。本文将对六种主流ETL工具进行比较,并深入探讨Kettle的实践应用。一、六种主流ETL工具比较1. DataPipeline 设计及架构:专为超大数据量、高度复杂的数据链路设计的灵活、可扩展的数据交 大数据 2025年04月27日 52 点赞 0 评论 4540 浏览
window下安装并启动kafka 进入Kafka官网:Apache Kafka下载最新版Kafka 2.将Kafka路径配置到windows环境变量下(KAFKA_HOME),并将其添加到path中(方法同上) 3.进入E:\midware\kafka_2.13-3.9.0,创建2个自定义文件夹mydata,mylog 4.修改zk的配置文件 大数据 2025年06月21日 143 点赞 0 评论 4466 浏览
一文带你学会zookeeper(了解、安装、集群、使用) 概述: 1、zookeeper是一个开源的分布式的服务协调框架(Apache项目) 2、zookeeper从设计模式的角度来理解:是一个基于观察者模式的分布式服务管理框架,他负责存储和管理大家都关心的数据,然后接收观察者的注册,一旦这些数据发生变化,zoo 大数据 2025年07月27日 160 点赞 0 评论 4430 浏览
【Rabbitmq篇】高级特性----TTL,死信队列,延迟队列 目录一.TTL 1.设置消息的TTL2.设置队列的TTL3.俩者区别 二.死信队列定义:消息成为死信的原因:1.消息被拒绝(basic.reject 或 basic.nack)2.消息过期(TTL)3.队列达到最大长度 编辑 死信队列的应用场景三.延迟队列 定义:应用场景 实现一&# 大数据 2025年05月03日 48 点赞 0 评论 4251 浏览