大数据

flink写doris时的优化

1.概念doris并不擅长高频、小量数据的导入;因为doris每一次数据导入都会在be节点上生成数据文件;如果高频导入小量数据,就会在存储层产生大量的小文件(必然会影响到后续的查询效率,也会对系统产生更多的compaction操作压力)而flink是实时不断地往doris中插入数据,所以很容易出现上述

Zookeeper 概述

Zookeeper 概述 Zookeeper 概述与使用指南 什么是Zookeeper? Zookeeper的主要作用 使用Zookeeper的框架 典型使用场景 1. 配置管理 2. 分布式锁 3. 服务注册与发现 Zookeeper的缺陷 与其他协调服务的比较 实际案例:Kafka使用Zookeeper 最佳实践 Zoo

spring配置并使用rabbitmq

本篇博客默认你已经成功安装了rabbitmq。如未安装,可参照官网#xff0c;选择对应平台进行安装 一、虚拟主机 虚拟主机的概念: 虚拟主机不是指vm虚拟机,而是指一个通过逻辑进行资源隔离和分区的机制,类似于一个独立的“逻辑服务器”,通过虚拟主机&

Java 大视界 -- Java 大数据机器学习模型在金融反洗钱交易模式识别与风险预警中的应用(319)

       💖亲爱的朋友们,热烈欢迎来到 青云交的博客!能与诸位在此相逢,我倍感荣幸。在这飞速更迭的时代,我们都渴望一方心灵净土,而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识,也期待你毫无保留地分享独特见解,愿我们于此携手成长,共赴新程&#xff0

六种主流ETL工具的比较与Kettle的实践练习指南--MySQL、hive、hdfs等之间的数据迁移

        在数据集成和数据仓库建设中,ETL(Extract, Transform, Load)工具扮演着至关重要的角色。本文将对六种主流ETL工具进行比较,并深入探讨Kettle的实践应用。一、六种主流ETL工具比较1. DataPipeline 设计及架构:专为超大数据量、高度复杂的数据链路设计的灵活、可扩展的数据交

window下安装并启动kafka

进入Kafka官网:Apache Kafka下载最新版Kafka 2.将Kafka路径配置到windows环境变量下(KAFKA_HOME),并将其添加到path中(方法同上) 3.进入E:\midware\kafka_2.13-3.9.0,创建2个自定义文件夹mydata,mylog 4.修改zk的配置文件

一文带你学会zookeeper(了解、安装、集群、使用)

概述:         1、zookeeper是一个开源的分布式的服务协调框架(Apache项目)         2、zookeeper从设计模式的角度来理解:是一个基于观察者模式的分布式服务管理框架,他负责存储和管理大家都关心的数据,然后接收观察者的注册,一旦这些数据发生变化,zoo

【Rabbitmq篇】高级特性----TTL,死信队列,延迟队列

目录一.TTL        1.设置消息的TTL2.设置队列的TTL3.俩者区别 二.死信队列定义:消息成为死信的原因:1.消息被拒绝(basic.reject 或 basic.nack)2.消息过期(TTL)3.队列达到最大长度 ​编辑 死信队列的应用场景三.延迟队列  定义:应用场景 实现一&#