大数据

一文搞懂Flink 的 Materialized Table:简化数据管道的利器

你好,我是 shengjk1,多年大厂经验,努力构建 通俗易懂的、好玩的编程语言教程。 欢迎关注!你会有如下收益: 了解大厂经验 拥有和大厂相匹配的技术等 希望看什么,评论或者私信告诉我! 文章目录 一、背景 二、Materialized Table 优势 (一&#xff

RabbitMQ如何保证消息不丢失?

在 RabbitMQ 中保证消息不丢失需要从 ​生产者端、Broker端 和 ​消费者端 三个环节进行可靠性设计,以下是具体方案及实现方法:​我们使用RabbitMQ来确保MySQL和Redis间数据双写的一致性,这要求我们实现消息的高可用性,具体措施包括: 开启生产者确认机制,确保消息能被送达队列&#xff0c

Kafka快速入门

目录1、 消息中间件概述1.1 消息队列简介1.2 消息队列应用场景1.2.1 系统解耦1.2.2 流量消锋1.2.3 异步通信1.3 MQ的优缺点1.4 Kafka简介1.5 MQ产品比对2、 Kafka环境搭建2.1 Kafka集群机制2.2 Kafka基础架构2.3 Kafka集群搭建2.4 Kafka集群测试3、Kafaka的 Java API入门案例3.1 发送消息3.2 消费消息4、

RabbitMQ介绍以及基本使用

文章目录一、什么是消息队列?二、消息队列的作用(优点)1、解耦2、流量削峰3、异步4、顺序性三、RabbitMQ基本结构四、RabbitMQ队列模式1、简单队列模式2、工作队列模式3、发布/订阅模式4、路由模式5、主题模式6、RPC模式7、发布者确认模式五、RabbitMQ相关属性描述总结 一、什么是消息队列?消息队列是一种用于在分布式系统

蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造

张冯君(远远) Koupleless PMC 蚂蚁集团技术工程师 就职于蚂蚁集团中间件团队,参与维护与建设蚂蚁 SOFAArk 和 Koupleless 开源项目、内部 SOFAServerless 产品的研发和实践。 本文 3488 字,预计阅读 11 分钟  业务背景 基于开源 Apache

保姆级·在Windows本地配置并运行Kafka

目录 一.下载并安装Idea:进入idea官网:IntelliJ IDEA 下载最新版idea(安装及其他问题请参考其他大佬的文章) 二.下载并安装JDK:1.进入idk官网:JDK 下载最新版jdk2.将jdk路径配置到windows环境变量下(JAVA_HOME),并将

Spring Boot 集成 Kafka 消息发送方案

一、引言在 Spring Boot 项目中,Kafka 是常用的消息队列,可实现高效的消息传递。本文介绍三种在 Spring Boot 中使用 Kafka 发送消息的方式,分析各自优缺点,并给出对应的 pom.xml 依赖。 二、依赖引入在 pom.xml 中添加以下依赖:<dependencies> <!-- Spring Boot Starter for Kafka

Flink 1.14.6 版本 lib 目录依赖Jar包资源

Flink 1.14.6 版本 lib 目录依赖Jar包资源 【下载地址】Flink1.14.6版本lib目录依赖Jar包资源 该项目为 Flink 1.14.6 版本提供了完整的 lib 目录依赖 Jar 包资源,涵盖了数据库连接器、SQL 连接器、分布式计算及模拟数据生成等核心功能。包括 flink-connector-jdbc、flink-doris-connector、f