架构师自诉:如何做到百万数据半小时跑批结束 业务背景 跑批通常指代的是我们应用程序针对某一批数据进行特定的处理 在金融业务中一般跑批的场景有分户日结、账务计提、欠款批扣、不良资产处理等等 具体举一个例子 🌰 客户在我司进行借款,并约定每月 10 号码还款,在客户自主授权银行卡签约后 在每月 10 号(通常是凌晨)我们会在客户签约的银行卡上进行扣款 然后可能会有一个客户、两个客户、三个客户、四个客户、好多个客户都需要进行扣款,所以这一“批” 数据结构与算法 2025年04月19日 68 点赞 0 评论 17361 浏览
Flask教程(二) 一、Flask的数据库SQLAlchemy 1.1 SQLAlchemy简介: SQLAlchemy是一个关系型数据库框架,它提供了高层的ORM和底层的原生数据库的操作。 flask-sqlalchemy是一个简化了SQLAlchemy操作的flask扩展。 1.2 SQLAlchemy的使用: 1.2.1安装导入: 安装fla 数据结构与算法 2025年04月19日 184 点赞 0 评论 7650 浏览
MySQL Explain mysql执行计划 在日常工作中,为了知道优化SQL语句的执行,需要查看SQL语句的具体执行过程,以加快SQL语句的执行效率。 可以使用explain+SQL语句来模拟优化器执行SQL查询语句,从而知道mysql是如何处理sql语句的。 官网地址: 1、执行计划中包含的信息 数据结构与算法 2025年04月19日 104 点赞 0 评论 16704 浏览
MySql分布式存储添加新库新表 一、环境准备: 主机名 角色 IP地址 client50 客户端 192.168.88.50/24 Mycat60 分片服务器 192.168.88.60/24 Mysql63 数据库服务器 192.168.88.63/24 Mysql64 数据库服务器 192.168.88.64/24 Mysql65 数据库服务器 192.168.88.65/24 数据结构与算法 2025年04月19日 153 点赞 0 评论 10467 浏览
SQL SERVER数据库重建索引的方法 参考: Sql Server查询缓慢的原因有很多,比如服务器资源不足、网络故障、查询语句不够优化,I/O问题等等,以及数据库索引问题 一、查询思路 1.想要判断数据库查询缓慢的问题,可以使用如下语句,可以列出查询语句的平均时间,总时间,所用的CPU时间等信息 SELECT creation_time N'语句编译 数据结构与算法 2025年04月19日 36 点赞 0 评论 14280 浏览
SAS编程-Table:Shift表的处理 有读者咨询Shift表的处理,这篇文章就分享下Shift表SAS编程处理。 文章所附代码是完整的处理代码,除了没有RTF输出。读者可以自行复制到SAS中进行调试、运行和理解。若有疑问或建议,欢迎评论区指出。 后续另写文章,介绍RTF的输出。 1. Shift Table的本质 关于Shit Table,它本质上就是一个频数统计表,所以可以直接按正常的频数统计表去处理。 以下面2张Table为例,左 数据结构与算法 2025年04月18日 65 点赞 0 评论 5748 浏览
Apache Doris——数据分布 在 Doris 中,数据都以表(Table)的形式进行逻辑上的描述。 名词解释 数据分布:数据分布是将数据划分为子集, 按一定规则, 均衡地分布在不同节点上,以期最大限度地利用集群的并发性能 短查询:short-scan query,指扫描数据量不大,单机就能完成扫描的查询 长查询:long-scan query,指扫描数据量大,多机并行扫描能显著提升性能的查询 数据分布概览 常见的四种 数据结构与算法 2025年04月18日 195 点赞 0 评论 13076 浏览
ShardingJDBC 分库分表详解 一、ShardingSphere概述 1.1、ShardingSphere概述 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈,它由 JDBC、Proxy 和 Sidecar(规划中)这 3 款既能够独立部署,又支持混合部署配合使用的产品组成。 它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能,可适用于如 Java 同构、异构语言、云原生等各种 数据结构与算法 2025年04月18日 42 点赞 0 评论 10835 浏览
Spring Security 中,想在权限中使用通配符,怎么做? 小伙伴们知道,在 Shiro 中,默认是支持权限通配符的,例如系统用户有如下一些权限: system:user:add system:user:delete system:user:select system:user:update ... 现在给用户授权的时候,我们可以像上面这样,一个权限一个权限的配置,也可以直接用通配符: system:user:* 这个通配符就表示拥有针对用户的所有 数据结构与算法 2025年04月18日 121 点赞 0 评论 19591 浏览
多线程事务怎么回滚 背景介绍 1.最近有一个大数据量插入的操作入库的业务场景,需要先做一些其他修改操作,然后在执行插入操作,由于插入数据可能会很多,用到多线程去拆分数据并行处理来提高响应时间,如果有一个线程执行失败,则全部回滚. 2.在spring中可以使用@Transactional注解去控制事务,使出现异常时会进行回滚,在多线程中,这个注解则不会生效,如果主线程需要先执行一些修改数据库的操作,当子线程在进行处理出 数据结构与算法 2025年04月18日 49 点赞 0 评论 12279 浏览