架构师自诉：如何做到百万数据半小时跑批结束
业务背景
跑批通常指代的是我们应用程序针对某一批数据进行特定的处理
在金融业务中一般跑批的场景有分户日结、账务计提、欠款批扣、不良资产处理等等
具体举一个例子 🌰
客户在我司进行借款，并约定每月 10 号码还款，在客户自主授权银行卡签约后
在每月 10 号（通常是凌晨）我们会在客户签约的银行卡上进行扣款
然后可能会有一个客户、两个客户、三个客户、四个客户、好多个客户都需要进行扣款，所以这一“批”
数据结构与算法
MySQL 8的安装与配置
1. 安装MySQL 8的主要步骤
● 配置Linux操作系统
● 安装MySQL 8
● 启动与关闭MySQL数据库
● MySQL数据库的连接方式
2. 配置Linux操作系统
● 关闭CentOS的防火墙
● 编辑文件“/etc/selinux/config”关闭SELinux。
● 创建MySQL用户和组。
3. 创建myql的HOME目录
mkdir -p /home/mysql
4.
469. 还是自主可控香
用别人开发的软件，阅读别人的代码，对于程序员来说，相比之下，终究还是没自己（包括加入的团队）开发的香。
自己开发的软件遇到什么错误，直接能通过现象，思维贯穿到底层去定位到问题，看到本质，跟火眼金睛似的。
别人开发的就不一样了，尤其是小众软件，遇到个问题，看到苍白的报错日志，只能说：“我勒个去”！
去年写了个分布式数据库一键部署脚本，实在是太香了，配置内存和节点IP，两个参数，就可以装一套分布式数据
MySql一主多从同步结构配置
一、环境准备：
Ip地址
主机名
角色
数据管理员密码
公共配置
192.168.88.50
Host50
Master服务器
123qqq…A
关闭防火墙禁用selinux
192.168.88.51
Host51
Slave服务器
123qqq…A
关闭防火墙禁用selinux
192.168.88.52
Host52
Slave服务器
123qqq…A
关闭防火墙禁用s
03.pandas基础操作
3、pandas基础操作
1. pandas 介绍
1.1 为什么学习pandas
numpy已经可以帮助我们进行数据的处理了，那么学习pandas的目的是什么呢？
numpy能够帮助我们处理的是数值型的数据，当然在数据分析中除了数值型的数据还有好多其他类型的数据（字符串， 时间序列)，那么pandas就可以帮我们很好的处理除了数值型的其他数据！
什么是pandas?
首先先来认识pa
【优选算法 | 滑动窗口】滑动窗口算法：高效处理子数组和子串问题
算法
相关知识点
可以通过点击
以下链接进行学习
一起加油！
双指针
在本篇文章中，我们将深入剖析滑动窗口算法的核心原理。从基础概念到实战应用，带你了解如何利用滑动窗口高效解决连续子数组和子串等问题。无论你是算法入门的新手，还是希望提升代码效率的高手，滑动窗口都将成为你优化算法的重要武器！
LeetCode #1348 Tweet Counts Per Frequency 推文计数
1348 Tweet Counts Per Frequency 推文计数
Description:
A social media company is trying to monitor activity on their site by analyzing the number of tweets that occur in select periods of time. These perio
分表后⾮sharding_key的查询怎么处理呢？
1. 可以做⼀个mapping表，⽐如这时候商家要查询订单列表怎么办呢？不带user_id查询的话你总不能扫全表吧？所以我们可以做⼀个映射关系表，保存商家和⽤户的关系，查询的时候先通过商家查询到⽤户列表，再通过user_id去查询。
2. 打宽表，⼀般⽽⾔，商户端对数据实时性要求并不是很⾼，⽐如查询订单列表，可以把订单表同步到离线（实时）数仓，再基于数仓去做成⼀张宽表，再基于其他如es提供查询服务
MySQL Explain
mysql执行计划
在日常工作中，为了知道优化SQL语句的执行，需要查看SQL语句的具体执行过程，以加快SQL语句的执行效率。
可以使用explain+SQL语句来模拟优化器执行SQL查询语句，从而知道mysql是如何处理sql语句的。
官网地址：
1、执行计划中包含的信息
【数据结构】励志大厂版·初阶（复习+刷题）：栈与队列
前引：本篇将由小编与大家一起复习 栈 、队列 的知识点，栈、队列的顺序、链式结构各个缺点好处，如何实现、对于一般的增删查找此篇文章一定再详细不过！对代码的注释、何时需要判断、特殊情况，白话文版一解到底，彻底了解栈与队列。文章末尾还精心选择了几道例题，小编同样会精心讲解，如果伙伴们被感动了
