数据结构与算法

MySQL 崩溃恢复过程分析

天有不测风云,数据库有旦夕祸福。 前面写 Redo 日志的文章介绍过,数据库正常运行时,Redo 日志就是个累赘。 现在,终于到了 Redo 日志扬眉吐气,大显身手的时候了。 本文我们一起来看看,MySQL 在崩溃恢复过程中都干了哪些事情,Redo 日志又是怎么大显身手的。 本文介绍的崩溃恢复过程,包含 server 层和 InnoDB,不涉及其它存储引擎,内容基于 MySQL 8.0.29 源

set数据结构/map数据结构(ES6)

ES6 set数据结构/map数据结构 ES6中新增,set集合和map集合就是一种数据的存储结构(在ES6之前数据存储结构只有array,object),不同的场景使用不同的集合去存储数据 1.set集合 Set 对象允许你存储任何类型的唯一值,无论是原始值或者是对象引用。 语法: //创建一个set集合,传参为一个可迭代的对象 const s1 = new Set(iterable

MyBatis 流式查询

基本概念 流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器,应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。 如果没有流式查询,我们想要从数据库取 1000 万条记录而又没有足够的内存时,就不得不分页查询,而分页查询效率取决于表设计,如果设计的不好,就无法执行高效的分页查询。因此流式查询是一个数据库访问框架必须具备的功能。 流式查询的过程当中,数据库连接是保持打开状态的

mysql生成千万级数据

1.生成数据需要的工具 mysql version:8.0.25 mysql workbench 2.生成数据的步骤 1.创建表 2.创建存储过程 3.调用存储过程 3.具体步骤 3.1创建表 create table data_test( id int not null auto_increment primary key comment '主键', c1 varcha

SpringBoot整合SpringSecurity

先说一下SpringSecurity是干什么的,SpringSecurity主要作用有2方面:认证、授权。 认证:Authentication, 用户认证就是判断一个用户的身份是否合法的过程,用户去访问系统资源时系统要求验证用户的身份信息,身份合法方可继续访问,不合法则拒绝访问。常见的用户身份认证方式有:用户名密码登录,二维码登录,手机短信登录,指纹认证等方式。 授权: Authorize,授权

BUSCO 做基因组评价

Benchmarking Universal Single-Copy Orthologs (BUSCO)是用于评估基因组组装和注释的完整性的工具。在相近的物种之间总有一些保守的序列,而BUSCO就是使用这些保守序列与组装的结果进行比对,鉴定组装的结果是否包含这些序列,包含单条、多条还是部分或者不包含等等情况来给出结果。通过与已有单拷贝直系同源数据库的比较,得到有多少比例的数据库能够有比对,比例越高

网络/数据库常见的超时设置(socketTimeOut、connectionTimeout...)

transaction timeout:事务执行超时,一个事务中可能包含多个sql(statement) statement timeout:单个sql(statement)执行超时 socket timeout:socket读取超时 connect timeout:建立数据库连接超时 get connection timeout:从连接池中获取链接超时 详见文章:深入理解数据库编程中的超时设

【总结】维度数据建模过程及举例

数据仓库2.png 1. 摘要 本文介绍数据仓库中维度数据建模的过程描述,并举一个示例以加深对相关概念的理解。 2. 内容 2.1 维度模型定义 维度模型是数据仓库领域大师Ralph Kimall所倡导,他的《数据仓库工具箱》,是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型,构建的数据模型为分析需求服务,因此它重点解决用户如何更快速完成分析需求,同时还有较

SAS编程:如何获取某路径下文件的名称?

文章内容截取于SAS编程:Dopen系列函数介绍。 我使用以下路径文件进行演示,路径中有4个.sas文件、4个.log文件,以及1个文件夹,共9个文件。 Directory 过程涉及以下3个函数: DOPEN DNUM DREAD 1. DOPEN(fileref) DOPEN函数的作用是,打开一个路径,并返回一个路径标识值 (Opens a directory, and re

zabbix 代理服务器 与 zabbix-snmp 监控

镜像下载、域名解析、时间同步请点击 阿里云开源镜像站 一、部署zabbix 代理服务器 分布式监控的作用: 分担 server 的集中式压力 解决多机房之间的网络延时问题 file bsystemctl disable --now firewalld setenforce 0 hostnamectl set-hostname zbx-proxy file f