数据结构与算法
MYSQL in 与exist区别
exist 用法示例:
select A.IsNullable attr from UM_M_TableColumn A where EXISTS (select id from
UM_METADATA where TENANT_CODE = 'META2021') group by A.IsNullable; --510ms
in用法示例:
select A.IsNullable attr f
MySql数据库·数据批量处理
一、定义:
主要分为2个部分:导入数据、导出数据
导入数据:一次性向表里存储多行数据
导出数据:一次性把表里的多行数据都取出来
二、MySql检索路径:
查看默认的检索目录:
数据导入或导出时,存放数据的文件必须在mysql服务要求的目录下
安装数据库服务软件时,会自动创建检索目录/var/lib/mysql-files/
mysql> show variables like "s
Excel透视表实现多表关联
Excel透视表通过几步简单的拖动,就能快速对数据进行汇总,今天要讲的是它的多表关联功能。
要汇总所有员工姓名及销量,有两张表(为了展示放在一起了),左边的销量表只有编号,姓名在另一张表上。
两张数据表
先对销量数据插入数据透视表,选择销量数据区域,点击上方插入菜单-透视表,弹出框中黄色区域默认就行,需要注意的是3号红框的位置,一定要勾选将此数据添加到数据模型。
插入透视表
Spring-webflux实战
1. pom.xml引入以下内容,主要是支持在响应式的环境下对关系型数据库进行访问
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-r2dbc<
mySql批量插入优化
近日,项目中有一个耗时较长的Job存在CPU占用过高的问题,经排查发现,主要时间消耗在往MyBatis中批量插入数据。
mapper configuration是用foreach循环做的,差不多是这样。(由于项目保密,以下代码均为自己手写的demo代码)
<insert id="batchInsert" parameterType="java.util.List">
inser
Django haystack + whoosh + jieba 全文搜索
简介
业务场景
搜索栏输入塑料玩具时,希望优先搜索出 名称 或 简介 中带有 塑料玩具 的条目, 并同时匹配出 塑料 、玩具、玩具塑料、塑料玩巨等信息,按照匹配度排序,且支持匹配英文大小写。
技术选型
Django自带的模糊匹配 icontains 表示 Mysql的 like,不满足业务分词需求,且随着数据量增大,消耗的资源和时间都会线性增长,因此考虑使用专门的搜索框架
haystack
搜索
MySQL 崩溃恢复过程分析
天有不测风云,数据库有旦夕祸福。
前面写 Redo 日志的文章介绍过,数据库正常运行时,Redo 日志就是个累赘。
现在,终于到了 Redo 日志扬眉吐气,大显身手的时候了。
本文我们一起来看看,MySQL 在崩溃恢复过程中都干了哪些事情,Redo 日志又是怎么大显身手的。
本文介绍的崩溃恢复过程,包含 server 层和 InnoDB,不涉及其它存储引擎,内容基于 MySQL 8.0.29 源
MySql存储引擎介绍
一、存储引擎概念:
存储引擎:MySQL服务自带的功能程序,MySQL服务支持多种存储引擎,例如:MySQL 5.0/5.1 (MyISAM)、MySQL 5.5/5.6 (InnoDB)
每种存储引擎功能和数据存储方式各不相同(存储引擎就是MySQL服务的功能分类)
当对表里的数据做select 、insert 、 update 、delete 访问时,MySQL服务根据表使用的存储引擎对
MySQL 对于千万级的大表要怎么优化?
问题概述
使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死。严重影响业务。
方案概述
方案一:优化现有mysql数据库。优点:不影响现有业务,源程序不需要修改代码,成本最低。缺点:有优化瓶颈,数据量过亿就玩完了。
方案二:升级数据库类型,换一种100%兼容mysql