数据结构与算法

MySQL 对于千万级的大表要怎么优化?

问题概述 使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死。严重影响业务。 方案概述 方案一:优化现有mysql数据库。优点:不影响现有业务,源程序不需要修改代码,成本最低。缺点:有优化瓶颈,数据量过亿就玩完了。 方案二:升级数据库类型,换一种100%兼容mysql

06 mysql的数据库配置

查看编码命令 查看字符配置信息 show variables like 'character_%'; 查看比较规则 show variables like 'collation_%'; 5.7版本及以下的版本使用是拉丁,注意要修改配置my.ini default-character-set=utf8 #默认字符集 [mysqld] # 大概在76行左右,在其下添加 ... character-

SAS编程-小知识:import过程步的Guessingrows选项

最近项目的一个Raw Data的为txt的文本格式,首行为变量名,变量以及变量值以Tab间隔。 Dummy 数据 直接使用import过程步将数据导入SAS数据集,遇到了问题:数据可以正常导入,但是Log会出现Warning和Error。 proc import datafile = "xxx.txt" out = rawdata replace dbms = tab; delim

591. 【数据库】starrocks 安装部署集群版

之前写过一篇427.【数据库】starrocks 安装踩坑,今天把详细的安装步骤记录下来: 一、环境准备 starrocks 安装包 jdk8 centos7服务器3台 二、服务器互信任 在三台服务器之间建立互信任,使得ssh 连接时,无需输入密码,可参考170. 【Linux】ssh-keyscan 解决“离线环境”多节点互信任问题,里面的脚本可直接使用。 互信任完成之后,就可以使用 syn

MongoDB丢数据问题的分析

坊间有很多传说MongoDB会丢数据。特别是最近有一个InfoQ翻译的Sven的一篇水文(为什么叫做水文?因为里面并没有他自己的原创,只是搜罗了一些网上的博客,炒了些冷饭吃),其中又提到了丢数据的事情。大家知道作为一个数据库来说,数据的持久性基本上是数据库的最低要求了。如果MongoDB真的有那么糟糕的数据安全问题,它早就在技术选择众多的今天被无情地淘汰掉了。那么真相到底如何呢? 实事求是地来说,

Mysql+Javaweb阶段复盘总结

从6月25日JQuery考核完毕后,开始学习Mysql和Javaweb,到今天9月22日。终于结束了这个比较大的阶段。去年在强化班的时候,看着雅文学姐在电脑上操控着黑窗口写一些神秘的代码,又小又密集。当时想着什么时候我也能像雅文学姐一样学到这样的技术。这次终于学到了这个阶段。 Mysql 关系型数据库,这次初步学习花了我一周时间。了解了Mysql的安装,卸载、一些基础DQL、DDL、DML语句等,

【tcp】 TCP的连接重连&QUIC的连接迁移

TCP的连接重连之痛 一条 TCP 连接是由四元组标识的(源 IP,源端口,目的 IP,目的端口)。什么叫连接迁移呢?就是当其中任何一个元素发生变化时,这条连接依然维持着,能够保持业务逻辑不中断。当然这里面主要关注的是客户端的变化,因为客户端不可控并且网络环境经常发生变化,而服务端的 IP 和端口一般都是固定的。 比如大家使用手机在 WIFI 和 4G 移动网络切换时,客户端的 IP 肯定会发生变

mySql批量插入优化

近日,项目中有一个耗时较长的Job存在CPU占用过高的问题,经排查发现,主要时间消耗在往MyBatis中批量插入数据。 mapper configuration是用foreach循环做的,差不多是这样。(由于项目保密,以下代码均为自己手写的demo代码) <insert id="batchInsert" parameterType="java.util.List"> inser

图解LeetCode——854. 相似度为 K 的字符串(难度:困难)

一、题目 对于某些非负整数 k ,如果交换 s1 中两个字母的位置恰好 k 次,能够使结果字符串等于 s2 ,则认为字符串 s1 和 s2 的 相似度为 k 。 给你两个字母异位词 s1 和 s2 ,返回 s1 和 s2 的相似度 k 的最小值。 二、示例 2.1> 示例 1: 【输入】s1 = "ab", s2 = "ba" 【输出】1 2.2> 示例 2: 【输入】s1 =

21个MySQL表设计的经验准则

1.命名规范 数据库表名、字段名、索引名等都需要命名规范,可读性高(一般要求用英文),让别人一看命名,就知道这个字段表示什么意思。 比如一个表的账号字段,反例如下: acc_no,1_acc_no,zhanghao 正例: account_no,account_number 表名、字段名必须使用小写字母或者数字,禁止使用数字开头,禁止使用拼音,并且一般不使用英文缩写。 主键索引名为pk_字段