数据结构与算法
MySql分片规则·枚举分片
一、枚举分片规则(sharding-by-intfile) :
表里必须有名字叫sharding_id的表头
且表头的值必须在分片规则配置文件定义的值里选择。
配置规则文件:/usr/local/mycat/conf/partition-hash-int.txt
# 设置sharding_id表头的值
Mycat60~ ]# vim /usr/local/mycat/conf/partiti
Clickhouse(流量分析(二).留存分析案例)
1. 留存分析定义
神策用户分析模型——留存分析的使用方法
2. 留存分析
ClickHouse留存分析工具十亿数据秒级查询方案
高效压缩位图RoaringBitmap的原理与应用
留存函数(retention)
方案一. Roaringbitmap
一般来说,求留存率的做法就是两天的用户求交集,join的速度会比较慢。假若每一个用户都可以表示成一个32位的无符号整型,用bitmap的形式去存储,
R语言-data.table包用来加速大型数据集的加载和运算
R语言具有较强的数据分析能力,但是对于数据处理,尤其是面对较大数据量时,就有很多的不足之处,为了解决处理较大数据集的问题,R中涌现了一系列数据处理的包,data.table包就是其中之一。
R语言data.table包是自带包data.frame的升级版,用于数据框格式数据的处理,最大的特点是快。它内部处理的步骤进行了程序上的优化,使用多线程,还有很多C编写的函数,大大加快数据
JavaScript语法基础
一、关于变量
(1) 什么是变量
变量 Variable ,描述了程序中临时存储数据的容器
image.png
(2) 变量的声明
原生JavaScript中,有两种方式可以创建变量:
可以直接通过一个自定义名称创建一个变量;
使用var关键字创建变量(推荐)
<!DOCTYPE html>
<html lang="zh">
<head>
分库分表神器 Sharding-JDBC
一、Sharding-JDBC 简介
最早是当当网内部使用的一款分库分表框架,到2017年的时候才开始对外开源,这几年在大量社区贡献者的不断迭代下,功能也逐渐完善,现已更名为 ShardingSphere,2020年416正式成为 Apache 软件基会的顶级项。
随着版本的不断更迭 的核心功能也变得多元化起来。从最开始 Sharding-JDBC 1.0 版本只有数据分片,到 Sharding-
SQL SERVER聚集索引
一、聚集索引
1、数据存储在数据页中
表的数据是存储在数据页中(数据页的PageType标记为1),SqlServer一页是8k,存满一页就开辟下一页存储。
如果表有聚集索引,那么一笔一笔物理数据就是按聚集索引字段的大小升/降排序存储在页中。当对聚集索引字段更新或中间插入/删除数据时,都会导致表数据移动(造成性能一定影响),因为它要保持升/降排序。
注意,主键只是默认是聚集索引,它
R语言数据处理替换操作(含gsub函数常用示例)——实战单细胞信息注释函数 2022-07-01
适用背景
在R语言中,我们需要对字符串、向量和数据框等数据类型进行替换操作,有时候是因为需要更换别名,有时候是因为数据存在错误需要修正,有时候则是因为需要删除某些信息。本文将介绍常用的替换函数gsub的常用用法,但gsub也存在某些局限性,一般只能进行一次指定情况的操作。例如在单细胞数据分析的信息注释过程中,我们常常需要把无监督聚类得到的clusters注释成细胞类型,如果每一个clusters都
ShardingJDBC 分库分表详解
一、ShardingSphere概述
1.1、ShardingSphere概述
Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈,它由 JDBC、Proxy 和 Sidecar(规划中)这 3 款既能够独立部署,又支持混合部署配合使用的产品组成。 它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能,可适用于如 Java 同构、异构语言、云原生等各种