【博客】数据密集型应用系统设计
什么是「数据密集型应用系统」？
当数据（数据量、数据复杂度、数据变化速度）是一个应用的主要挑战，那么可以把这个应用称为数据密集型的。
与之相对的是计算密集型——处理器速度是主要瓶颈。
其实我们平时遇到的大部分系统都是数据密集型的——应用代码访问内存、硬盘、数据库、消息队列中的数据，经过业务逻辑处理，再返回给用户。
image.png
很多软件都是在解决不同场景下的数据存储和检索问题——
人工智能
记一次canal delay 调优过程
一、现象
image.png
image.png
每天夜里12点准时出现延迟告警，查看canal的监控指标，delay指标延迟在5-10分钟，blocking指标中的sink、dump趋于100%，同时canal服务的cpu及memeory很稳定40%左右。
二、分析
被告警吵的实在受不了了，于是下定决心解决这个问题。首先花了点时间研究了一下canal源码，整个canal的
R进行两因素重复测量方差分析并可视化（双组折线图）
在仙桃学术上的生信工具里面，有一个折线图的绘图工具，可以很快速便捷的得出结论并可视化结果，当然不是说这个功能有多强大，而是统计学方法非常专业。
比如用它自带的数据
通过无脑式的鼠标点击，可得到下面一系
市场洞察所需要的“数据”，是如何搜集的呢？
市场洞察所需要的“数据”，是如何搜集的呢？
一、传统的数据收集方法
1.1一手数据
一手数据，也称之为原始数据，是指通过人员访谈、询问、问卷、测定等方式，直接获得的新数据。
收集方法：定性调查与定量调查。
定性调查：主要通过一对一“深度访谈”，例如焦点座谈会。
定量调查：主要通过向消费者发送一个结构化的调查问卷获取数据。
两者可以结合使用，先定性调查挖掘未知、深度，然后定量调查实现数
m6A相关研究到底还有什么新方向
The m6A-Related Long Noncoding RNA Signature Predicts Prognosis and Indicates Tumor Immune Infiltration in Ovarian Cancer
m6A相关的长非编码RNA特征可预测预后并显示卵巢癌的肿瘤免疫浸润情况
发表期刊：Cancers (Basel)
发表日期：2022 Aug 22
影响因
elasticsearch实现简单的脚本排序(script sort)
1、背景
我有一堆学生数据，其中湖北省的学生需要排在所有数据的最前面。其余省正序排序，对于同一个省的数据，按照年龄倒序排序。
2、分析
对于上方的排序需求，湖北省的学生数据需要排在前端，但是湖北省并不是一个字段，那么这个时候改如何实现呢？对于这种场景我们很容易就想到需要脚本script sort来实现。
3、构建数据
3.1 mapping
PUT /index_person
{
"setti
