R进行两因素重复测量方差分析并可视化(双组折线图) 在仙桃学术上的生信工具里面,有一个折线图的绘图工具,可以很快速便捷的得出结论并可视化结果,当然不是说这个功能有多强大,而是统计学方法非常专业。 比如用它自带的数据 通过无脑式的鼠标点击,可得到下面一系 人工智能 2025年05月10日 163 点赞 0 评论 16552 浏览
记一次canal delay 调优过程 一、现象 image.png image.png 每天夜里12点准时出现延迟告警,查看canal的监控指标,delay指标延迟在5-10分钟,blocking指标中的sink、dump趋于100%,同时canal服务的cpu及memeory很稳定40%左右。 二、分析 被告警吵的实在受不了了,于是下定决心解决这个问题。首先花了点时间研究了一下canal源码,整个canal的 人工智能 2025年05月10日 67 点赞 0 评论 9306 浏览
【博客】数据密集型应用系统设计 什么是「数据密集型应用系统」? 当数据(数据量、数据复杂度、数据变化速度)是一个应用的主要挑战,那么可以把这个应用称为数据密集型的。 与之相对的是计算密集型——处理器速度是主要瓶颈。 其实我们平时遇到的大部分系统都是数据密集型的——应用代码访问内存、硬盘、数据库、消息队列中的数据,经过业务逻辑处理,再返回给用户。 image.png 很多软件都是在解决不同场景下的数据存储和检索问题—— 人工智能 2025年05月10日 154 点赞 0 评论 9587 浏览
Hadoop三种文件存储格式Avro、Parquet、ORC 也是知识,要了解 URL: 为什么我们需要不同的文件格式? 对于 MapReduce 和 Spark 等支持 HDFS 的应用程序来说,一个巨大的瓶颈是在特定位置查找相关数据所需的时间以及将数据写回另一个位置所需的时间。这些问题随着管理大型数据集的困难而变得复杂,例如不断发展的模式或存储限制。 在处理大数据时,存储此 人工智能 2025年05月10日 47 点赞 0 评论 9217 浏览
定义思维 一、什么是定义思维 很多人在学知识的时候,知道个大概就去实践、去应用了,我以前也老是这样,但在实践的时候,却发现自己举一反三的能力很差,总是学到啥就是啥,没办法把知识迁移应用; 问题就出在,你没有真正搞清楚这个概念。一旦你彻底定义清楚了这个概念的推演逻辑,那么这个概念的边界会变得清晰,与这个概念相关的演绎也会自然生长出来,进而变成你心理表征的一部分。 也就是说,此后你再看见它,不止 人工智能 2025年05月10日 183 点赞 0 评论 14427 浏览
复现《nature communications》散点小提琴图+蜜蜂图 今天我们学做一下NC文章的小提琴图,有小提琴图,也有散点,其实看过之前系列文章的人如果能够联想,可以想到这个图是(ggplot分组散点图-坐标轴截断-添加四分位图-显著性检验)和(ggplot批量绘制小提琴图并添加趋势连线)的结合。只不过这篇文章的图有个特点是散点分布和小提琴图形状一致,在画散点的时候利用geom_quasirandom 代替geom_jitter即可。 image.pn 人工智能 2025年05月10日 87 点赞 0 评论 17227 浏览
Hive 开启事务ACID 运行删和改操作 Hive 开启事务ACID 运行删和改操作 事务表的适用场景 对于数仓中的行级数据更新删除需求比较频繁的,可以考虑使用事务表。 但平常的hive表并不建议使用事务表。因为事务表的限制很多,加上由于hive表的特性,也很难满足高并发的场景。另外,如果事务表太多,并且存在大量的更新操作,metastore后台启动的合并线程会定期的提交MapReduce Job, 人工智能 2025年05月10日 82 点赞 0 评论 11273 浏览
跟着Nature学作图:R语言ggplot2频率分布直方图和散点图添加误差线 论文 A saturated map of common genetic variants associated with human height s41586-022-05275-y.pdf 代码没有公开,但是作图数据基本都公开了,争取把每个图都重复一遍 今天的推文重复论文中的extend 人工智能 2025年05月10日 158 点赞 0 评论 17572 浏览
回到力的话题 书名:代码本色:用编程模拟自然系统 作者:Daniel Shiffman 译者:周晗彬 ISBN:978-7-115-36947-5 目录 5.12 回到力的话题 1、Box2D力的作用 Box2D中也存在力的作用,因为我们看到前面的各种矩形和圆会在屏幕中旋转和移动。但到目前为止,我们只学会了如何操纵其中的一个全局作用力——重力。 box2d = new PBox2D(this); box 人工智能 2025年05月09日 51 点赞 0 评论 10025 浏览
《教育心理学》学习2-6 2.2.3记忆训练程序 古希腊和罗马人区分了两种类型的记忆:“天生”(natural)记忆和“人工”(artificial)记忆。前者是与生俱来的,每个人都可以本能地使用;后者可以通过大量记忆方法的学习和实践来训练和提高。为了提高人们记忆的效率,后天进行有针对性的策略训练是一种有效的方式。 先前的研究显示,训练能够增加记忆术的使用效率,对于老年人(Jennings,Webster, Kley 人工智能 2025年05月09日 160 点赞 0 评论 18385 浏览