人工智能

BookKeeper 基本原理

[TOC] 本篇文章主要聚焦于 BookKeeper 内核的实现机制上,会从 BookKeeper 的基本概念、架构、读写一致性实现、读写分离实现、容错机制等方面来讲述,因为我并没有看过 BookKeeper 的源码,所以这里的讲述主要还是从原理、方案实现上来介绍,具体如何从解决方案落地到具体的代码实现,有兴趣的可以去看下 BookKeeper 的源码实现。 BookKeeper 基础 正如 Ap

Apache Pulsar——分层存储

前言 在一些流数据用例场景中,用户希望将数据长时间存储在流中。虽然 Apache Pulsar 对topic backlog的大小没有限制,但将所有数据存储在 Pulsar 中较长时间,存储成本比较大。分层存储支持在不影响终端用户的条件下,将较旧的数据移动到长期存储中。 在推荐服务中,开发者不希望限制 backlog 的大小。以音乐服务为例,终端用户每听一首歌,就向 topic 中添加一条消息。使

论文阅读_神经网络知识蒸馏_DK

英文题目:Distilling the Knowledge in a Neural Network 中文题目:神经网络知识蒸馏 论文地址: 领域:深度学习 发表时间:2015 作者:Geoffrey Hinton,谷歌 出处:NIPS 被引量:6972 阅读时间:2022.09.21 读后感 这是最早提出蒸馏模型的文章,它训练

土味儿说明数据治理-主数据&参考数据(参考数据)

一,前言 主数据和参考数据在我们数据开发或者JavaWeb开发的同学都有经常接触,并且是大量的使用和分析场景,在数据治理中提到的一些专业名词在数据仓库中或者业务的RDBMS库中都有对应的关系映射。 映射关系: 图片.png 业务系统中交易的订单状态,支付中的支付状态 在数据治理中都可以理解为参考数据。这类数据的特性在于他要比主数据小,具体体现是参考数据的 “列和行” 都要比主数据小,

50 - 基因组预测的基础(4) - ssGBLUP和H矩阵

ssGBLUP经过10多年的发展,已经普遍开始应用在动物育种中。 以前的多步法 image.png 基因组评估 image.png 问题: image.png 表型的测量 image.png image.png BLUP会低估基因组选择趋势 image.png 一步法(ssGBLUP) image.png 展

转录组丨limma差异表达分析,绘制火山图和热图

limma差异表达分析 本篇笔记的内容是在R语言中利用limma包进行差异表达分析,主要针对转录组测序得到的基因表达数据进行下游分析,并将分析结果可视化,绘制火山图和热图 [TOC] 基因表达差异分析是我们做转录组最关键根本的一步,不管哪种差异分析,其本质都是广义线性模型,limma也是广义线性模型的一种,其对每个gene的表达量拟合一个线性方程。 limma包是2015年发表在Nuclei

工具 | 比较基因组 | WGDI

看我不如看【参考】 参考: WGDI | WGDI | bilibili | WGDI的简单使用(一) bilibili | WGDI的简单使用(二) 简书 | xuzhougeng | 如何用WGDI进行共线

Hbase——详解

产生背景 自 1970 年以来,关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后, 好多公司实现处理大数据并从中受益,并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统,用于存储大数据,并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大的数据,任意的格式甚至非结构化的处理。 Hadoop 的限制 Hadoop 只能执行批量处理,并且只

评价的三种类型:学习性评价,学习的评价和学习式评价《大概念教学》206---209

以往我们更多的把评价分为形成性评价和终极性评价。形成性评价是在过程中收集数据,终结性评价是到结束后收集数据,其目的都在于评定学生。 形成性评价的目的在于改进,而终结性评价的目的在于评定。如果在过程中数据收集证据也是用于评定,而不是反馈,那么会使学生长期处于一种焦虑状态,不敢犯错。特别是对于一些具有高难度的任务而言,学习需要有一个过程,而改进恰恰需要给予学生犯错的空间,从而鼓励他们去完成挑战性任务。