人工智能
书籍1 实战大数据（Hadoop+spark+Flink）1
这本书有8个章节，从基础逐渐展开，但是书籍总共也只有236页，还包含了Hadoop、spark和Flink三个知识点。所以感觉讲得可能不太会很深入。
这里毕竟是书籍的阅读部分，所以不管实用性强不强，书上说的这里都大概提一下。
首先是第一章节：
大数据技术概述
1. 什么是大数据？
简单说就是海量、高增长率和多样化的信息资产。
2. 大数据平台架构是什么？
这里讲得是一般企业的大数据平台的一个组成
基于R语言的微生物群落组成多样性分析——PCA分析
PCA，即主成分分析（Principal Component Analysis），是一种考察多个变量间相关性的降维统计方法，其原理是设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法（摘自百度百科）。
通俗来说，就是将数据从高维映射到低维以达到降低特征维度的目的。计算时，主要通过对协方差矩阵进
心理学研究方法（22）
中原焦点团队坚持分享第1084天（20230123）
主因素分析使用最广泛，它可以运用每一变量与其它所有变量的平方和作为公共因素方差的估计值。人们主张以主因素分析确定基本因素数目，以最大似然因素分析求出因素荷重的准确值。
传统因素分析法采用重心法。
因素分析的基本步骤：
1、数据的采集，要求连续的，不间断的数据资料。从同一总体抽样，运用等距或等比量表测定，获得原始数据，应力求数据测量的高效度，防止
DG知识点整理 - 数据伦理
//本系列是基于DMBOK2的学习过程中的知识点整理，方便学习与回顾//
数据伦理描述的是在数据全生命周期中，如何用符合伦理(不仅仅是法律要求)的行为来完成数据的处理。组织要注重数据伦理的原因有几个
1）数据对个人的影响，它会被用于各类决策，进而影响个人的生活；
2）数据有被滥用的可能；
3）数据具有经济价值，需要规定数据的所有权，使用权和使用方式。
数据管理者有有管理数据
297个机器学习彩图知识点（12）
导读
本系列将持续更新20个机器学习的知识点，欢迎关注。
1. 随机梯度下降
2. 停用词
3. 不平衡数据策略
4. 过拟合策略
5. 监督式深度学习的核心规则
6. 监督&非监督学习
7. 支持向量机分类器
8. 软间隔分类
9. 支持向量
10. SVC的
ChatGPT 背后的数学
ChatGPT是由OpenAI开发的语言模型，它使用深度学习在自然语言中生成类似人类的响应。它基于转换器架构，并在大量文本数据语料库上进行训练，以生成连贯且有意义的答案。ChatGPT 背后的数学很复杂，涉及几种深度学习技术。
image.png
转换器架构
转换器架构是一种深度学习模型，由Vaswani等人在论文“注意力是你所需要的一切”中引入。它是一种神经网络架构，使用自注意机制来
提高数据科学效率的 8 个Python神库！
在进行数据科学时，可能会浪费大量时间编码并等待计算机运行某些东西。所以我选择了一些 Python 库，可以帮助你节省宝贵的时间。
1、Optuna
Optuna 是一个开源的超参数优化框架，它可以自动为机器学习模型找到最佳超参数。
2、ITMO_FS
ITMO_FS 是一个特征选择库，它可以为 ML 模型进行特征选择。拥有的观察值越少，就越需要谨慎处理过多的特征，以避免过度拟合。所谓“谨慎”意思是
Sending build context to Docker daemon 数据很大
正在部署一个docker软件
进行docker build的时候发现文件非常大
Sending build context to Docker daemon xxGB
心中出现疑虑为何会这么大，是不是把自己有个文件夹几个T的数据也传过去了。查了一下果然
Docker client会发送Dockerfile同级目录下的所有文件到Dockerdaemon。
解决的方式：
在一个新的文件夹中进行
解析Apache BookKeeper
本系列关于 BookKeeper 的博客希望帮助大家理解和掌握 BookKeeper 原理和内部逻辑。理解系统内部运行逻辑是快速定位并解决生产问题以及开发和修改新功能的基石。在本系列后续文章中，我会将BookKeeper各项指标与运行机制相结合，为大家展现高效进行性能问题定位的方法。
BookKeeper 中包含很多不同的插件，我们主要关注 BookKeeper 作为 Apache Pulsar
