统计学习方法1.4-2.1 笔记
1.4 模型评估与模型选择
训练误差与测试误差
关于模型的拟合好坏，计算训练集的训练误差进行衡量。
关于模型预测的好坏，通过测试集衡量
计算预测和真实的差异：测试误差：衡量预测效果
训练误差：
所有样本来自训练集，模型对于已知数据的预测能力。
测试误差：
样本来自测试集。模型对于未知数据的预测能力。
误差率和准确率是测试误差的两个特例
误差率里，当
人工智能
创建自定义的 Angular 管道
我们在上一篇文章中，了解了什么是 Angular 管道，以及如何使用 Angular 提供的一些常用管道。本文将进一步深入探讨如何创建一个 Angular 管道，实现对数据的自定义转换。
创建管道
我们可以使用 Angular CLI 的 generate 命令，创建一个管道：
ng generate pipe sort
输出结果：
CREATE src/app/sort.pipe.spec.
SparkThriftServer内存泄漏排查
STS（SparkThrfitServer）版本
spark-3.2.1-bin-hadoop3.2
问题表现
Spark UI 经常无响应
STS 经常挂掉
问题分析
获取heap.hprof和gc.log
spark.driver.extraJavaOptions -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/spark/
DG知识点整理 - 数据伦理
//本系列是基于DMBOK2的学习过程中的知识点整理，方便学习与回顾//
数据伦理描述的是在数据全生命周期中，如何用符合伦理(不仅仅是法律要求)的行为来完成数据的处理。组织要注重数据伦理的原因有几个
1）数据对个人的影响，它会被用于各类决策，进而影响个人的生活；
2）数据有被滥用的可能；
3）数据具有经济价值，需要规定数据的所有权，使用权和使用方式。
数据管理者有有管理数据
单元设计的迭代逻辑86--93
大概念视角下的单元设计总体来说遵循的是迭代逻辑，所谓迭代逻辑是指不断重复、反馈和提升的过程，呈现逻辑上升的形态。具体到大概念教学中，是指不断通过具体案例来加深对大概念的认识。而迭代逻辑既有“不变”，也有“变”。86
一.迭代逻辑的“不变”
1.线性逻辑与迭代逻辑
三种大概念的进展方式：爬梯式，拼图式，螺旋式。大概念教学主要呈现的应该是螺旋上升的形态，就是哈伦所说的拼图式和螺旋式的合体，学习既始终围
Netty发送数据writeAndFlush全流程 （下）
本系列Netty源码解析文章基于 4.1.56.Final版本
我们接着上篇文章一文搞懂Netty发送数据全流程 | 你想知道的细节全在这里继续讲解 Netty 的 flush 全流程。
4. flush
从前面 Netty 对 write 事件的处理过程中，我们可以看到当用户调用 ctx.write(msg) 方法之后，Netty 只是将用户要发送的数据临时写到 channel 对应的待发送
【教3妹学MQ】kafka的工作流程是怎么样的？
插： 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。
坚持不懈，越努力越幸运，大家一起学习鸭~~~
3妹
2哥：3妹，干嘛呢，要不要出去吃大餐？
3妹：在学习MQ呢，昨天你不是教了我消息队列的使用场景有哪些？嘛。我想再系统学习下MQ的工作流程是怎样的。
2哥：不错嘛，作为一个有追求的程序媛，就是不仅要知其然，还要知其所以然。
3妹
书籍1 实战大数据（Hadoop+spark+Flink）2
第二章是搭建IDEA开发环境和Linux虚拟机
这章的内容较少，但需要花费的时间较长，毕竟都是实操部分
首先是搭建IDEA开发环境
每一个IT开发人员都得有一个合适的开发工具，IDEA是大数据开发的首选，在Windows上安装IDEA，然后构建Maven项目。
最首先的还是安装JDK，因为大数据开发的很多地方都是得需要用到Java的。
具体的安装和环境配置这里不再说明。
Maven的安装与配置
在Golang中配置Logrus
当你开始使用Golang编写应用程序时，记录应用程序的运行状态和错误信息是至关重要的。为了记录这些信息，你需要使用一个强大的日志库。Logrus是一个流行的日志库，它提供了丰富的功能和易于使用的API。
在本文中，我们将介绍如何配置Logrus来记录应用程序的日志信息。
安装Logrus
首先，你需要在你的应用程序中安装Logrus。在终端中运行以下命令：
go get github
