人工智能

创建自定义的 Angular 管道

我们在上一篇文章中,了解了什么是 Angular 管道,以及如何使用 Angular 提供的一些常用管道。本文将进一步深入探讨如何创建一个 Angular 管道,实现对数据的自定义转换。 创建管道 我们可以使用 Angular CLI 的 generate 命令,创建一个管道: ng generate pipe sort 输出结果: CREATE src/app/sort.pipe.spec.

SparkThriftServer内存泄漏排查

STS(SparkThrfitServer)版本 spark-3.2.1-bin-hadoop3.2 问题表现 Spark UI 经常无响应 STS 经常挂掉 问题分析 获取heap.hprof和gc.log spark.driver.extraJavaOptions -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/spark/

DG知识点整理 - 数据伦理

//本系列是基于DMBOK2的学习过程中的知识点整理,方便学习与回顾// 数据伦理描述的是在数据全生命周期中,如何用符合伦理(不仅仅是法律要求)的行为来完成数据的处理。组织要注重数据伦理的原因有几个     1)数据对个人的影响,它会被用于各类决策,进而影响个人的生活;     2)数据有被滥用的可能;     3)数据具有经济价值,需要规定数据的所有权,使用权和使用方式。 数据管理者有有管理数据

单元设计的迭代逻辑86--93

大概念视角下的单元设计总体来说遵循的是迭代逻辑,所谓迭代逻辑是指不断重复、反馈和提升的过程,呈现逻辑上升的形态。具体到大概念教学中,是指不断通过具体案例来加深对大概念的认识。而迭代逻辑既有“不变”,也有“变”。86 一.迭代逻辑的“不变” 1.线性逻辑与迭代逻辑 三种大概念的进展方式:爬梯式,拼图式,螺旋式。大概念教学主要呈现的应该是螺旋上升的形态,就是哈伦所说的拼图式和螺旋式的合体,学习既始终围

Netty发送数据writeAndFlush全流程 (下)

本系列Netty源码解析文章基于 4.1.56.Final版本 我们接着上篇文章一文搞懂Netty发送数据全流程 | 你想知道的细节全在这里继续讲解 Netty 的 flush 全流程。 4. flush 从前面 Netty 对 write 事件的处理过程中,我们可以看到当用户调用 ctx.write(msg) 方法之后,Netty 只是将用户要发送的数据临时写到 channel 对应的待发送

【教3妹学MQ】kafka的工作流程是怎么样的?

插: 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。 坚持不懈,越努力越幸运,大家一起学习鸭~~~ 3妹 2哥:3妹,干嘛呢,要不要出去吃大餐? 3妹:在学习MQ呢,昨天你不是教了我消息队列的使用场景有哪些?嘛。我想再系统学习下MQ的工作流程是怎样的。 2哥:不错嘛,作为一个有追求的程序媛,就是不仅要知其然,还要知其所以然。 3妹

书籍1 实战大数据(Hadoop+spark+Flink)2

第二章是搭建IDEA开发环境和Linux虚拟机 这章的内容较少,但需要花费的时间较长,毕竟都是实操部分 首先是搭建IDEA开发环境 每一个IT开发人员都得有一个合适的开发工具,IDEA是大数据开发的首选,在Windows上安装IDEA,然后构建Maven项目。 最首先的还是安装JDK,因为大数据开发的很多地方都是得需要用到Java的。 具体的安装和环境配置这里不再说明。 Maven的安装与配置

在Golang中配置Logrus

当你开始使用Golang编写应用程序时,记录应用程序的运行状态和错误信息是至关重要的。为了记录这些信息,你需要使用一个强大的日志库。Logrus是一个流行的日志库,它提供了丰富的功能和易于使用的API。 在本文中,我们将介绍如何配置Logrus来记录应用程序的日志信息。 安装Logrus 首先,你需要在你的应用程序中安装Logrus。在终端中运行以下命令: go get github

2022-10-09-数仓职业从业困惑和焦虑

首先回答一个问题,数仓工程师的职责是什么?个人认为就是要使得数据流通起来,把数据从一个地方传输到另一个地方,在当前的大数据技术发展背景下,大多数的数仓人员都是使用SQL来实现数据的流通的,大数据技术SQL化对企业来说是好事,更容易维护,更容易找到下一个开发者,但是对从业人员是坏事,SQL谁不会写啊,换言之就是门槛低,没有较高的职业壁垒,于是我们焦虑了.... 确实如此,好用的工具必然要淘汰难用的工

从踩坑到高效选型:基于 AI Ping 平台的 20+MaaS 供应商、220 + 模型服务性能(延迟 / 吞吐 / 可靠性):深度评测与大模型选型指南

从踩坑到高效选型:基于 AI Ping 平台的 20+MaaS 供应商、220 + 模型服务性能(延迟 / 吞吐 / 可靠性):深度评测与大模型选型指南 前言 大模型选型,我个人前段时间就面临这个问题,我们团队第一次要做智能客服项目,明确要求选 “性价比高、性能稳” 的国内大模型