人工智能

R稀疏矩阵转化稠密矩阵|使用as.matrix()报错:Cholmod error 'problem too large'

在进行一些数据分析是经常会需要将一个数据对象转化为矩阵,以及稀疏矩阵(sparse matrix)和稠密矩阵之间的互化。 问题&报错 在R环境中,用的非常普遍的函数就是as.matrix(),但是,当转化的稀疏矩阵对象非常巨大的时候,例如细胞数目非常多的单细胞数据,R就会报如下类似的错误: Error in asMethod(object) : Cholmod error 'probl

Kafka笔记

一、背景知识 Kafka定义 传统定义:Kafka 是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 最新定义:Kafka 是一个开源的分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。 消息队列 传统的消息队列的主要应用场景包括: 缓存/消峰、 解耦和异步通信。目前企业中比较常见的消息队列产品主要有 ActiveMQ、RabbitMQ、R

先为不可胜——中小企业生存之道38

第五章 第4节 胜任特征模型         企业选人和用人需要科学的标准,也就是常说的职务说明书或者叫岗位描述。岗位胜任特征模型就是主要解决企业中不同岗位需要明确的岗位关键胜任力素质标准量化的问题,解决实践中我们遇到的什么素质类型的人能够在这个岗位上产生高绩效的问题。         胜任特征指能将某一工作(或组织、文化)中有卓越成就者与表现平平者区分开来的个人的潜在特征,它可以是动机、特质、自

大数据:HDFS知识体系(知其然,知其所以然)

前言 HDFS是Hadoop体系的基础,不知道各位怎么对待HDFS。反正我更多的关注一些应用层的东西,对于HDFS多有忽视。 但是每次面试的时候都要重新去背面经,我觉得这样的情况不太正常,因此耗时两天半整理了HDFS的知识体系,力求知其然也要知其所以然。 文章中有不少个人思考,希望能让各位更好的理解HDFS. 一、HDFS特性 高容错性:HDFS认为硬件总是不可靠的。 高吞吐量:HDFS为大量

Apache Doris——简介

1.概述 Apache Doris 是一个基于MPP架构的高性能实时分析 OLAP 引擎,以其极快的速度和易用性而闻名。 它只需要亚秒的响应时间即可在海量数据下返回查询结果,并且不仅可以支持高并发点查询场景,还可以支持高吞吐量复杂分析场景。 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Dori

Java并发编程——CompletableFuture源码解析

前言 JDK8 为我们带来了 CompletableFuture 这个有意思的新类,它提供比 Future 更灵活更强大的回调功能,借助 CompletableFuture 我们可以更方便的编排异步任务。 由于 CompletableFuture 默认的线程池是 ForkJoinPool,在讲 CompletableFuture 之前觉得有必要先简单介绍一下 ForkJoinPool。 一、For

从零开始强化学习(四)——策略梯度

四. 策略梯度(Policy Gradient) 4.1 期望奖励(Expected Reward) 在强化学习中有3个组成部分:演员(actor),环境(environment)和奖励函数(reward function) 演员就是一个网络,输入状态,输出动作 环境就是一个函数,输入状态和动作,输出状态。环境是基于规则的规则,是确定不变的 奖励是在某一个状态下采取某个动作能够获得的分数。环境是

R绘图配色总结

日常瞎掰   一图胜千言,说明了其作为一种展现形式在呈现数据结果时的重要性。虽说图的本质是用来展示结果,其最主要的功能是以简单的形式说明数据中蕴含的意义,但有时候好看的外表也是一种加分项,例如图型的布局,颜色搭配等。好的颜色搭配不仅看起来赏心悦目,更重要的作用应该是能增加数据中的辨识度,给人一目了然的感觉,而不是晕倒在五彩斑斓的迷离中。虽然俺也不善于颜色搭配,但这并不妨碍咱站在巨人的肩膀上来为图增

分布式定时调度-xxl-job

一、定时任务概述 1.1 定时任务认识 1.1.1 什么是定时任务 定时任务是按照指定时间周期运行任务。使用场景为在某个固定时间点执行,或者周期性的去执行某个任务,比如:每天晚上24点做数据汇总,定时发送短信等。 1.1.2 常见定时任务方案 While + Sleep : 通过循环加休眠的方式定时执行 Timer和TimerTask实现 :JDK自带的定时任务,可以实现简单的间隔执行任务(在指

Cephalon端脑云:神经形态计算+边缘AI·重定义云端算力

 前引:当算力不再是“奢侈品” ,在人工智能、3D渲染、科学计算等领域,算力一直是横亘在个人与企业面前的“高墙”。高性能服务器价格动辄数十万元,专业设备维护成本高,普通人大多是望而却步。然而,Cephalon算力平台的出现,正在颠覆这一局面。正如其界面设计传递的信息——深色背景象征技术的深邃&#xff