人工智能

1. 首页
2. IT互联网
3. 人工智能

亿万级海量数据去重软方法，spark/hive/flink/mr通用

一、场景描述： 小强作为一名数据工程师，给予hadoop生态，经常会接到类似uv的去重统计。对于这种需求，一般的数据工程师撸起袖子直接干！一般情况下不会有问题。某一天，你公司突然业务发展发展起来，数据量慢慢暴涨，你会突然发现之前的count distinct去重经常oom或是龟速出数据。上来一股脑加内存！加！果断加！某一天你老板要你在原来按天的uv加一个月uv、年uv，这时你慌了。只会说“老板！加

人工智能 2025年07月05日 195 点赞 0 评论 11192 浏览

【知识】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼

1. 摘要 对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的Sqoop、dataX、

人工智能 2025年07月05日 64 点赞 0 评论 1509 浏览

GEO数据高速下载工具ascp的安装及使用

ascp/aspera对于生信中较大数据的下载上传是非常快速的，谁用谁知道！像NCBI(GEO/sra)就是在用，总之两个字：真香！。今天来教大家如何安装ascp以及如何利用ascp从GEO下载数据。在这里呢，我已经给大家下载好了，在下面网盘中下载就行了，设置的永久有效哦。 链接： 提取码：eyvb

人工智能 2025年07月05日 78 点赞 0 评论 13304 浏览

一文学好部署安装p8s operator

概述 为了在Kubernetes中能够方便管理和部署Prometheus，我们使用ConfigMap管理Prometheus配置文件。 promethuse中间也刚好8个字符，我们也称为p8s. p8s Operator架构原理 从概念上来讲Operator就是针对管理特定应用程序的，在Kubernetes基本的Resource和Controller的概念上，以扩展Kubernetes api的形

人工智能 2025年07月05日 117 点赞 0 评论 3585 浏览

理解Apache Pulsar工作原理

Apache Pulsar 是灵活的发布-订阅消息系统（Flexible Pub/Sub messaging），采用分层分片架构。 发布-订阅消息系统 关于发布-订阅模型的概念，主要从多租户、灵活的消息系统、云原生构架、分片的流（Segmented Streams）等方面来强调 Apache Pulsar 的功能和特性。 多租户 租户和命名空间（namespace）是 Pulsar 支持多租户的两

人工智能 2025年07月05日 135 点赞 0 评论 15335 浏览

ggplot-RNA文库reads比对情况-饼图[pie chart]展示

任务目标：批量绘制每个RNA文库reads比对情况的饼图； 任务流程: 数据预处理 和 图样式处理 + 循环出图 library(RColorBrewer);library(ggforce);set.seed(123);;library(ggplot2);library(dplyr);library(tidyverse) 数据集概况 加载进来的的数据集是按行记录了每

人工智能 2025年07月05日 199 点赞 0 评论 12160 浏览

跟着 Cell 学作图 | 复杂热图(ComplexHeatmap)

heatmap_cell.jpg 今天我们复现一幅2020年发表在Cell上的热图。 DOI:10.1016/j.cell.2020.07.009 22 读图 Snipaste_2022-04-21_09-49-27.png 将不同样本的基因表达情况用热图展示并将倍数变化条形图展示在右侧，除此之外我们还可以把P值映射在条形图的颜色上，因为没有下载到原始数据我们将会用示

人工智能 2025年07月04日 129 点赞 0 评论 10002 浏览

获取公共类的测试数据

import java.util.List; import java.util.stream.Collectors; import java.util.stream.Stream; public class FilerDemo { public static void main(String[] args) { List<Employee> list = Employee.getEmp

人工智能 2025年07月04日 172 点赞 0 评论 5973 浏览

INNOVUS中useful skew的设置

Innovus中useful skew的开关 setOptMode -usefulSkew是控制flow run的过程中useful skew是否打开的总开关，如果被设置为false，那么无论其他关于useful skew的设置是什么样的，在flow run的过程中都不会进行useful skew的动作。例如 -usefulSkewCCOpt, -usefulskewPostRou

人工智能 2025年07月04日 116 点赞 0 评论 12927 浏览

《极简学习法》5

教是最好的学 费曼学习法:学习任何知识，如果你能用自己的简单的话，不带行话术语，说给一般人听，他们既能听懂，也能明白，那么就证明你是把这个知识真正学懂了。 精髓:"讲给别人听" 学习的最终目的是现实应用 33原则:学会知识后，至少用3次，抓住本质，举一反三。 学习了某个知识或技能后，一定要马上使用至少3次。这样所学的知识和技能，就能很快被掌握和应用。 举一反三，就是把某个领域的知识迁移到另外一个

人工智能 2025年07月04日 172 点赞 0 评论 6570 浏览