人工智能

Hbase_读写流程

Hbase架构图 image.png Hbase写操作 image.png 执行put命令,put 'namspace:table','rowkey','clonmu','value' 1.客户端首先访问zookeeper,获取存储元数据meta表所在的ReginServer地址. 2.客户端去访问该rs上的元数据,获取存储表的region分区所在的ReginServer

重构实时离线一体化数仓,Apache Doris 在思必驰的应用实践

作者:赵伟,思必驰大数据高级研发,10年大数据开发和设计经验,负责大数据平台基础技术和OLAP分析技术开发。社区贡献:Doris-spark-connector 的实时读写和优化。 业务背景 思必驰是国内专业的对话式人工智能平台公司,拥有全链路的智能语音语言技术,致力于成为全链路智能语音及语言交互的平台型企业,自主研发了新一代人机交互平台 DUI 和人工智能芯片 TH1520,为车联网、IoT

k8s集群StatefulSets的Pod优雅调度问题思考

1.聊聊什么是StatefulSet的分区滚动更新吧?什么场景可以使用分区更新?什么情况分区更新会失效? 先说一下StatefulSet的更新策略 StatefulSet的.spec.updateStrategy 字段可以配置和禁用掉自动滚动更新 Pod 的容器、标签、资源请求或限制、以及注解。 spec.updateStrategy 有两个允许的值:RollingUpdate和OnDelet

【kafka】为什么kafka中的分区数只能增加不能减少?

当一个主题被创建之后,依然允许我们对其做一定的修改,比如修改分区个数、修改配置等,这个修改的功能就是由kafka-topics.sh脚本中的alter指令所提供。 我们首先来看如何增加主题的分区数。 以前面的主题topic-config为例,当前分区数为1,修改为3: 注意上面提示的告警信息:当主题中的消息包含有key时(即key不为null),根据key来计算分区的行为就会有所影

ChIPseeker绘图函数借用

日常瞎掰   对于ChIP-seq、ATAC-seq等这样捕获基因组富集区域(即分析结果中peak)的技术,大家多多少少应该有所耳闻。在分析这类测序数据的时候,必不可少的步骤就是将peak注释到基因组上,以便了解peak出现在哪些基因的周边区域,从而发现生物学上的意义。目前,注释peak的软件不在少数,如ChIPseeker、homer2等。今天我们主要来说说如何利用ChIPseeker绘制pea

容量管理:判断主机下某资源是否充足?

在容量管理的日常巡检中,不仅仅要注意单机本身存在的低使用率问题,也要发现单机的部分资源是否处于充足状态,这个也是个大问题,最常见的就是磁盘满了,服务直接终止,欲哭无泪。 我们的解决方案也很简单,除了对主机的CPU、磁盘、内存设置固定阈值的告警之外,每日的容量巡检工作也要对对所有主机及所属资源进行检查,并且判断主机的资源是否处于充足状态,判断逻辑还有是当前指标与历史指标的差距、当前指标的离群值以及当

驭码CodeRider 2.0 产品体验:AI重塑研发协作的智能变革

驭码CodeRider 2.0 产品体验:AI重塑研发协作的智能变革🌟 嗨,我是IRpickstars!🌌 总有一行代码,能点亮万千星辰。🔍 在技术的宇宙中,我愿做永不停歇的探索者。✨ 用代码丈量世界,用算法解码未来。我是摘星人,也是造梦者。&#x1f6

Java8 ParallelStream流

前言 并行编程势不可挡,Java从1.7开始就提供了Fork/Join 支持并行处理。java1.8 进一步加强。 并行处理就是将任务拆分子任务,分发给多个处理器同时处理,之后合并。 一、ForkJoinPool ForkJoinPool是JDK7引入的线程池,核心思想是将大的任务拆分成多个小任务(即fork),然后在将多个小任务处理汇总到一个结果上(即join),非常像MapRed