一网打尽GEO数据集全目录信息
1 GEO菜单初览
1.1 GDS目录
1.2 GPL目录
1.3 GSE目录
1.4 GSM目录
2 使用R包rvest下载GEO菜单
2.1 以GPL数据的一个页面为例
2.2 批量下载GPL数据目录
2.3 批量下载GSE数据目录
2.4 批量下载GSM数据目录
2.5 保存及更新下载的数据
3 使用R包tidyverse整理GEO菜单
3.1 整理GPL数据目录
3.2 整理GSE数据目录
人工智能
迁移学习 (transfor learning) or 微调（fine tune）
（一）微调 / 迁移学习
数据标注是一个很贵的事情，我们希望在经过大量的数据训练以后。我们的模型具备了一定的学习能力，在以后只需要给一点点的提示就能够学会一个新的事物。就是迁移学习的概念，名字不一样而已。
（1）网络架构
一个神经网络可以分为两块
特征收取将原始像素变为能够线性分割的特征
线性分类器来做分类
那么微调是怎么做的呢？
有一个神经网络net，它的训练来自于A数据集，而
Hadoop三种文件存储格式Avro、Parquet、ORC
也是知识，要了解
URL：
为什么我们需要不同的文件格式？
对于 MapReduce 和 Spark 等支持 HDFS 的应用程序来说，一个巨大的瓶颈是在特定位置查找相关数据所需的时间以及将数据写回另一个位置所需的时间。这些问题随着管理大型数据集的困难而变得复杂，例如不断发展的模式或存储限制。
在处理大数据时，存储此
关于“量”现象的思维提纲
静月园
2022 08 01
一： 量
量：liang （文字释义绳略）
量，是自然界的一种存在状态。
当这种状态具有界限或者范围属性，它表现为空间。
当量的存在状态单位可以明确的界定，那么会产生数量。即你可以知道量是有限的 可以计量多少的。
量是属于自然的存在状态。
量和数是不同的两个概念。
量是物体自然的存在状态，
记一次canal delay 调优过程
一、现象
image.png
image.png
每天夜里12点准时出现延迟告警，查看canal的监控指标，delay指标延迟在5-10分钟，blocking指标中的sink、dump趋于100%，同时canal服务的cpu及memeory很稳定40%左右。
二、分析
被告警吵的实在受不了了，于是下定决心解决这个问题。首先花了点时间研究了一下canal源码，整个canal的
在 Flutter 项目中将 Hive 作为数据库与 Provider 集成
什么是Hive？
Hive 是一个 No-SQL 轻量级和快速键值数据库解决方案，它是跨平台的（在移动设备、桌面和 Web 上运行）并且是用纯 Dart 编写的。与不支持 Flutter web 的 sqflite 相比，这使其具有立竿见影的优势——Hive 具有任何原生依赖项，因此它可以在 web 上无缝运行。
深入了解何时以及为什么应该使用 hive。
据统计，在写入或删除方面
从头到尾，手把手教你使用扣子（coze）搭建自己的AI智能体
一：什么是智能体智能体就像是一个有“脑子”的帮手。它存在于某个环境中（比如手机、电脑、机器人、甚至网络里），能自己观察周围的情况，思考该做什么，然后主动采取行动去完成目标。举个例子：1. 手机里的语音助手(Siri、小爱同学)：你说话它听（感知环境）ÿ
【博客】数据密集型应用系统设计
什么是「数据密集型应用系统」？
当数据（数据量、数据复杂度、数据变化速度）是一个应用的主要挑战，那么可以把这个应用称为数据密集型的。
与之相对的是计算密集型——处理器速度是主要瓶颈。
其实我们平时遇到的大部分系统都是数据密集型的——应用代码访问内存、硬盘、数据库、消息队列中的数据，经过业务逻辑处理，再返回给用户。
image.png
很多软件都是在解决不同场景下的数据存储和检索问题——
使用函数作为参数 传递数据，封装阿里 easyexcel 导出，导入大数据量 excel
注意 数据是 从函数里面拿到，很多语言都支持 函数作为参数，java8 之后也支持
函数作为参数 有些不好理解，但是 很多写法 就是比较灵活了 如Scala 代码就十分优雅，鼓励用
/**
* 大数量导出
* @param fileName 生成文件地址
* @param head 表头
* @param pageSize 页大小
* @
网络拓扑图可以用AI绘制了吗？常用工具列举探索
绘制网络拓扑图，目前业内有多款工具可供选择，而在AIGC的大趋势下，如果能通过AI自动生成各类网络拓扑图就更香了；以此为目的，针对主要的几款工具进行了AI方面的探索，然而我们想的还是太美好了，AI的福音还没有吹到拓扑图绘制的领域，但从当下的几款工具，我们也可从功能上探知一二
