数据结构与算法

Pandas 依据特定列去除重复值

目的:依据特定的几个列,对数值相同的行进行删除 函数:pandas.DataFrame.drop_duplicates() 功能:针对输入的DataFrame格式的数据,去除指定列下面的重复的行,返回一个DataFrame数据 参数解释: subset:默认采用所有列,可以指定特定列 keep:可选{‘first’, ‘last’, False}, 默认 ‘first’,选择保留第一次还是最后

工作日常2

2022-07-20 研报抽取接口中新增了以下操作逻辑: 机构组织的统计选举操作 组织机构实体与金融指标实体相关联的操作 金融指标变化内容的遍历赋值操作 金融指标有无具体数值的判断操作 在生成节点与边的过程中,将构建逻辑优化为:首先检查节点是否存在,如果不存在则生成该节点并将边的尾节点id赋值为当前节点id;否则到节点字典中寻找当前节点的id并赋值给边的尾节点id。最后检查边是否重复,如果不

flink-cdc同步mysql数据到elasticsearch

本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC? CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。 [图片上传失败...(image-7f4dd8-166

Select进阶查询·流程控制函数

一、语法格式: if语句 语法格式: if(条件,v1,v2) 如果条件成立,则返回v1,否则返回v2 ifnull语句 语法格式: ifnull(v1,v2) 如果v1不是空,则返回v1,否则返回v2 相当于如果v1为空,返回默认值的效果 case语句 语法格式 (可以有多个判断添加): 如果字段名等于某个值 则返回对应位置then后面的值 并结束判断 如果与所有值都不相等

MySQL 查询优化(六): MySQL 的查询优化排序优化机制

对结果进行排序操作的代价可能很高,因此可以通过避免排序或让参与排序的数据行更少来优化查询性能。 当 MySQL 不能使用索引产生有序结果时,它必须对数据行进行排序。这有可能是在内存中进行也可能是在磁盘进行,但 MySQL 始终将这个过程称之为 filesort,即便实际上并没有使用一个文件。 如果用于排序的值可以一次性放入排序缓存中,MySQL 可以在内存中使用快排算法进行排序。如果 MySQL

解决sqlite3查询数据返回字典格式的方法

问题: python使用 sqlite3 数据库进行增删改查时发现,sqlite3查询数据返回的元组,会导致我使用csv库导出数据时会报错。 如下图,是sqlite3最初查询返回的数据格式: 源码: import sqlite3 conn = sqlite3.connect('show.db.php') cursor = conn.cursor() def catalog_page_num()

ES-集群配置7.1.1

1、优化配置主机配置 cat << EOF >>/etc/security/limits.conf root soft nofile 65535 root hard nofile 65535 * soft nofile 65536 * hard nofile 65536 EOF echo "vm.max_map_count=655360">>/etc/sysct

coding ability 展开第六幕(前缀和算法——一维到二维)超详细!!!!

文章目录 前言 前缀和 寻找数组的中心下标 思路 除自身以外数组的乘积 思路 总结 总结 前言 本专栏上一篇已经把二分查找的习题结束啦 其实核心就是找出二段性,然后找出判断条件,然后选板子二分即可 今天我们来学习新的算法知识,前缀和 关于前缀和,可能大家在蓝桥杯或者一些算法比赛都听过 其实前缀和不难的