`
jiaoronggui
  • 浏览: 1304074 次
  • 性别: Icon_minigender_1
  • 来自: 合肥
博客专栏
B7c2eb31-a8ea-3973-a517-d00141f39b89
项目管理软件-redmin...
浏览量:115275
4a63e153-250f-30f6-a051-97cfc67cb3d3
IT职业规划
浏览量:197745
社区版块
存档分类
最新评论

对于单表数据超过1亿的数据查询时候,必须默认时间段查询条件

 
阅读更多

 

项目基本情况

最近系统碰到一个非常头疼的问题,数据库采用oracle10G,主备机模式,采用shareplex做数据同步,一个表销售数据近2亿数据,提供16万企业做服务;

 

问题描述

原始设计时候,给企业查询小孩搜明细的时候,并没有考虑时间段条件,而是按照企业id号进行查询,在一开始,数据量不大时候,没有任何,当数据接近1亿的时候,就出现大问题了,因为有一部分企业的数据量非常大,导致此单独按照此企业查询明细数据时候,数据量比较大,大概会有接近50万数据,因为没有默认时间段查询,查询结果集非常大,结果导致此明细查询的IO消耗非常大,因为默认只有企业ID条件,不管怎么做索引,都无法解决此sql的io性能问题,最终解决方法就是,默认增加时间段条件,默认只查询该企业最新一月时间明细数据,然后企业id和时间段的联合索引才解决此问题,真是一个sql,消耗死一台数据库;

 

结论

在做类似过亿数据量表的应用时候,如果涉及到明细数据查询时候,必须增加默认查询时间(一个月或者按照淘宝的三个月),以减少数据库的IO消耗

 

0
0
分享到:
评论

相关推荐

    PB数据窗口通用查询代码

    通用查询,支持多表关联、带参数 只需要传递一个参数datawindow,剩下的一切交给这个函数去完成,看看她功能的强大吧 使用此功能调用方法: gf_set_query(datawindow add_dw) ad_dw : 被查询数据窗 query.pbl : 可带...

    自定义多条件查询及保存、提取查询条件示例

    把该例子导入你的程序,并把代码中的所有的“表1”两个字改成你想查询的表名,然后再把子窗体的控件布置上你所查询的表的所有或部分字段就可以使用了。 <P><P>原理:在窗体启动时把需要查询的表中的所有字段名读取到...

    中国银保监会银行业金融机构监管数据标准化规范(2019版).xlsx

    4. 数据采集:银行机构首次按本《规范》集中报送数据时,公共信息、客户信息、信贷管理等相关数据表报送采集时间段内存续数据,账户类及交易明细类数据报送时间段内的全量数据。银行机构持续报数时,公共信息、客户...

    串口数据采集并自动写入MySQL数据软件

    版本V2.0新增了可任意截取串口获取的字符串,将截取后得到的1或2个 字符串分别存入数据表中的两个字段的功能。达到采集串口上获取数据存入MySQL数据库的作用,进而可以使用各种算法和方法处理这些数据。

    采用2个4选1数据选择器(74LS153)构成1个8选1数据选择器,要求自己设计电路,画出逻辑电路接线图,连接调试,并测试真值表,验证设计电路是否符合要求

    数据选择器的功能及应用,采用2个4选1数据选择器(74LS153)构成1个8选1数据选择器,要求自己设计电路,画出逻辑电路接线图,连接调试,并测试真值表,验证设计电路是否符合要求

    某餐饮企业的订单详情表数据(博客练习专用).zip

    某餐饮企业的订单详情表数据(博客练习专用).zip

    YOLOV5口罩检测数据集+代码+模型 2000张标注好的数据+教学视频.zip

    YOLOV5口罩检测数据集+代码+模型 2000张标注好的数据+教学视频 代码的下载地址在:https://gitee.com/song-laogou/yolov5-mask-42 大家可以按照这里的视频教程配置环境:...

    MSSQL_SERVER数据库增量同步软件(数据库结构及数据)

    每张表必须有一个最后更新日期栏位(时间类型). 首先把需要增量同步的数据库备份还原到另外一台电脑.这样二台的数据库是一模一样的了, 我的博客,我到时会发表一个纯SQL后台代码的增量同步代码. ...

    《数据结构 1800题》

    有 5种表示方式:3+2,3+1+1,2+2+1,2+1+1+1,1+1+1+1+1。 ①以下是该函数的程序段,请将未完成的部分填入,使之完整 int f(m,n) int m,n; { if(m==1) return (1) ; if(n==1){ return (2) ;} if(m) {...

    数据挖掘论文合集-242篇(part1)

    EIS 环境下的数据挖掘技术的研究.caj FCC油品质量指标智能监测系统的数据挖掘与修正技术...面向数据挖掘的时间序列符号化方法研究.kdh 面向集成竞争情报系统的数据挖掘应用研究.caj 预测性模型中的一种数据挖掘算法.kdh

    【原创】C#导出数据到EXCEL方法谈(附实例源码和超级无敌详细讲解)

    当然如果你数据量都很小,我想4种方法就代码量和复杂程度来说第1种基本方法就可以了,或当你的硬件非常牛逼了,那再差的方法也可以高效的完成也没有探讨的实际意义了,呵呵说远了,本文主要是在不考虑硬件或同等硬件...

    最新列车时刻表数据库下载

    为了使数据冗余量和查询速度最优,所有的列车时刻数据均为一张表。表结构如下: 表:Train 字段(所有字段均为字符串类型): ID 列车车次 Type 列车类型 Station 车站 S_No 站序 Day 天数 A_Time 到达...

    数据挖掘论文合集-242篇(part3)

    EIS 环境下的数据挖掘技术的研究.caj FCC油品质量指标智能监测系统的数据挖掘与修正技术...面向数据挖掘的时间序列符号化方法研究.kdh 面向集成竞争情报系统的数据挖掘应用研究.caj 预测性模型中的一种数据挖掘算法.kdh

    SQL SERVER命令与数据字典工具

    3.数据架构菜单包含相关查询、添加、删除、修改SQL代码模板、 (视图、存储过程、触发器、自定义函数)代码、属性、描述等代码查询 4.代码编辑区支持SQL SERVER语法高亮 5.支持print代码执行 6.最大支持代码执行后...

    数据挖掘论文合集-242篇(part2)

    EIS 环境下的数据挖掘技术的研究.caj FCC油品质量指标智能监测系统的数据挖掘与修正技术...面向数据挖掘的时间序列符号化方法研究.kdh 面向集成竞争情报系统的数据挖掘应用研究.caj 预测性模型中的一种数据挖掘算法.kdh

    oracle学习文档 笔记 全面 深刻 详细 通俗易懂 doc word格式 清晰 连接字符串

    日期类型 date 7字节 用于存储表中的日期和时间数据,取值范围是公元前4712年1月1日至公元9999年12月31日,7个字节分别表示世纪、年、月、日、时、分和秒 二进制数据类型 row 1~2000字节 可变长二进制数据,在具体...

    电机故障数据集.rar

    电机故障数据集,振动数据和电流数据,故障类别:转子断条,气隙偏心,轴承磨损,轴承座损坏,匝道短路,轴承外圈,内圈,滚动体故障。 0,正常,健康正常 1,SC2T,2匝短路 2,SC4T,2匝短路 3,SC8T,2匝短路 4,AE,气隙...

    php实现利用phpexcel导入导出数据至excel

    3, 默认只有一条数据,导出至少有一条数据; 4,如果数据不超过5W条,无需分割; 5,没有做文件大小,文件类型等判断; 6, 支持导入/导出xls,xlsx,不支持csv; 7,如果文件上传之前已经损坏,程序会做判断。

    数据库数据对比工具(MSSQL版)

    1、结构对比:如开发库和正式库之间的结构和数据同步,此工具可以告诉您哪个表结构有字段的增加减少,或者字段类型的改变,并生成sql进行结构的同步。2、数据对比:如对比两个数据库中的某个表的数据差异,有差异的...

    Excel VBA与数据库整合应用范例精讲

    实例9-1 从工作簿的某个工作表中查询获取数据(ADO) 实例9-2 从工作簿的全部工作表中查询获取数据(ADO) 实例9-3 利用DAO从工作表中查询数据 实例9-4 查询其他工作簿的数据(ADO) 实例9-5 获取其他工作簿中...

Global site tag (gtag.js) - Google Analytics