鲍倚天:基于云的系统性能诊断与优化

发布日期:2019-10-09 05:48   来源:未知   阅读:

  【IT168 DTCC现场报道】2016年5月12日-14日,第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴,在为期三天的会议中,大会将围绕MySQL、NoSQL、Oracle、缓存技术、云端数据库、智能数据平台、大数据安全、数据治理、大数据和开源、大数据创业、大数据深度学习等领域的前瞻性热点话题与技术展开深入探讨,并邀请一大批国内顶尖的技术专家来进行分享,以满足广大从业人士和行业用户的迫切需要。

  本届是大会创办以来,规模最大,参会人次、参展合作伙伴最多的一次盛会,云集了来自五湖四海的5000余名IT精英,相聚在这里,共话数据库技术发展潮流,共赴大数据浪潮之巅。今天下午,我们来到了“数据库性能优化”专场,Maxgauge产品咨询顾问鲍倚天进行了题为《基于云的系统性能诊断与优化》主题演讲。

  如何通过云的方式,对数据库进行远程诊断优化?如何对数据库进行实时监控、实时收集运行信息、精密诊断及分析、实施SQL优化,有效管理数据库系统的性能?通过主动监控快速发现问题,有效分析应用程序的瓶颈现象,保存多样的性能数据。通过这种方式,开发工程师、DBA可以有效地对数据库应用系统进行实时诊断,美职联球场硬件再升级 球迷狂热撕掉“足球荒漠”标签。排除存在的问题,快速的定位和解决问题,从而降低优化成本和投入时间,为客户带来最大收益。

  嘉宾介绍:鲍倚天,Maxgauge产品咨询顾问,高级优化工程师,Oracle OCM,长期致力于Maxgauge产品咨询和实施,系统性能优化方法论的研究和实践工作,拥有在 电信,金融,物流,制造,政府等多个行业的系统性能优化项目经验。

  IT大环境日趋恶化、人力成本与日俱增、出差费用居高不下、工程师培养难度加大等各种原因,致使线下性能管理和优化服务变得越来越难,客户和IT厂商都处于两难境地。

  人力成本与日俱增,自2013年~2016年3年期间,性能优化工程师的成本至少增长2倍以上。但客户提供的项目费用不但没有增加,反倒降低了将近1/5左右。(经统计和参考同行业相关数据 : 中级性能优化工程师人均成本为6.3万)

  IT环境变化,2014年后半年至现在,互联网+,OTO,移动应用等炙热的市场需求,大量消耗了IT工程师,致使无人安心从事传统IT技术,人员稳定性无法保障。

  性能管理和优化工作通常需要通过出差的形式完成,现在很多工程师不愿意长期出差,致使项目实施和服务难度加大,再加上出差费用,项目成本加大。

  工程师培养周期长,根据经验一个可以独立实施项目的工程师培养周期为1年以上,目前项目型的现状,致使人员复用性非常低。

  针对目前性能管理及优化服务现存的众多问题,必须采取相应且有效的措施予以解决。目前采用的方案为充分利用云服务、发挥工具的作用、采用基于中心化的服务模式等,经过实践具有不错效果。

  基于应用虚拟化技术,可将性能管理和性能优化工具软件发布到云中,以便优化专家在性能优化和管理过程中使用。

  将性能管理或性能监控软件的AGENT部署在对象服务器上,AGENT搜集到的监控信息,可以存储在云服务平台中的知识库中,工程师通过访问知识库实现性能管理和优化。

  据鲍倚天介绍,基于云的索引优化设计及应用步骤有如下7步:1)全面搜集表的读取类型(基于云平台上的性能数据搜集SQL语句并解析);2)选定索引列对象和统计分析其数据分布;3)统计列使用频次及运算符;4)组合索引列及列顺序的选择;5)模拟和测试;6)调整部分SQL语句;7)索引部署及监控。

  监控自动化:自动搜集性能数据、周期记录重要历史信息、TOWN-DOWN方式快速定位问题,效率提升50%以上。优化半自动化:可以由工具代替50%人力劳动、通过工具辅助进行优化工作。服务中心化:降低成本、提升人员复用率。

  场景:实时搜集对象数据库(ORACLE , DB2, SQL SERVER)。将性能信息发送至服务器短,并存储在服务器的知识库中。DBA,性能优化人员,实时查看系统性能问题,并及时了解系统瓶颈。长时间跟踪高消耗SQL语句和SESSION,并形成分析报告,以便准确定位性能瓶颈。长期累积SQL语句和执行计划,并将其解析为读取路径,以便设计战略索引。

  客户收益:为提升优化效果,结合核心表索引设计,完成了125个TOPSQL优化。

  最后,鲍倚天总结道:基于云和工具化的方式实现性能信息的搜集和优化,显着降低了工程师的投入,每个工程师可以支持更多的客户服务。企业客户无须支付昂贵的费用设立性能优化项目,通过该方式给企业提供的远程优化服务服务的持续性和质量,与现场服务没有太大区别。

  工程师出差频次降低后,不仅可以提升工程师的归属感,而且还可以为企业获取更多利润,也有利于人员的持续性培训和管理。该服务提供方式目前仅适用于对安全要求不是特别高,且可以通过特定网管能够允许外部访问的企业,否则难以应用。只要服务厂商可以严格遵守客户企业的安全要求,其实该方式不会对企业的数据安全带来隐患,因为搜集时,仅搜集性能有关的数据,不涉及具体业务数据。