【蓝因子教育】当你的PG数据库慢慢变大(蓝因『机器人』️科技有限公司怎么样)

【蓝因子教育】当你的PG数据库慢慢变大(蓝因『机器人』️科技有限公司怎么样)

数据库用户都会面临这样的问题,当系统刚刚开发好的时候,一切都是OK的,数据库也没啥性能问题,应用跑得杠杠的。半年后也许是一两年后,事情发生变化了。过去在 100 毫秒内运行的查询现在只需要一秒钟甚至几秒钟,刚开始的时候开发人员还是能够应付这些情况的,不过很快研发人员搞不定了,这时候PG DBA就需要上场了。对于很多DBA来说,优化规模扩展了数倍甚至数十倍的PostgreSQL数据库是一件具有挑战性的工作。

一般情况下,大多数系统在刚刚开始的时候往往因为开发时索引设计不够合理而产生了大多数的性能问题,最初的优化工作可以基于慢SQL的处理,通过索引的优化可以度过你最初的具有挑战性的日子。当然,如果你的PG『服务器』使用了虚拟机 ,那么增加硬件资源也可以是应急的选项之一。不过总是扩展硬件并非解决之道,解决数据库的根本问题才是王道。因此在此阶段并不建议你立即扩容『服务器』,而是先开始整治慢SQL。

很多DBA在此阶段喜欢自己动手去一个个优化SQL,而在一个略大一些的组织中,如果应用开发团队比较强大,那么DBA在这个阶段最好的策略是教会研发团队中的关键人物SQL优化的一些简单的技巧,比如分析执行计划的合理性以及索引创建的规则。这样研发团队会将一部分优化工作承担起来,而不是让你陷入到这些枯燥并且不容易让领导感受到你的价值的工作中,影响你在DBA本职中的工作效率。另外,由于研发人员更了解应用的细节,让他们更多参与初期的SQL优化工作,可以让这件事干得更有针对性,效果也会更好。

如果你们企业规模不大,从Oracle迁移到PG后DBA的工作量不够饱满,干这些工作有助于让你的工作量饱满起来,那么你承接这些SQL优化的工作也是可以的。

在这个阶段,你需要对数据库的参数做一次重新评估,因为目前系统的规模和刚上线时候已经有了较大差别,shared_buffers,work_mem、max_parallel_workers等参数的设置是否合理会影响到某些SQL的执行效率。bgwriter、walwriter、checkpoint相关的参数设置的不合理可能会影响到高并发下的数据库整体性能。操作系统相关的参数设置不合理可能会让硬件资源无法发挥最大的效益。当系统很小的时候,这些参数哪怕设置得不太合理,也问题不大。而当系统规模比较大的时候,这些参数也就需要精细化调优了。

除了上述常规的工作,你还需要找到系统中的比较大的表,通过数据增长量的情况来分析你是否需要优化表的结构,如果某些大表数据量增长很快,你要考虑开始优化,将这些表改为分区表。在系统规模刚刚开始增大时,这种工作还不太费劲,等到表超级大的时候,做起来就费劲了。这项工作是开发团队往往会忽视的,也是体现DBA价值的,因此这项工作一定要做好。

对于一些热表,经常会有热块争用的表,哪怕表不够大,在业务访问性能不受影响的情况下(比如没有大量的顺序读取),可以考虑改为HASH 分区表,从而为今后的长期运行排除掉一个地雷。如果该表不太适合HASH分区,那么适当减小这张表的填充因子,缓解一下热块冲突的影响也是很不错的。

实际上在这个阶段,你已经有能力判断这个系统今后的规模了,如果你的评估是今后系统可能会导致单机负载过高,那么你可以向领导提出未来容量发展的评估结果,并给出建议。未来一两年系统的扩容和硬件改造优化虽然并不一定马上会开展,但是你需要给领导提出一个建议。如果简单扩容无法解决问题,那么你可以建议优化架构,将系统改为读写分离架构来满足未来的需求。因为这个优化需要应用架构上的大调整,因此对于DBA来说,这个建议的提出越早越好。

在这个阶段,你还需要仔细考虑当前系统的高可用架构、备份策略等方面是否存在优化的需求。系统变得更大,也会变得更加重要,通过流复制构建只读备库,完善物理备份和逻辑备份的方案等,也是DBA的本职工作。做好这些不仅仅让你在企业中获得同僚的尊重,这些工种成果也会成为你运维这套数据库系统的有力保障,这些工作一定不要掉以轻心,必须做好。

特别声明:[【蓝因子教育】当你的PG数据库慢慢变大(蓝因『机器人』️科技有限公司怎么样)] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

德国R&S罗德与施瓦茨FSP40 40GHz频谱分析仪(罗德 rode)

罗德与施瓦茨FSP40 的FSP产品系列将 分析仪FSE和FSIQ的众所周知的优点系统地集成到中级分析仪中。 FSP树立了中端产品测量速度和 度的标准,它采用了高度集成的前端和全数字信号处理的后端,并与R&…

德国R&S罗德与施瓦茨FSP40 40GHz频谱分析仪(罗德 rode)

等离子清洗机源头厂家认准无锡奥威赢科技,专业制造真空等离子清洗机、腔体式等离子清洗机,技术团队全程把控,保障清洗高效均匀(等离子清洗机制造厂家)

无锡奥威赢科技有限公司通过技术团队的全程精细化管理和对品质的严格把控,使得其生产的等离子清洗机、真空等离子清洗机和腔体式等离子清洗机能够真正满足工业生产的实际需求,为客户提供高效可靠、性能稳定的清洗解决方案…

等离子清洗机源头厂家认准无锡奥威赢科技,专业制造真空等离子清洗机、腔体式等离子清洗机,技术团队全程把控,保障清洗高效均匀(等离子清洗机制造厂家)

『汤唯』在《色戒》中的牺牲远比镜头里多,冯小刚、『金星』都为她鸣不平

但冯小刚和『金星』都为她抱不平——这位女演员付出的代价,远比镜头前呈现的要多得多!那些被热议的亲密戏份,每一场都是对心理防线的残酷考验。"确实,那些被过度讨论的镜头背后,是演员对角色灵魂的深度挖掘。当"王

『汤唯』在《<strong>色戒</strong>》中的牺牲远比镜头里多,冯小刚、『金星』都为她鸣不平

中国首个AI计算开放架构在重庆发布 推动算力集群创新(中国第一个计算工具)

中科曙光协同AI『芯片』、AI整机、大模型等20多家产业链上下游企业,在重庆共同发布中国首个AI计算开放架构,推出AI超集群系统,开放多项技术能力,并宣布依托国家先进计算产业创新中心启动“AI计算开放架构联合实验室”建设

中国首个AI计算开放架构在重庆发布 推动算力集群创新(中国第一个计算工具)

小酒窝官配CP火了!『董璇』佟丽娅:我家萌娃太好嗑(小酒窝原创)

近日『娱乐圈』️被一对萌翻全网的官方CP霸屏,『董璇』之女小酒窝与佟丽娅之子朵朵。正当全场欢笑之际,『董璇』突然转折:今天朵朵在场,得让他发言,毕竟他是小酒窝的官方CP!这简短一句话瞬间引爆全场气氛。 说起来,小酒窝与朵…

小酒窝官配CP火了!『董璇』佟丽娅:我家萌娃太好嗑(小酒窝原创)