【GOPS全球运维大会2023】DevOps场景下的数据库运维管理新模式

近日，爱可生—资深DevOps专家丁嘉胤在GOPS全球运维大会2023·上海站发布了一份名为《DevOps场景下的数据库运维管理新模式》的行业研究报告。该报告深入探讨了在DevOps流程中数据库运维管理面临的挑战，并提出了结合实践的解决方案。报告内容涵盖了数据库服务管理现状、痛点分析、DevOps流程与数据库运维的结合点，以及数据服务生命周期管理的实践原则等多个方面，为数据库运维管理提供了新模式和新思路。这份报告是数据库运维管理领域的宝贵资料，其中包含了丰富的行业经验和专业知识，对于相关领域的专业人士来说，无疑提供了许多有价值的参考和启发。

在数字化时代，数据库运维管理正面临前所未有的挑战。企业数据服务管理现状显示，资源管理、运维、服务领域上需要灵活的支持多库的数据管理要求。这不仅涉及到资源管理域、运维域、数据服务域的复杂性，还包括了节点管理、用户权限、租户管理、实例管理、备份管理、切换管理等多个方面。企业数据库服务管理痛点主要集中在账号权限管控难、数据操作控制难、数据库资源管理难以及变更流程合规难。

数据库系统使用故障中，高达80%是由数据管理问题造成的。在数据库权限分配过程中，不同数据库系统的账号信息存在遗忘或丢失的现象；用户操作权限申请随意，无法做到精细化权限管理。此外，存在未经验证审核的SQL执行语句下发的情况，用户操作产生的问题不能尽快有效追溯，数据转移、转储过程不受控，有数据泄露的风险。这些问题的存在，使得数据库资源管理变得困难，数据库资产缺乏统一管理，很难直观了解都有哪些库；采用不同的SQL终端，需要不停地切换SQL窗口，容易出现执行错误；对数据资产处置的“留痕”也难以实现。

在DevOps流程场景下，数据库管理现状也不容乐观。管理人员、开发/测试人员、运维人员在SQL上线流程中面临诸多问题，如审核如何与CI/CD持续集成流程对接、关注功能和业务数据库无法发现低效问题SQL、缺乏仿真数据业务验证、线上性能问题排查周期长等。这些问题的存在，使得审核上线工作量大，常常加班，审核优化需要高级DBA，人力成本大，审核建议改进困难。

数字化时代下，数据服务生命周期管理实践变得尤为重要。数据生命周期各阶段数据管理过程包括数据引入、数据使用、数据下线、数据归档、到期数据销毁、数据审核、数据查询、数据变更、数据巡检、定期及手动巡检、异常诊断、操作审计、数据迁移、历史库迁移、备份与容灾、异构、多源数据接入、数据使用者安全、数据源安全扫描、数据权限审核、统一SQL窗口，数据变更操作流程管控、SQL格式美化、知识问答、数据变更流程设计等。数据合规、安全、高效使用，是贯穿数据生命周期的重要考量点。

数据服务生命周期管理实践原则是以流程为驱动，将四个维度的工作内容映射到数据管理流程中。这四个维度包括数据库对象接入、数据库权限申请、数据服务安全访问、数据库规则匹配。通过流程驱动的数据服务，可以实现数据服务解决方案的数据流动、数据健康、数据透视等功能。

在多库资源管理集中管理方面，企业中数据库从传统集中数据库MySQL、Oracle，根据业务要求逐步引入New SQL如MongoDB等开源数据库、近年来推行的信创数据库等。这些数据库的引入，使得数据建模、信息查询、建库、数据备份、恢复等运维操作远远不断。为了解决这些问题，需要实现多库纳管，包括直接纳管、源库导入、规则引入、外部数据源对接等。

在数据库开发赋能对接方面，开发测试人员和管理人员需要发现问题SQL、及时反馈、规范上线。这需要建立标准规范、适配现有流程、开发插件集成实时审核、跟踪SQL质量状态、适配现网流程、跟踪SQL质量、持续运营优化、提升SQL质量等。

在CICD流程对接实践方面，需求创建、代码开发、SQL文件、SQL语句、Mybatis/iBatis文件等都需要进行审核上线。这需要IDE集成审核、审核结果/优化建议、开发赋能、CI/CD持续集成（Jenkins集成）等。提早发现问题SQL，开发阶段及早发现问题SQL，及时整改，避免问题SQL流向生产。

在SQL变更发布流程实践方面，发布效率提升，发布留痕，变更SQL一键执行上线，提升发布效率。这需要建立标准化发布流程，所有发布必须通过平台执行，线下人情上线减少100%，问题SQL引起的性能问题减少60%。

在数据库服务管理过程对接ITSM工具方面，SQL审核服务、获取SQL文件、回滚语句、审核结果、创建工单、推送审核、自动SQL执行、指定执行时间、变更负责人信息等都需要进行管理。这需要变更留痕，自动化发布效率提升，变更SQL一键执行上线，手动上线/定时上线，发布留痕，可追溯。

在数据库账号安全管理方面，基于RBAC的账号集中统一管理，配置管理平台、开发数据库、生产数据库、DMS管理平台等都需要进行账号管理。这需要根据角色模板赋予用户指定资源访问权限，角色模板、授权资源细化至“库、表、列”，操作权限覆盖“增、删、改、查”。

在数据库元数据模型管理方面，统一数据摸型管理，实现多场景下的业务数据模型同步。这包括生产库表元数据管理、多库库表元数据统一创建、预生产、测试环境数据模型统一管理等。这可以提升价值，包括数据库元数据统一管理、数据库元数据消费场景统一管理、测试环境提供精准数据测试、开发环境数据库变更统一管理。

在数据库SQL质量的持续改进方面，SQL实时获取与审核、审核结果（质量报告）、预警、SQL优化等都需要进行管理。这需要java应用程序采集审核、SQL采集审核、优化建议、反馈开发、协同优化等。

在数据库服务运营管理方面，标准化部署、数据备份恢复、智能巡检、性能问题定位等都需要进行管理。这包括MySQL、Redis、MongoDB、TiDB、Oracle、ActionDB、Oceanbase的标准化安装、支持集群模式部署、复制模式等数据库参数的标准化配置、适配信创基础架构资源方案、对接现有数据库集群信息的标准化对接、数据库备份自动化、支持增量、全量等备份操作、自动化备份演练、可恢复到任意时间地点数据、数据转储、数据验证、多类型数据库的自动化巡检、全面数据库巡检指标、对连接池、磁盘空间、图形化锁、慢日志、库表状态进行巡检、对历史数据进行异常检测获取进行智能化巡检、提供数据库性能问题定位、自动提供标准化监控采集指标进行性能问题分析等。

爱可生作为专业的数据库服务及数据库平台解决方案提供商，拥有320+人的团队，其中90+研发，120+DBA；70+OCP，10+资深数据库技术专家，官方源码贡献者3人，官方ACE1人。公司总部位于上海，下设北京、深圳、武汉分公司；成都、南京、广州办事处。爱可生开源技术社区，开源DBLE、DTLE、TXLE、SQLE产品，持续贡献技术文章。

爱可生开源社区是一个专注于数据库领域的技术社区，社区秉持开放、汇聚、协同、众创的精神，为广大数据库从业人员提供稳定的MySQL企业级开源工具及服务。社区在每年的10.24会开源一款优良组件，并不断汇集社区内更多的创新力量，为数据库开源产品不断赋能。截至目前，爱可生的开源产品在GitHub上已获得超过1600+stars。

云树多库工具包括SQLE–数据库SQL审核管控软件、云树DTS–数据库传输服务软件、TXLE–全局事务框架、数据库产品OceanBase发行版ActionDB、向量数据库TensorDB、云树数据库安全、数据库安全访问网关、数据库安全脱敏网关、数据库存储加密软件、云树MySQL工具、云树Shard–MySQL分布式中间件、云树Guard–MySQL高可用集群、云树Proxy–MySQL读写分离、云树多库管理平台、云树DMP–数据库运维管理平台、云树RDS–数据库云平台等。

爱可生专注数据库生态20年，服务500+大型用户，50+世界五百强，涉及金融行业、广电通信行业、其他行业，包括银行、互金、保险、证券、广电、通信、零售、服务、政企、制造等。

这篇文章的灵感来自于《DevOps场景下的数据库运维管理新模式》这份报告。除了这份报告，还有一些同类型的报告，也非常有价值，推荐阅读，这些报告我们都收录在同名星球，可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。