发布时间:2022-11-15 19:55:35 文章来源:互联网
微博 微信 QQ空间



科技金融银行架构的问题和分布式架构特点及特点分析

科技金融银行架构的问题和分布式架构特点及特点分析

中国民生银行信息科技部总经理牛新壮

当前,在科技和金融快速发展的大趋势下,银行业掀起了科技引领的服务转型升级浪潮。传统银行要加快科技创新,对内提升研发效率和数据驱动能力,对外提升客户体验,构建生态圈,全面转向网络化、数字化、智能化的科技金融服务。“万丈高楼拔地而起”,科技金融银行的建设必须为系统架构打下坚实的基础,传统的中心化IOE架构已经不能满足科技金融银行的发展需求。

▲传统银行架构存在的问题及分布式架构的特点

随着社会信息化的快速发展,金融业务呈现出用户海量增长、产品个性化定制、风控决策实时化、响应快速敏捷等新特点,对银行信息系统提出了更高的要求建筑学。然而,传统的IOE技术架构已经不能满足科技金融银行未来发展的要求。一是以业务部门或业务系统为维度,导致系统数量多、分散、独立、数据共享性低,应用模型不能满足整体IT战略发展的需要。二是缺乏灵活的横向扩展能力,性能瓶颈明显,并且容易触及硬件信息的天花板,进而制约业务发展。三是无法快速响应突发的海量请求,尤其是闪购、促销等突发的海量交易。四是典型的重资产模式,采购成本高,维护成本高。五是缺乏自主可控、高度依赖供应商支持,科技研发压力加大,生产经营风险加大,无法快速应对市场变化,商业模式创新受限。特别是闪购和促销等大规模交易的突然爆发。四是典型的重资产模式,采购成本高,维护成本高。五是缺乏自主可控、高度依赖供应商支持,科技研发压力加大,生产经营风险加大,无法快速应对市场变化,商业模式创新受限。特别是闪购和促销等大规模交易的突然爆发。四是典型的重资产模式,采购成本高,维护成本高。五是缺乏自主可控、高度依赖供应商支持,科技研发压力加大,生产经营风险加大,无法快速应对市场变化,商业模式创新受限。

与传统IOE架构形成鲜明对比的分布式架构体系,从2004年开始在互联网应用的需求驱动下,逐步走向成熟,并在大规模互联网应用服务中得到充分验证。该架构基于分布式计算框架和分布式数据存储,支持大规模、突发、高并发场景,能够低成本快速响应亿级用户、PB级数据量的应用场景。近年来,银行业对分布式技术的研究和技术积累,使得基于分布式架构构建核心业务系统成为科技金融银行发展的必然选择。

▲民生银行分布式架构特点

2018年1月28日,民生银行历时近四年自主研发的分布式核心金融云平台成功上线,完成直销银行系统全部1200万电子账户迁移民生银行人工服务按几,建立分布式金融云双活灾区恢复系统,成为国内第一家成功推出分布式核心账户系统的银行。民生分布式金融云已平稳运行3个多月,日均交易量1100万笔,稳定响应时间在50毫秒以内。业务处理效率较原有核心系统提升3倍以上,

基于分布式金融云的强大支撑,民生银行科技支撑能力进一步提升。近三个月来,陆续推出了基于分布式架构的新一代零售征信系统,以及基于大数据和人工智能的智能投顾1.0系统。丰富移动生活场景的手机银行APP4.0、提升全行办公效率的智能移动办公云平台等重要系统。同时,小微3.0、新型供应链金融、远程银行等重点项目和数据治理也在积极推进中,全力打造民生科技金融银行。

特点一:兼顾降本增效,大众接受。与传统银行系统架构相比,民生银行的分布式架构兼顾了“降本增效”和“大众受理”的特点,大大提高了业务效率,提高了银行科技金融的核心竞争力,为客户提供具有高可靠性、高稳定性、高安全性的服务。主要表现在以下几个方面:一是支撑亿级客户规模,突破核心系统瓶颈;二是核心业务单一功能点减少为每周交付,可以更快响应业务需求,提高交付速度;第三 ,系统性能和稳定性提升一个数量级,客户体验和服务质量大幅提升;四是单账户成本大幅降低,预计每年可节约运营成本近亿元。

分布式核心系统借鉴互联网技术架构优势,基于微服务架构和云原生应用的设计理念,采用分层架构设计,运行在x86服务器上,同时支持虚拟化部署,具有良好的可扩展性;采用读写分离和分布式数据库分表形式对数据进行分布式处理,结合支持异步处理的分布式缓存和消息中心,有效提高系统响应速度和吞吐量;采用分布式批处理框架,批处理效率大幅提升,支持海量账户日终批处理;应用服务器和数据库服务器采用同城双活模式,保证系统的可靠性。

特点二:平台与应用有机结合。民生银行分布式技术平台基于开源实现了一整套分布式框架和中间件,支持满足金融业务需求、海量数据、高并发、高可用、高可靠、横向弹性扩展的银行应用功能。按照分布式CAP理论,一致性、可用性和分区容错性是不能同时实现的。为满足银行业务对交易处理的严苛要求,民生银行的分布式技术平台首先保证可用性和分区容错,然后通过分布式交易和消息中心保证基于可靠消息的最终一致性。

针对银行核心系统的特点,民生银行分布式技术平台有九大功能:一是通过分库分离、读写分离实现分布式数据访问功能;通过定向处理实现分布式事务功能;第三,通过RPC服务框架、服务访问控制和限流、服务跟踪,实现分布式服务框架和服务治理功能;第四,通过分布式作业调度和多重容错策略保证分布式服务。批量作业调度功能;第五,通过集中的配置管理,支持一个代码的多种部署功能;第六,通过消息中心实现可靠的消息收发和消息幂等性。第七,通过分布式缓存提升性能,降低DB负载 八是通过统一编校和全局排序,实现事务的幂等一致性功能;九是实现开发维护一体化,基于Docker容器,支持弹性扩展。

分布式中间件平台是民生分布式架构的核心功能。如图1所示,该平台分为服务接入层、应用层和数据层。在服务接入层,外围系统通过APIGateway实现服务安全和访问控制,包括事务幂等、服务授权、服务限流等。在应用层,首先,高性能服务框架支持微服务架构,实现应用服务的弹性伸缩;二是通过配置中心统一存储配置,实现配置信息的多版本、多环境管理,支持配置信息推送和动态变更。第三,它通过消息中心对应用进行解耦,实现消息的高可靠发送,提高系统吞吐量,应对瞬时高峰。第四,分布式批处理框架提供分布式计算能力,支持批处理作业的高效执行。在数据层,首先,分布式数据服务支持核心数据读写分离,分库分表,实现核心数据的弹性伸缩;其次,分布式缓存提高了系统性能,降低了数据库访问压力。整个分布式架构适用于不同业务场景下的多种分布式事务处理模型。同时,构建了基于大数据的分布式日志手机分析和统一监控预警平台。

图1 民生银行分布式技术架构

银行核心系统是银行交易和账户处理的中心,是银行信息系统架构中最关键的环节。民生银行存款核心系统基于分布式架构,通过组件化、分层的方式保证账户数据的强一致性。第一层为协议处理层,提供Dubbo服务、WebService服务、服务治理、服务跟踪、服务参数校验、服务幂等。第二层为服务组装层,实现单体服务透传、服务编排、公共服务/API、异常机制和分布式事务控制。第三层为原子服务层,包括公共原子服务、业务原子服务、工具/API、序列号、和消息中心。第四层为持久层,提供分布式数据访问和分布式缓存机制(如图2所示)。

图2 民生银行分布式核心应用分层架构

特点三:运维管理自动化、智能化。分布式架构使得运维面临着更复杂的服务层次、更复杂的调用关系、更复杂的系统状态的挑战。针对分布式架构、设备多、应用多、服务多、配置多的特点,民生银行开发了运维支撑系统,打造了十款运维自动化工具,保障运维有序进行。一是集中运维管理,包括服务治理的分布式管控平台、应用查询的运维视点平台、硬件/OS/DB/网络集中管理的集中监控平台;第二,运维运行自动化,包括分布式DevOps平台保障持续交付,容灾自动化指挥平台保障机房切换;三是应用排障可视化,包括交易监控平台实时交易分析、OnPlat全景运维平台实时链路分析、云地图系统可视化运维架构;四是智能服务跟踪,包括易易清平台的日志分析和ZIPKIN平台的服务跟踪。三是应用排障可视化,包括交易监控平台实时交易分析、OnPlat全景运维平台实时链路分析、云地图系统可视化运维架构;四是智能服务跟踪,包括易易清平台的日志分析和ZIPKIN平台的服务跟踪。三是应用排障可视化,包括交易监控平台实时交易分析、OnPlat全景运维平台实时链路分析、云地图系统可视化运维架构;四是智能服务跟踪,包括易易清平台的日志分析和ZIPKIN平台的服务跟踪。

▲充分发挥分布式架构效能,加快科技金融银行建设

1、配合科技金融战略转型,提升民生银行品牌影响力。分布式核心金融云对于实现向“金融科技”转型的战略目标具有重要的现实意义,有助于在激烈的竞争环境中保持领先优势,提升研发创新效率,提升客户服务水平。提升经营管理能力,拓展民生。本行“勇于创新、锐意进取”的品牌形象和影响力。

2、降低科技成本,提高民生银行的利润率。在处理能力相同的情况下,分布式核心金融云大大降低了软硬件投资成本。硬件方面,从IOE架构到X86服务器的改造,硬件成本投入仅降低15%;在软件方面,采用开源技术的分布式核心系统每年可节省90%的维护成本。

3、积累行业领先的技术成果,打造一流的科技人才队伍。分布式核心金融云突破了银行账户强一致性、系统并发度高、数据量大等技术难题,完成了技术架构的历史性变革。目前已通过复杂场景下近7000TPS的性能测试,远超原有核心系统的性能极限,且仍可线性扩展,处理能力处于行业领先地位。相关研究成果获得银行信息科技风险管理研究成果一等奖(2016)、获中国人民银行颁发的银行业科技发展二等奖(2017),共申请科技创新专利11项。为建设民生科技金融银行奠定了关键能力基础。

4、自主掌握核心技术,为科技金融战略奠定技术基础。分布式核心金融云是民生科技运用分布式技术的成功范例,为未来更广泛地推广分布式技术积累了丰富的实践经验和技术标准。项目中的分布式缓存、消息中间件等关键技术形成了民生银行软件开发标准。分布式平台为全行其他系统的分布式改造提供了基础环境,成为民生金融科技重要的基础技术平台。

▲ 持续推进分布式架构改造建设

未来三年,分布式金融云平台将根据本行科技金融银行战略规划,为全行智能金融产品和服务创新提供强有力的科技保障。民生银行将按照统一规划、分步实施、持续改进的原则,先简后繁,先难后易,持续推进分布式架构转型。一方面是全行重要系统的分布式改造。2018年民生银行人工服务按几,计划完成手机银行、企业零售场景、支付、大数据等核心平台的分布式改造;2019年,拟完成网上银行等渠道系统、场景应用系统、支付核心、核心数据应用的分布式改造;2020年全面推进分布式架构落地。另一方面,对全行业务场景的分布式支持。聚焦金融支付、小微金融、供应链金融等业务领域,利用分布式平台强大的集成能力,快速满足“客群分类、分级管理”的个性化生活场景,提升业务产品创新能力,增强市场竞争力。和核心数据应用程序;2020年全面推进分布式架构落地。另一方面,对全行业务场景的分布式支持。聚焦金融支付、小微金融、供应链金融等业务领域,利用分布式平台强大的集成能力,快速满足“客群分类、分级管理”的个性化生活场景,提升业务产品创新能力,增强市场竞争力。和核心数据应用程序;2020年全面推进分布式架构落地。另一方面,对全行业务场景的分布式支持。聚焦金融支付、小微金融、供应链金融等业务领域,利用分布式平台强大的集成能力,快速满足“客群分类、分级管理”的个性化生活场景,提升业务产品创新能力,增强市场竞争力。

过去精选

(点击图片查看精彩内容)

《金融电子》新媒体部:导演/剪辑 匡远/潘静

另一视角

换一换