技能开发 频道

新中心事务体系数据架构规划与数据办理

  【IT168 专稿】本文依据【2016 第七届我国数据库技能大会】(微信查找DTCC2014,注重我国数据库技能大会大众号)现场讲演嘉宾种磊教师同享内容收拾而成。录音收拾及文字修改[email protected]田晓旭@老鱼。

  嘉宾介绍:

新中心事务体系数据架构规划与数据办理
▲农银人寿IT部资深专员 种磊

  种磊,经济师,农银人寿IT部资深专员、新中心数据组组长。04年进入农总行软件开发中心,有8年银行信息化经历,09年参加中心银行运用规划。14年进入农银人寿,掌管数据办理与标准化及新中心模型规划作业。

  正文:

  我今天和咱们同享一下公司新中心项目的数据架构规划和数据办理,或许咱们对咱们公司不太了解,借此机会先介绍一下咱们公司。

新中心事务体系数据架构规划与数据办理

  农银人寿稳妥有限公司,简称农银人寿。前身是嘉禾人寿,13年年末由农行控股,至此五大国有银行都具有了自己旗下的稳妥公司。

  咱们公司是国内安排布局最广的银行系寿险公司,具有20多家省级分公司,300多家分支安排。14年的时分,客户数量是529万,截止到大会之前,客户数量是780万,年增加率到达21%。公司在14年成功扭亏为盈,上一年保费规划到达了175亿,年复合增加率57%。所以在这两年期间,无论是在客户数量仍是在保费规划,都呈现了迅猛增加的态势。

新中心事务体系数据架构规划与数据办理

  下面简略介绍一下项目的布景。咱们现在运用的是中科软稳妥中心事务体系,于07年10月份上线。这个体系比较陈腐,扩展性和安稳性都比较差,现已不能满意事务快速改动开展的需求,也不能满意快速推出新产品的需求。

  在这个布景下,公司于13年立项,15年开端全面推进新中心事务体系的建造。咱们为这个体系规划了全新的IT架构,包含数据架构、运用架构和技能架构。咱们从这个运用架构图上可以看出来,新中心项目有许多的项目群,包含途径接入、运营支撑、根底运用处径、数据办理、数据运用、决议计划剖析以及项目施行,每个域里又包含多个子体系。咱们的数据架构规划和数据办理标准化的实践便是在这个布景下打开的。

新中心事务体系数据架构规划与数据办理

  首要介绍一下安排结构,一个清楚的安排架构关于项目来说是非常必要的。新中心项目组,在领导小组下设履行小组,履行小组下设技能施行组,施行组下面又包含多个子项目组和功用组。

  数据架构组作为功用组之一,与运用架构、技能架构是并排的。由此可见,上级领导对数据作业和数据办理对错常注重的。有一些单位不注重数据作业,也没有在项目内部树立专门的安排对企业数据进行一致规划和办理,或许是体系建造先于数据办理,等体系都做完了,才想起来做数据办理,那就太晚了,到时分便是想做也做不清楚、做欠好了。数据办理作业应该是先于体系建造,至少得是并行。比方咱们的新中心标准化字典,需求在事务模型或许数据模型出来之前,就为它预备好通过标准化处理的根底词汇。那么为什么还会有并行期呢?有些数据的标准和规矩是在各个事务模块需求和规划的逐步清楚进程中才干被抽取出来的,这些需求在并行期完结。

新中心事务体系数据架构规划与数据办理

  咱们常常听到一些词,比方企业全体规划、战略、架构等等,它们之间到底有什么联络呢?我依照自己的了解画了一个图,企业全体规划要有企业战略和企业架构来支撑,企业战略又分为事务战略和IT战略,企业架构由事务架构和IT架构来支撑。IT架构分为运用架构、技能架构和数据架构。

  咱们在对全体IT架构进行规划的时分,要充沛考虑到数据架构是否对当时事务进行支撑。一个抱负的规划次序应该是这样的:首要应依据事务架构剖析来界说数据架构,然后将数据架构结合事务功用界说运用架构,终究依据数据架构和运用架构的特色和技能要求来规划技能架构。这是数据驱动应该有的次序。

新中心事务体系数据架构规划与数据办理

  数据架构方针首要是处理两个问题,怎样运用数据和怎样办理数据。完结数据标准化;削减数据冗余、进步数据质量以及体系功用;消除信息的孤岛,完结数据在体系间的广泛同享;发挥数据财物的价值,为企业带来高附加值的报答。

新中心事务体系数据架构规划与数据办理

  数据架构全体准则是在依据对老体系的发现问题、剖析问题、处理问题的根底上,提出改善剖析的定见,结合当时需求和事务特色以及干流技能和职业实践去规划方针架构规划。

  这儿有一些更详尽的准则。比方数据的安排区别要灵敏,要可以快速应对事务改动;数据的ETL进程、抽取、加载、数据移动要可以高效;数据架构要具有柔性扩展才干,以此来应对新事务、新技能对架构带来的冲击;进步数据项在企业规模内的全局性和一致性,只要这样才干在体系内和体系间完结数据的广泛同享;数据有必要具有运用价值,有必要可以满意数据消费体系的要求;数据的安全性。

新中心事务体系数据架构规划与数据办理

  数据架构的主体规划思路是从需求剖析和事务特征出发去进行数据分类,区别主题域,然后选用范畴驱动规划办法进行事务模型规划和数据模型规划,再结合老中心的数据办理和标准化的产品,结合数据架构规划准则以及干流技能和职业实践去规划数据架构规划。数据架构规划包含数据的散布与存储、数据的加工与流通,以及数据的管控与运用。这儿提到的主题域,其实便是从较高的层次对事务数据进行的笼统和概括。

新中心事务体系数据架构规划与数据办理

  新中心项目中运用了一些数据高效操作的办法。榜首个是数据集成操作,这由咱们的开发途径供给支撑。咱们都知道传统的ORM结构是以单个POJO实体为单位与后台数据库进行交互,而开发途径支撑从多个POJO实体中抽取所需数据项构成一个事务服务方针全体BO,以BO为单位与数据库进行交互,这种办法在重复查询时极大削减了拜访次数,进步了拜访功率。

  第二个是高速缓存,它由缓存途径来供给支撑。可以运用缓存途径寄存一些数据量比较小可是拜访频率很高的数据,比方码表的数据、费率相关的数据以及用户安排和权限的数据。

  第三个是读写别离、冷热别离。

  数据量很大的话,就要考虑表分区。咱们数据建模时在表中预留了“时刻字段”和“办理安排”字段,等数据量增大到必定程度的时分,咱们就可以按时刻做规模分区,按办理安排做列表分区,或是二者结合的复合分区。数据量要是再大的话就要考虑拆库拆表。Oracle供给了数据分片技能(Data Sharding),现在Oracle最新版的12C数据库现已可以做到从CDB$ROOT层面直接聚合查询多个PDB中同一张表的数据。

新中心事务体系数据架构规划与数据办理

  下面我通过一张图来介绍一下新中心数据架构的规划规划。咱们从这张图上可以看到,咱们将数据架构区别了八大区,别离是数据源区、数据集成操作区、数据交流区、数据存储区、数据预备区、数据加工区、数据办理区以及数据运用区。

  数据源区中,咱们有来自中心事务体系的多个体系,也有内部途径和外部途径多个体系以及其他来历的多个体系;

  数据集成操作区由开发途径支撑;

  数据交流区首要由数据交流途径支撑;

  数据存储区的数据首要分为两类,一类是结构化数据,一类是半结构化和非结构化数据。出产库是写数据库,存储的是结构化数据,查询库是读数据库,二者同构,之间选用OGG办法完结准实时同步,读写别离减轻了事务体系压力。内容办理途径用来存储半结构化和非结构化数据。

  数据预备区,咱们没有树立独自的主数据库对主数据施行会集办理,而是选用分而治之的战略,由各个体系办理各自的主数据。咱们设置了ODS,用来存储通过ETL从各个事务体系抽取出来的、通过清洗、过滤、标准化和轻度整合的事务数据,为数据仓库供数。

  数据加工区规划了数据仓库和数据集市,数据仓库的模型参阅了TeraData FS-LDM。

  数据办理区规划了规划途径,它是元数据办理和数据建模的东西,首要供给事务模型办理、数据模型办理、元数据办理、数据字典办理以及码表办理的功用,是元数据办理和数据标准化的中心地点。

  数据运用区包含了若干个数据消费体系,比方决议计划剖析域的多个体系,以及一些查询类的运用,比方:即席查询、标准和杂乱报表、MIS;一些剖析类的运用,比方:多维OLAP剖析、风控、KPI绩效;一些办理类的运用,比方:高管驾驶舱、决议计划支撑等。

  规划清楚的数据架构可以为区别运用鸿沟、明晰数据间引证联络、界说体系间集成接口供给依据。咱们或许发现了这个数据架构中并不触及大数据和机器学习的内容。因为合适公司现在新中心建造、合适现有体系数据现状的架构才是最好的。咱们公司现在的数据量在未来可预见的适当长的一段时刻内,间隔PB级或EB级还差得远,所以咱们的架构规划更倾向于传统的OLTP买卖型架构,辅以ODS、数据仓库来供给底子的数据剖析功用。

  下面咱们别离从数据源区、数据预备区、存储区、加工区、交流区来深化地介绍一下数据架构规划。

新中心事务体系数据架构规划与数据办理

  数据源分为内部数据和外部数据。内部数据来自于中心事务体系和途径接入体系。外部数据来自于银行、稳妥等金融同业或许是像保监会这样的政府监管部门,未来或许还有来自第三方安排、互联网的。稳妥产品和服务相关于银行产品来说,是一种弱需求的产品。咱们没事儿的时分,或许会用手机银行或许微信银行查查账户余额、信用卡账单和理财什么的,但谁不会没事儿把保单拿出来看看。所以说稳妥公司与客户的交互不像银行那么频频,不简单取得客户行为特征的数据,这就决议了咱们今后或许会从第三方安排购买数据。阿里收买出资了许多公司,其间也不乏互联网公司,比方高德导航、虾米音乐等等。收买它们并不是这些公司的品牌价值有多么大,阿里真实想要得到的是这些公司多年来堆集的用户行为特征及偏好的大数据,从中罗致制造大数据生态地图和归纳运用的资料。所以,假如咱们今后要做大数据的话,或许也会去购买数据。

  数据源应该去注重一下它的非功用特色,它会对数据存储散布的规划起到参阅作用。比方是依据数据接口的交流仍是依据文件服务器的交流;全量仍是增量;变化频率是很少、偶然仍是固定周期,像客户安排称号这类数据是很少变化的,像地址和联络电话或许是偶然变化的,像定时结算收费就或许是按固定周期变化的;数据格式是结构化、半结构化仍对错结构化;同享程度,首要取决于事务模块对数据的需求强度,假如按标准来区别的话,主数据是跨体系、相对静态安稳的,可以高度同享,那么它的同享程度为高,相对来说散布在特定事务范畴的事务数据的同享程度便是低了。

新中心事务体系数据架构规划与数据办理

  现在ODS是把从事务数据抽取过来的数据进行清洗过滤、标准化以及轻度整合后寄存。咱们可以把ODS分为两半,左面是元数据增量层和标准增量层,它选用的是贴源规划,与出产库底子是同构的。右边是根底数据层和共性加工层,做轻度整合和进一步整合。所以整个ODS可以整合事务数据的全貌,并供给跨体系的细节查询,比方清单查询。通过ODS清洗过滤及标准化后的数据,进步了数据质量,然后为数据仓库供给数据。

  简略介绍一下内部区别的四个功用层:ODS从各个体系抽取事务数据今后,会放到元数据增量层,然后通过清洗过滤标准化今后,放到标准增量层。对数据做了轻度整合就进入到根底数据层,共性加工层便是在根底数据层的根底上又提炼出一些共性方针,对数据做了进一步整合加工,只包含汇总数据。

  ECM首要是用来寄存半结构化和非结构化的数据,比方语音、印象、扫描件或许PDF和Word的文本文件。它首要对这些品种的数据进行处理、存储、捕获,分为前端的信息收集途径和后端的内容办理途径。假如今后要做大数据的话,或许还需求树立非结构化数据的元数据,而且将这些非结构化数据的元数据,通过一些结构化的处理技能,比方像文本摘要、打标签等等,与结构化数据发生相关,这样才干一同发挥作用。

新中心事务体系数据架构规划与数据办理

  数据仓库的内容比较多,现在还处于规划阶段,在这儿我只简略同享一下数据模型。数据模型咱们计划参阅 TeraData FS-LDM。TeraData是全球最大的数据剖析、数据仓库以及整合营销处理计划的供货商,它可以在一个集成的模型内支撑银行、稳妥、证券三大职业的金融模型,内含十大主题域。咱们在这个根底上,依据本身的事务特色和数据分类区别了八大主题域,每个主题域下面又细分有小主题。比方说“参加方”这个大主题,下面细分有人员、客户、代理人、法人四个小主题,其间,客户小主题又包含客户的底子信息、联络信息、健康信息、财政信息、财物信息等详细内容。

新中心事务体系数据架构规划与数据办理

  这是咱们在数据交流区构建的数据交流途径,因为咱们现有中心体系存在着一些问题,比方说中心体系内部和各个体系之间,以及中心与外部体系之间的数据集成、数据同步、数据同享困难;体系耦合度比较高,A体系的表结构发生改动,B体系程序也得跟着改;dblink运用众多,功用开支大、存在数据安全危险。

  为了处理以上的问题,咱们建造了数据交流途径,并规矩了建造方针。榜首,供给一致的数据集成标准、数据获取与分发、数据交流与同享、数据监控;第二,进步数据加工、数据流通功率,加速数据在体系内、体系间的快速移动;第三,改动传统的“多对多交流形式”,完结“一源多方针”的数据更新。

  咱们还有一个想象便是以“元数据”驱动DEP中的ETL进程,在ETL中嵌入数据质量查看与监控;将元数据办理应贯穿于数据活动的全进程。

新中心事务体系数据架构规划与数据办理

  数据交流途径的功用定位是让它作为数据交流纽带,通过必定的“数据获取及分发”战略、作业调度战略,结合内置于各体系内的数据交流区,完结中心事务体系内各子体系、中心事务体系与外围各体系之间的数据交流、数据同步、数据同享,为各个OLTP和OLAP体系供给数据接口服务或数据文件交流服务。

  各体系要与数据交流途径做必定的合作,也便是在体系内部树立数据交流区或文件交流区。比方在交流区内供给接口表,我能为他人供给什么样的数据?我需求消费什么样的数据。假如是文件交流服务,就需求供给契合必定数据格式的文件。

  咱们或许会问什么样的东西走ESB企业服务总线,什么样的东西走DEP数据交流途径?举个比方,假如想完结对等的买卖,A体系的买卖有必要等候B体系回来效果之后,才干持续处理,像这种对实时性要求比较高的就走ESB,可是它的报文不能太大,咱们规矩是操控在500K之内。假如要是对实时性要求不高、可以按时传送、数据量又比较大,就走数据交流途径。

  我觉得数据交流途径更像是数据服务总线,而ESB是是企业服务总线,他们一个是完结运用服务的虚拟化,一个是完结数据服务的虚拟化,一个供给的是运用服务的连通性,一个供给的是数据服务的连通性。ESB可以让处于不同设备、运用不同协议的体系连起来,而数据交流途径可以依据数据库或许依据文件服务器,通过供给数据服务使各体系连起来。

  咱们还提出一个想象便是要树立IP(集成途径)。ESP供给联机实时、小数据量的数据服务,DEP供给批量、大数据量、准实时的数据服务,而MP供给异步的音讯服务,三位一体地构成一个集成途径来供给运用连通性服务和数据连通性服务。

  下面介绍下咱们的新中心项目在数据办理以及标准化进程中分阶段施行的发展。

新中心事务体系数据架构规划与数据办理

  提到数据办理,咱们在14年的时分从前请恩核公司做过技能咨询,在进程中运用了恩核供给的办法论,取得了不错的作用。我以为要做好数据办理,首要要选定一套卓有成效的办法论,再树立起一套准则、处理流程和数据安排,假如再配上一个称心如意的东西,应该会到达事半功倍的作用。

  为什么现在越来越多的公司都比以往愈加注重数据办理作业?因为数据办理、元数据办理及其间的数据标准化是完结商业智能的重要环节,假如数据不一致、数据质量达不到要求,你是无法进行数据集成和整合的,也就无法进行数据剖析和数据发掘,更谈不上商业智能了。所以说数据办理的重要性在被逐步进步。

  数据办理的中心是元数据办理,而元数据办理的中心便是数据标准化,咱们说元数据是Data about Data,它是描绘数据的数据,其实元数据便是界说数据项的结构和标杆,它除了包含数据称号、数据类型等底子信息以外,还包含数据归属、取值规模、校验规矩、数据来历等这些扩展信息。元数据办理的运用范畴是非常广泛的,比方模型规划、数据存储和交流等。

新中心事务体系数据架构规划与数据办理

  咱们现有的中心体系中存在许多数据质量问题,比方不契合事务技能规矩、数据格式过错、多套重复编码等。咱们现有的码表里边非常冗余,因为咱们现在的体系是由外包人员来维护的,他们的活动性比较大,有些人为了图便利,或许来一个新人就订一套新的编码项。咱们在收拾时分发现,仅出售途径办法的编码办法就有6套重复的。

  咱们在数据办理的时分也发现了许多问题:命名规矩不一致,英文、汉语拼音混在一同,有的缩写底子无法从字面去了解它的精确意义。我刚来公司的时分,JYX、HYX、XPS、SOS这些都不知道什么意思,后来是老职工告诉我,JYX是借意险、HYX是航意险、XPS是学平险、SOS我刚开端以为是救命呢,后来才知道是境外救援险;数据类型不一致,同一个字段在不同表里的数据类型、长度不一样,这会给数据交流形成很大的危险;类似表、空字段太多,且大多都抛弃不用了,现在总表是2500张,而在用的数据表只要1400多张,底子上有将近40%的表都是空置的;模型扩展性非常差,新增事务的时分一般要新增表;数据结构改动难以评价对运用形成的影响。

新中心事务体系数据架构规划与数据办理

  主数据办理这块要点需求注重:哪些体系是发生主数据的体系?哪些体系是消费主数据的体系?主数据是怎样获取、怎样分发的?

  咱们的主数据办理没有选用会集办理,而是由各体系别离办理。客户信息体系、一致用户办理体系,规划途径、产品工厂别离维护客户信息、用户安排权限数据、码表数据、产品套餐险种数据。拿客户信息体系来说,通过客户信息五要素:名字、性别、出生日期、证件类型、证件号码去辨认客户信息,通过掩盖、归并、整合、追加等办法生成客户的黄金记载,终究为客户分配仅有标识。

新中心事务体系数据架构规划与数据办理

  咱们以客户信息体系为例讲一下主数据的清洗。因为客户信息数据是通过事务体系调用接口进入到体系中的,出于用户体检的考虑,咱们或许不会对接口操控得那么严厉。可是放松操控的效果会使脏数据进入体系,所以说数据质量的进步,其底子在于通过规章制度、绩效考核来标准和束缚一线录单人员,在源头就将高质量的数据录入体系。

新中心事务体系数据架构规划与数据办理

  这是咱们针对个人客户信息提出的一些清洗规矩,这些规矩底子上都是依据数据格式的清洗,而不是针对数据文本内容的清洗。因为针对数据详细内容的清洗是力不从心的,有的厂商说我可以供给我国邮政大字典,把地址进行清洗,但假如内容都是一些“的的的了了了”,底子无法清洗。所以IT技能只能作为一种辅佐手法,它可以做数据质量查看、也可以给事务部门供给数据质量陈述,可是没有办法从底子上处理数据质量问题,也没有办法完全修正数据。所以,有必要让数据质量与外包录入人员的绩效挂钩,才干从底子上进步数据质量。

新中心事务体系数据架构规划与数据办理

  下面咱们介绍下数据标准化运用。上图是新中心单证体系事务模型,蓝色部分是事务实体类方针,黄色部分是事务操作类方针。事务实体类方针一般是指单证的界说、单证的明细、单证的轨道等等。事务操作类方针一般是指单证的入库、发放、单证的返梢、回退等等。事务操作类方针比较像Java类,有成员变量以及成员操作。怎样将事务模型转化为数据模型呢?详细的办法有两种,一种是咱们比较了解的ER模型剖析办法,它是面向结构的,长处是比较简单向底层物理模型转化,缺陷是不行灵敏,笼统和复用程度不行,假如你要是全用这种办法来规划数据模型,那么今后就只能新增一个事务增加一个表。第二种是方针类模型剖析办法,它是面向方针的,长处是可以很好地完结笼统和复用,缺陷是欠好物理落地,所以要运用方针类模型剖析办法将事务模型转化为数据模型,需求数据建模人员具有必定的规划经历、知识布景或许有必定的模型规划标准来辅导他完结。

新中心事务体系数据架构规划与数据办理

  这是新中心途径接入数据途径的数据模型,也是新中心数据办理与标准化产品归纳性运用的表现。这个项目于上一年11月份成功上线一起也取得了一些奖项,它的全体规划进程表现出了咱们的范畴规划思维。他的数据库契合《数据库数据标准》、模型契合《数据模型规划标准》,它的一切产品都运用了《新中心标准化字典》。这是咱们进行数据办理的一个效果。

新中心事务体系数据架构规划与数据办理

  这儿首要讲一个“事务数据样例”的概念。咱们将事务场景与数据样本相结合,编制了事务数据样例,它注重的是实践发生了的事务活动将导致数据模型中的哪些内容发生改动。这儿以“签单恳求”的事务场景为例,给出了信息流数据在各个进程中是怎样通过数据模型来表达的。它可以用来辅导开发人员正确了解和运用数据模型,辅导测验人员编写测验用例。

  接下来为咱们展示一下数据标准化的其他效果。

新中心事务体系数据架构规划与数据办理

  这是老中心数据办理的产品,为了合作新中心的建造,咱们对老中心的数据方针及重要资源进行了收拾,上图展示的是表和字段的收拾。数据表的收拾有表的称号、所属模块、表的类型、活泼程度、运用场景以及表间联络。数据字段的收拾有字段意义、标准化称号、数据类型、长度精度、码表取值、事务规矩、技能规矩以及字段来历。要点提一下字段来历,同一个字段在不同表中的来历或许是不同的,有或许是前台输入的,也有或许是后台体系刺进的,还有或许是通过规矩公式核算汇总得到的。

新中心事务体系数据架构规划与数据办理

  这是咱们标准化的一个最重要的产品——新中心标准化字典之根底词汇,一起它仍是汉译英的基准和标杆。从分词标准化实践的经历来看,最好是一个人做全程,而且要有一个好的东西来支撑。分词的片面成分较大,首要取决于分词人的事务知识、作业经历、知识以及词汇量。咱们或许从图上看到咱们的这些产品都是在用office文档来维护的,这是因为咱们的元数据办理东西(规划途径)正在依据试用定见进行改造,在正式投入运用前,咱们会选用一些辅佐手法,比方用eclipse编写一些小程序去查看字典的掩盖度、正确度、冗余度是否契合要求。

  分词进程有一些细节需求留意,比方术语拆分的断点和粒度,在汉译英进程中英文词汇的选取、近义词的处理、词汇多对多的问题,副词、介词、数量词的提取标准及表明法,全称或缩写的挑选以及缩写程度的掌握,单体词或复合词的选取,称号超长后的缩短处理等等。

新中心事务体系数据架构规划与数据办理

  根底词汇字典的用处非常广泛。在对表、字段等数据方针进行标准化命名的一起,咱们对新中心各子体系的称号及重要资源都进行了标准化。比方说发布在ESB上的原子服务、销管体系的岗位编码,等等一切需求标准化的当地都用到了这本字典。现在这本字典可以做到英译汉简直一字不差。

新中心事务体系数据架构规划与数据办理

  这是对码表的整合,它也是数据标准化的一项重要内容。咱们从事务视点对老中心码表进行了整合,分为公共编码和私有编码。像证件类型、婚姻状况、性别这种通用性很强的,归于公共编码;像出售途径、保单类型、保单状况这种事务意义很强的归于私有编码。咱们依据稳妥标准委员会拟定的国家金融职业标准(稳妥通用事务代码集),对老中心公共编码进行了替换和扩大。

  私有编码比较特别,每一个稳妥公司都有自己的私有编码。因为每个公司的开展战略和事务侧要点不同,私有编码的数量和取值规模在信息化落地时会存在较大差异。因而,咱们在沿袭老中心的根底上进行了整合与标准化,兼并同类项,消除冗余。

新中心事务体系数据架构规划与数据办理

  这是咱们从技能视点拟定的码表标准,包含编码项的准入标准、命名标准、取值编码准则、码表结构、分发战略等内容。咱们通过规划途径界说和维护码表,通过数据交流途径将它们分发到各个事务体系。码表标准会使显现或打印数据愈加精确,新中心各子体系之间无需转码,这有助于进步体系功用,也便于开发运维人员了解。

新中心事务体系数据架构规划与数据办理

  这是数据办理与标准化的两大标志性产品,一个是数据库规划标准,一个是数据模型规划标准。数据库规划首要是用来辅导运维人员在数据库搭建和参数装备的时分对数据库功用进行开始优化。数据模型规划标准用来辅导建模人员将一些典型的事务场景或事务形式通过标准化的数据模型来表达,类似于JAVA的规划形式。这样咱们就可以防止规划人员依照自己的规划经历或技能水平自由发挥,让他们规划出来的产品具有必定的标准性,再通过1-2次评定就可以交给项目组开发运用了。

新中心事务体系数据架构规划与数据办理

  这是主数据办理计划,首要是对主数据办理的概念、办法论、要害技能及当时主数据的干流运用进行了论述。

  咱们做新体系少不了数据搬迁,数据搬迁必然会触及到对老模型剖析、新模型规划以及新老模型之间的映射和转码等问题,所以搬迁之前要做好充沛预备。搬迁全体计划,从搬迁预备、施行进程、要害点操控、应急处理等几个方面进行了论述。

新中心事务体系数据架构规划与数据办理

  从技能层面来说,数据办理可以协助咱们进步数据质量,进步数据的一致性、精确性和完整性;使数据的生命期愈加清楚,可以很好地发现数据的发生、变迁;使体系运转愈加平稳,必定程度上进步了体系功用。

  从事务视点来说,当IT体系开展到必定阶段的时分,有用的数据办理可以使企业界的数据资源变为战略财物;削减运营本钱,下降运营危险;支撑事务运营和高层决议计划;增强应对监管部门审计性、合规性要求,终究数据价值的发挥将回馈于事务,表现为企业赢利的增加。

  我个人觉得数据办理不只应该贯穿于项目的一直,更应该贯穿于整个企业生命期的一直。数据办理是一项很久远的作业,咱们任重而道远。

4
相关文章