数据是信息的载体之一。经过几年来大数据浪潮的洗礼，“数据”这个字眼已深深印在每个人的头脑中。做为社会公益部门的、以信息服务为基本业务特征的气象部门，从诞生之日起便与数据有着水乳交融的紧密关系，没有数据，气象工作的一切便无从谈起。气象部门的各色人等，每日在各自的岗位上的所说和所做，无不与数据相关。气象部门离不开数据，数据是维系气象部门生命的血液。

数据是极端重要的，重要的东西更需要精心打理。面对着正在渐渐沉静下来的大数据潮汐，既是观潮者也是弄潮人的我们应该反躬自问：我们对数据真的十分珍惜吗？我们对视为血液的数据真的悉心打理（也就是全面科学地管理）了吗？我们对数据的管理水平真的如同我们对数据价值的认知那样相匹配吗？我们的数据管理手段、方法、制度以及相关能力真的已经基本完备，可以自豪地向世人展示我们骄人的成果了吗？我们的基于当前最新成就的数据管理体系果真建立起来了吗？我们确实已经具备了一个气象强国所必须具备的数据管理能力吗？

笔者对此很难抱以乐观态度。

 

2、气象数据管理能力的内涵

数据管理能力的高低直接反映在数据管理效果的优劣，就本质而言，气象数据管理既是一项职能，也是一种持续不断的活动。因而也就必然具备基本的目标和活动内容。

2.1 数据管理目标

国际数据管理协会（DAMA国际）对数据管理的职能和目标已有覆盖面较为广泛、内容较为全面的定义 。参照其文，气象数据管理做为一项职能，其目标可分为战略性和非战略性两种，其中：

2.1.1 战略目标

笔者认为，气象数据管理的战略目标大致可有以下几点：

（1）理解气象部门及政府和社会等相关部门、团体、企业和个人对气象信息的需求。

（2）获取、存储和保护气象数据，确保气象数据资产的完整性。

（3）确保并不断提高气象数据和信息的质量，包括：数据的准确性、数据的完整性、数据的专业化整合和综合性整合、数据采集和获取的及时性、数据的相关性和实用性、被共同接受的明晰的数据定义等等。

（4）确保气象数据的保密要求不被损坏。

（5）确保气象数据和信息资产的有效利用和价值的最大化。

2.1.2 非战略目标

（1）确保气象数据管理工作的各种努力与气象部门的战略和业务目标达到高度一致。

（2）在气象部门内确保数据管理的一致性。

（3）促进全部门对气象数据资产价值的更广泛和深入的理解。

（4）控制气象数据的管理成本。

鉴于上述内容皆属常识，故不再逐一阐释。

2.2 数据管理能力

具备完备的、有组织的专业化能力，是实现数据管理职能目标的具体保障。由国家质量监督检验检疫总局和国家标准化管理委员会于2018年3月15日颁布，同年10月1日实施的国标《数据管理能力成熟度评估模型》（GB/T 36073-2018，下简称《成熟度模型》）中，将反映一个企业管理数据能力的考察领域分成了八个能力域 ：

数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准、数据生存周期。各能力域又分别含有若干能力项，详见下表：

能力域 能力项

数据战略 数据战略规划

数据战略实施

数据战略评估

数据治理 数据治理组织

数据治理建设

数据治理沟通

数据架构 数据模型

数据分布

数据集成与共享

元数据管理

数据应用 数据分析

数据开放共享

数据服务

数据安全 数据安全策略

数据安全管理、

数据安全审计

数据质量 数据质量需求

数据质量检查

数据质量分析

数据质量提升

数据标准 业务术语

参考数据和主数据

数据元

指标数据

数据生存周期 数据需求、

数据设计与开发

数据运维

数据退役

表1、数据管理能力域及相应能力项

相应的，对各能力项成熟度的测度（即：评估等级）分为五个等级，由低至高依次为：

（1）初始级：数据需求的管理主要是在项目级体现，没有统一的管理流程，主要是被动式管理。

（2）受管理级：组织已意识到数据是资产，根据管理策略的要求制定了管理流程，指定了相关人员进行初步管理。

（3）稳健级：数据已被当做实现组织绩效目标的重要资产，在组织层面制定了系列的标准化管理流程，促进数据管理的规范化。

（4）量化管理级：数据被认为是获取竞争优势的重要资源，数据管理的效率能量化分析和监控。

（5）优化级：数据被认为是组织生存和发展的基础，相关管理流程能实时优化，能在行业内进行最佳实践分享。

限于篇幅，各等级的具体特征不再抄录。

《成熟度模型》中对各能力域及能力项均有较详细严格的评估标准，感兴趣者可自行对照评估。本文拟根据笔者对目前气象部门数据管理现状的了解，结合笔者的思考和理解，在下文里就其中若干对气象数据工作具有重要意义的管理能力予以解释和分析。

 

3、几个重要数据管理能力的解释和分析

3.1 数据战略

参照《成熟度模型》，完整的数据战略应当包括：数据战略规划、数据战略实施和数据战略评估，对气象数据战略而言也应如此。

3.1.1 气象数据战略规划

战略规划之所以极端重要，因为它兼具了描述发展的蓝图和实现发展目标的路线图，是指导今后一段时间内工作的纲领性文本，因此战略规划必须在分析存在的问题、行业内外的需求、目前技术的发展状况以及经过努力可能达到的进步程度等综合性内容的基础上，提出未来一段时间内业务发展的愿景、目标、路径以及步骤。战略规划必须同时具备前瞻性、完整性和一致性——气象数据战略规划也是如此。

需要着重指出的是，气象业务及科研工作与气象数据有着天然的紧密联系，所有工作都是围绕着气象数据而展开的。因此气象数据战略规划绝不仅限于指导气象数据中心等相关数据管理部门。事实上，气象部门探测、预报和服务这三大业务板块中，探测业务是用来获取气象实况数据的，预测业务是通过处理气象实况数据从而生成预报产品（也就是预报数据）、供气象服务部门使用的，而服务业务则是面对社会上不断增长、不断变化的服务需求，通过加工处理各种预报和实况数据来满足社会需求的。气象服务领域遇到的新的服务需求，最终必定反映到对预报数据和实况数据的新的需求上来。因此，从数据的角度看，气象预报和气象服务的发展，归根到底有赖于气象算法和气象数据的发展。居于战略的高度，气象数据战略规划至少要回答如下问题：

 气象业务未来的发展目标是什么；

 为了达到发展目标，需要在现有的预报业务和服务业务领域做哪些调整、补充、完善和开拓；

 上述调整、补充、完善和开拓对气象数据的新的需求是什么，包括最低限度的需求和充分满足的需求；

 目前已纳入业务范畴的气象数据对上述新需求的满足度评估，发现并确定目前无法满足需求的数据缺口；

 对所有数据缺口的弥补措施及方案的确定，包括：哪些缺口数据可以通过研发并建立新的数据产品（如：再分析资料、多源数据融合产品等）加工处理系统，利用现有数据资源予以解决；哪些缺口数据的数据资源在气象部门内部无法解决，需要开辟新的数据资源获取渠道，通过部门间数据共享或互联网等公共渠道在社会上获取；哪些缺口数据目前没有数据资源，需要通过建立新的探测网点、新的探测手段而获取，等等。

…… ……

上述问题的解答，实际上就是气象大数据战略建设依据的重要内容之一，它的影响面甚至波及到气象探测业务，是气象探测业务未来发展的指导和纲领。因此，气象数据战略规划是全局性的，是指导包括探测、预报和服务三大业务板块在内的所有气象业务/科研工作发展方向和路径的纲领。

气象部门虽然至今尚无冠名的气象数据战略规划，但相应的内容还是存在于各个战略规划文本之中的，只是这些内容相对分散，尚未形成一个有机的整体，并上升到战略层面。目前的当务之急是要认识到，气象数据战略规划是气象发展战略中不可或缺的关键组成部分，而气象数据战略规划的优劣关系到气象发展战略的坚实或脆弱，需要科学、系统、全面和有序地认真制定，需要全部门的共同参与。

3.1.2 气象数据战略实施和评估

战略规划是用来指导工作的，战略规划的实现是靠一项项有序的工作来一步一步落实，并最终完成的。因此，设定的工作及任务与规划的愿景、目标之间是否存在差距、以及差距的大小，当前工作情况与预期工作进度之间的差距，工作过程中是否配置了有效的质量、进度和预算执行保障制度，等等，都是战略规划实施过程优劣的度量维度。据笔者了解，到目前为止，气象部门尚未具备完整的行之有效的工程质量、进度和预算执行保障制度，一些规模较大的工程虽然按规定引进了监理部门，但有相当数量的工程监理效果并不理想，不少建设工程至今仍处在主要凭管理者的经验来管理工程和推进进度的地步——与气象数据相关的工程也是如此。

同样，据笔者了解，对工程实施过程进行阶段性跟踪评估的制度，目前在气象部门亦未能真正建立起来，一些单位的工程过程监测仍以定期向领导汇报的形式完成，而这些汇报往往缺少科学的统计分析和精准的样例说明。这反映出气象部门在这方面能力的薄弱和缺失。

这种状况应当尽快予以改善。

3.2 数据治理

“治理”是与问题相伴共生的，出现了问题，且用常规技术手段无法解决，于是便有了从更高的层面，在分析和梳理问题根源的基础上，通过制定规范、设定岗位和明确职责等方式，以治理的形式达到问题的解决。社会领域出了问题有“社会治理”，而数据领域出了问题，便有“数据治理”（Data Governance）。因此，数据治理并不是一个新生事物，有数据的地方就存在数据治理。

数据治理至今尚无被业界广泛接受的定义，依笔者的观点，所有为提高气象数据质量和数据应用效率/效益/效能而展开的业务、技术和管理活动，都属于气象数据治理的范畴。

3.2.1 为什么要进行数据治理

从上文中我们已经了解到，气象数据在应用和管理过程中存在着诸多问题，如：

（1）数据的定义不完整

从上文可知，因事业的发展和工作的需要，过去形成的对气象数据的定义已不完整，一些过去不被重视、但现在对工作却十分重要的数据因未被纳入气象数据的范围，从而缺乏相应的规范标准和业务保障，导致与之相关的各项工作的推进十分困难。因此必须尽快修订和完善气象数据的定义。

（2）多重数据模型的同时存在

由于历史原因，同一种数据以多种数据模型的形式在同一个数据库系统中同时存在的现象相当普遍，导致数据库管理的复杂度居高不下。当这些数据模型存在的理由因技术升级换代而消失后，必须适时对这种现象予以逐步消除。

（3）数据流程的不规范

基于最优化原则的、规范的数据流程尚未建立起来——即便是在国家级业务系统和业务部门之间也是如此。许多业务系统仍采用上下游数据私相授受的“短路”方式，数据流程的复杂和难以管理并未因CIMISS1.0的业务化而得到根本解决。需要尽快设计出相关的符合最优化原则的数据流程，并从顶层采用行政手段予以强力推行。

（4）数据质量依然问题很多

许多重要数据尚未纳入质量管理的范围，气象数据质量管理缺乏总体规划和较为详实可行的实施方案。以台站信息表为例，做为CIMISS1.0重要数据的地面测站信息表，常与省局的相关信息出现偏差。究其原因，是这些重要数据的采集途径既不规范亦无业务保障。这种情况并非个案，需要通过管理手段予以全面的调整和改进。

（5）系统重复建设，数据大量冗余

CIMISS1.0现已业务化，但虽然CIMISS1.0无论是数据内容、还是服务手段/方式以及服务时效均已充分满足需求，一些单位仍以各种理由回避使用CIMISS，坚持保留其在各方面与CIMISS都难以匹敌的数据库系统，导致同质数据库的重复存在、数据的大量冗余、维护成本的大量浪费。这种现象必须通过行政手段予以制止。

——还可列出更多的原因，限于篇幅，不再枚举。

需要注意的是，上述所有这些问题都不单纯是技术问题，也是用技术手段无法根本解决的，需要进行综合的气象数据治理。

3.2.2 数据治理的概念和目标

（1）概念

数据治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。因此，数据治理是一种关于数据的体系建设和这一体系的持续运行。

（2）目标

数据治理的目标是提高数据的质量（准确性和完整性），保证数据的安全性（保密性、完整性及可用性），实现数据资源在各单位、部门和系统间的充分共享，优化数据流程，推进信息资源的整合、对接和共享，确保关于数据各项措施的实际效果与气象事业发展战略目标高度一致，提升气象部门的信息化水平，最大限度的发挥气象数据的价值和作用，提高数据的使用效率，降低数据的维护管理成本。

3.2.3 数据治理体系框架

（1）战略

数据治理是在气象事业发展战略和规划的指导下进行实施的，这些战略和规划包括业务发展目标、IT规划以及数据治理相关的发展规划。

（2）机制

机制是数据治理工作实施的基础保障，通过组织、制度、流程的建设和执行得以落实。机制是数据治理工作的重点，数据治理执行效果就是机制落实的实际效果。

（3）专题

数据治理专题是指气象数据治理的各项具体工作内容，根据“3.6.1”节的分析，气象部门的数据治理专题至少包括数据定义的修订补充、数据建模设计、数据业务分布梳理、在建应用系统数据需求分析及数据应用规范遵从、数据流程规范遵从、数据库内数据冗余治理、同质化数据库整合、主数据界定和管理、数据生命周期管理策略和CIMISS的实际业务应用等多个方面。

（4）实施

数据治理工作最终需要在相关制度、规范和流程下通过数据治理组织、借助技术手段和管理手段来予以实现。

2015年以来，气象部门已陆续成立了信息化领导小组、工作组和信息化办公室，以及相应的一系列专题性的工作分支机构。但针对气象数据治理则既没有成立相关组织机构，也没有有意识、有组织地推进这方面的相关工作。气象数据治理工作的重要意义尚未被有关人士所意识和认知，这种现象令人忧虑，因为数据治理工作的开展与否，关系到气象数据管理工作被动局面的能否尽快扭转。笔者衷心希望这种现象能够尽快改变。

鉴于有关数据治理工作已有多部专著予以详尽阐述 、 ，限于篇幅，本文不再深入讨论。

其它一些显然也很重要的数据管理活动，如：数据全生命周期管理、数据安全管理等，气象部门对其已有较为统一而完整的认知，并也已采取程度不等的相应措施。限于篇幅，不再赘述。

3.3 数据架构

在一些人眼中，“数据架构”是一个十分神秘的字眼。其实它就是有关数据构成、数据形态和数据分布等信息内容的一种组合 ，主要包括：数据的定义、数据的建模和数据的分布。

3.3.1 数据的定义

所谓数据定义，就是对企业内的所有数据进行分类，并对每类数据的构成进行进一步确定，直至明确到每一个数据元素。如：按照2006年颁布的气象数据分类与编码规范，气象数据由地面观测、高空探测、海洋观测、雷达探测……等十四大类数据构成 ，而每类数据又由若干种数据构成，如地面观测类数据便是由：地面逐小时观测、地面自动站分钟降水观测、地面自动站分钟压温湿风地温观测……等种类的资料而构成。再进一步，地面逐小时观测数据又是由：观测站站号、观测时间、观测要素值（气压、干/湿球温度、风向/风速、地表及各层土壤温度、……）等构成，如此等等。

数据定义的目的，是明确气象数据的范围、类别和具体内容，使人们对气象数据有一个完整而又准确的概念和界定。

3.3.2 数据的建模

数据只有被使用才能体现出其价值，而使用数据的前提之一是必须明了该数据的存在形态，亦即：必须明了被使用的数据是结构化数据、还是非结构化数据抑或是半结构化数据，该数据是以数据库表的形式存储，还是以表驱码、文本文件、二进制文件等形式存在，以及该数据中的各个数据元素（即：气象要素数据）所处的具体位置和数据单位等等。完整地获得了这些信息，该数据便能够被使用了。而这些信息的全体，构成了数据模型的全部内容。

所以，数据建模就是对数据存在形态的设计和具体构建。

而一旦一种数据完成了数据建模，则其具体的应用方式便也随之而被确定下来。不同的数据模型，决定不同的数据使用方式：以地面小时观测数据为例，以数据库表形式存储于Oracle数据库中，与以表驱码netCDF格式以及以MICAPS文本格式存储于文件系统之中，三者的使用方式之间存在着相当大的差别。因此，数据的模型决定了该数据的使用方式。而现有数据模型的不适用，也往往是导致同一套数据在同一个数据库中存在多种数据模型的致命理由——虽然这将导致该存储系统内数据的大量冗余以及管理复杂度的大大增加。

所以，数据的建模非常重要，理想的数据模型应该具有非冗余、稳定、普适、易用等特征。

3.3.3 数据的分布

数据的分布有业务分布和系统分布两种，其中：

（1）数据的业务分布

指各类、各种数据在业务中的使用分布情况。从业务的视角出发，数据的业务分布是指各个业务系统各自分别使用的数据的总图谱。而从数据的视角出发，数据的业务分布则是指每类、每种数据被哪些业务系统所使用的总图谱。如：地面小时观测数据既被天气预报业务中的强天气预报、台风预报、农业气象预报等专业业务所使用，也被气候预测、气候诊断、气候灾害评估等气候专业业务所使用，甚至还被专业气象服务以及气象卫星遥感产品处理等业务所使用。而天气雷达数据的业务分布则主要局限在天气预报业务及气象服务业务之中，气候预测业务中极少使用。

数据的业务分布的梳理，有助于厘清各类、各种数据的业务使用范围，从而使得这些数据的管理方案和服务方式更具有针对性，效果也更加良好。

（2）数据的系统分布

由于技术的限制，有时对于一套相对复杂的业务体系，单一的一套综合性数据库难以全面满足对整个业务体系的数据服务，此时需要另设若干专题数据库，每个专题数据库负责一定的业务范围，这些各自负责一个具体服务方向的专题库的全体共同承担起对全系统的数据服务支撑。

所有这些专题库、以及这些专题库各自服务的业务对象（即业务系统），就是数据的系统分布。

所以，数据的系统分布就是所有数据库在业务支撑方面的分布情况及对业务支撑情况的总体综合。

显而易见，数据库的数量越多，数据管理的复杂度也就越高。因此对于数据库系统分布的管理和控制，有助于在业务需求的满足与管理的便捷性方面达到最佳的平衡状态。

数据架构的建立和管理对于构建完备的气象数据管理体系是极端重要的。早在2003年，当时的中国气象局领导和职能部门就希望建立起能够实时监控所有国家级乃至全部门业务系统运行状态的实时业务监控系统，以便整体把控全部门的业务运行。十余年过去了，该系统至今迟迟建立不起来。究其原因，并非有关单位和人员不努力，而是由于气象数据定义范围的不完整，导致系统和设备状态数据至今未能纳入业务管理范围。状态信息的不规范、不完整和无保障，使得监控系统的设计和建设无从下手。此外，数据的业务分布始终没有进行全面的梳理和分析，没有人（以及文档）能够说清各类气象数据各自支持了哪些业务系统，以及支持过程中相关的要素、频度和时效需求。这导致了即便监控系统建立起来，一旦出现数据链故障，监控系统也无法达到快速判定故障波及范围以及故障严重程度的评估，起不到精细化管理的作用。

所以，气象数据架构的梳理、分析、补充完善甚至重构的工作需要尽快展开。

3.4 数据应用

数据犹如矿藏，只有挖掘开采，方能体现出矿藏的价值。应用得越充分、发挥的作用越大，数据矿藏的价值体现便越高。应用是体现数据价值最主要的途径。

对于矿藏而言，既需要开采能力，也需要在开采过程中遵循相应的规范。数据应用也是一样，既需要具备数据应用能力，也需要制定并遵循数据应用管理规范。

3.4.1 数据应用能力

对一个企业而言，业务数据在业务领域里的充分应用，是该企业得以运作的基本条件和要求，这已不能算作该企业数据能力的测量维度了。在笔者看来，一个企业数据应用的能力，更主要的是在数据基本价值充分发挥的基础上，进一步发挥数据潜在价值的能力——这里，潜在价值的体现范围包括社会和企业自身两部分。

（1）气象数据潜在价值的内部体现

笔者认为，对气象部门自身而言，气象数据的潜在价值至少体现在两个层面：

 通过对数据的分析，敏锐感知社会对气象部门服务需求的新的变化，并随之采取相应措施以适应新的变化、满足新的需求，从而实现对宏观管理决策的支持；通过对数据的分析，敏锐感知自身业务系统正在发生的变化，预知并预防可能发生的各种事故和故障，从而使自身运转始终处于健康状态。

 在常规气象服务的基础上，通过对政府、部门、单位和社会各种特殊气象服务需求提供有针对性的个性化，进一步主动发挥气象数据的服务价值，并以此获得新的服务能力和服务效益。

在第二个层面，中国气象局早在本世纪初便已意识到气象服务的重要意义，并于2007年成立的公共气象服务中心，专职于气象服务领域。十余年来公共气象服务事业发展迅猛，是气象业务中最为活跃的领域，已迅速成长为气象业务中不可或缺的重要构成。公共气象服务领域和专业气象服务领域在面对各界层出不穷的服务需求中，痛切地感觉到对各种气象数据（包括预报产品）的急切需求，以及上游数据来源的难以随需而用。这在很大程度上正在倒逼位于上游的各业务单位在数据管理和服务等方面的改善、改良甚至改革。

相比较而言，第一个层面的工作相对滞后——尤其是数据分析对宏观管理决策的支持方面，这与我们在意识、方法和资源等各方面均处于匮乏状态有很大关系。单就资源而言，由于气象数据架构的不完整，虽然气象数据的定义经过了一定程度的调整，但目前纳入业务管理范畴的气象数据依然只限于气象观测数据、数值预报产品、气象预报服务产品、以及部分业务系统及设备的状态数据。这些数据可实现对纳入管理的业务系统运行状态进行监测，但对支持宏观管理决策则作用相对有限——至少至今尚未开始通过分析这些数据提供宏观决策支持的尝试。

目前一些单位（如国家气象信息中心、公共气象服务中心等）正在通过诸如网上舆情分析等方法和手段来获取和感知社会对本单位气象服务的需求以及需求的变化，这种探索途径值得借鉴和参考、这种探索精神值得鼓励和提倡。虽然这些探索目前仅限于单位内部自发的举措，但相信随着“用数据分析、用数据说话、用数据决策”意识的普及，这些活动将更加普遍，效果也将会越来越显著。

（2）气象数据共享

大数据时代，科学数据的全社会共享，以最大限度地发挥数据的价值，已成为全社会的共识。做为公益事业单位的气象部门，近二十年来在气象科学数据共享方面做了大量卓有成效的工作，多次被科技部评委科学数据共享先进单位。早在十余年前便建立起来的中国气象数据网已成为气象科学数据共享的知名门户网站，下载量稳居行业前列。

此外，国省两级气象数据管理单位还通过同城专线用户等形式，以点对点传输方式向区域内的政府、事业及企业等单位共享气象科学数据。以国家气象信息中心为例，目前该中心以这种方式向同城用户提供的气象数据共享输出量已达每日约930GB 。虽然至今没有得到获得气象数据共享各部门同等规模的数据共享回报（输入量≤0.7GB/日 ），但气象数据共享的大门只会越敞越开，共享的方式和手段也将会越来越丰富、也越来越规范。

当然，参照《成熟度模型》相关章节，不难发现气象部门在数据共享能力方面仍然存在若干短板甚至缺项，这是今后一段时间内有关部门提升数据共享能力的努力方向。

3.4.2 数据应用管理

数据应用管理是指在应用系统设计和研发过程中，对该系统的数据应用方式应当尽可能遵守既定规范标准的规范化管理工作。主要有以下几个方面：

（1）数据源模型规范的遵从

数据源模型是指满足在建应用系统数据需求的所有数据源的数据模型。对一种数据而言，其数据模型一旦确立，相应的应用方式便随之而基本确定。因此数据模型及数据接口的设计非常重要，它应当兼具简单、易用、普适等诸多特点。而数据模型确立后，后续开发的应用系统不应毫不顾及已有的数据源模型而另起炉灶，各自设计符合自己使用习惯的各种数据源模型和应用方式，因为这将导致同一种数据源的多种数据模型的共同存在，从而导致数据源管理的复杂和混乱。以现已业务化的CIMISS1.0为例，其中的地面小时观测数据目前便有关系型数据库表格、MICAPS格式、CIPAS格式三种数据模型共同存在，而这一现象无疑加重了CIMISS系统的复杂度和管理的困难。虽然这种现象在产生之初均有其不可抗拒的理由（如：系统的性能问题、原有应用方式的适用性问题等），但一旦这些理由随着CIMISS系统新版本的升级而消失，这种多重数据模型在同一系统中共同存在的现象便理应逐步予以消除。

因此，除非存在不可抗拒的且短时间无法解决的原因，否则新建应用系统不应在现有数据源模型之外另行设计新的数据源模型。

（2）数据产品模型规范的遵从

一个应用系统所产生的数据产品，往往是其下游应用系统的数据源。与“数据源模型规范的遵从”一样，新建应用系统在确定数据产品的数据模型方面，也应尽可能遵从已有的数据模型规范和标准。除非有不可抗拒且短时无法解决的理由，否则其产生的数据产品不可随意设计新的数据模型。

（3）数据流程规范的遵从

局部效率最优化的累加未见得导致整体效率的最优，这在实践中不乏例证；对数据流程而言也是如此。上下游两个业务节点之间数据的私相授受，在局部固然可达到数据传输效率的最高，但随着业务节点数量的增加，整个业务系统的数据流数目将会以业务节点数量的指数倍规模递增 ，从而导致系统整体的数据流程空前复杂，大大降低系统整体运行和管理的效率。

当业务节点未发生变化时，业务流程是不会变更的（因此“业务流程再造”的前提必然是业务节点的变更和重组）。但数据流程完全不必亦步亦趋地遵从业务流程的路径，而应当以达到总体效率最高为原则进行整体规划设计。因此对一个相对复杂的业务系统而言，最优化的数据流程设计是必需的。

最优化的数据流程一旦确立，后续研发的应用系统必须遵从既有的数据流程规范，不可以自己局部效率最高为由，擅自更改已有的数据流程，否则将导致系统因数据流程复杂度的逐步增加而变得难以控制和管理。

3.5 数据质量

业界公认的有关数据质量的内涵，主要包括数据的正确性、数据的一致性和数据的完整性等。

气象业务对数据有着天然的依赖性和敏感性，因此气象部门对于气象数据的质量始终高度关注。

3.5.1 数据正确性管理

气象数据的正确性（尤其是观测数据的正确性）关乎气象业务的工作质量，是气象部门最为重视的工作内容之一。而迄今为止气象部门对于数据正确性的管理，也主要聚焦在气象数据中的观探测数据范围；只不过不同的资料种类，其称谓各有不同：对传统的常规观测数据（如：地面观测、高空观测）而言，通常的正确性判定和处理工作是“质量控制”和“质量评估” 、 ；而对于气象卫星和天气雷达等近三十年方才开始使用的新型遥感资料，其数据的正确性处理工作的称谓则更具专业性，如天气雷达数据的“杂波处理”、气象卫星数据的“资料定位”等。气象部门已有一整套较为完整的方案，一旦观测数据出现正确性问题，相应的处理方案和处理动作皆有章可循。

然而对于观测数据之外的那些气象数据（或虽尚未纳入气象数据范围，但对气象工作有重要影响的数据，如系统/设备状态数据、台站元数据等），相应的正确性管理规则和方案却并未确立，因而在这方面存在正确性管理的缺失。

3.5.2 数据一致性管理

气象部门的数据一致性管理主要分两个方面：

（1）同一数据在各不同数据库之间的数据一致性问题。这方面的问题可通过数据库之间的数据同步等技术手段予以解决。此前因疏于统摄管理，气象部门内曾一度数据库系统林立，实现全部门的数据库之间的数据同步十分困难（尤其是异构数据库之间）。随着CIMISS1.0的逐步推广和业务化，这种情况正在好转。

需要注意的是，通过这种同步技术达到全局一致性的数据的种类目前并不多，尚不能涵盖所有气象数据（甚至不能涵盖所有气象观测数据），不少重要气象数据目前并未实现部门内的数据一致性，这种现象已经在阻碍气象数据工作质量的提高。

（2）数据集在时间序列上存在阶段性系统偏差的问题。该问题产生的原因主要可归结为观测设备的更新换代以及观测站点地理位置的搬迁；而相应的订正方法和订正技术相对成熟、工作较为卓有成效的资料领域主要集中在地面观测数据的长时间序列方面，即：已为气象界所熟知的“资料均一性检验和订正”工作 。至于高空探测、气象卫星遥感等其它探测资料的一致性管理工作，目前尚未以明确的主题（数据一致性）、明确的目标（达到相关资料在时间序列上的一致性）而正式开展（即便是相关的研究工作）。

3.5.3 数据完整性管理

如同正确性、一致性管理一样，气象数据的完整性管理目前的关注点亦集中在观测数据领域。而观测业务规定，为了确保观测数据的客观性，对于那些因缺测而导致观测数据在时间序列和观测要素方面出现的不完整现象，一般不采取通过补测而达到资料完整性的做法。因此，因缺测而导致的气象观测数据序列的不完整性，是无法弥补的。由此导致的在应用方面的数据缺失，一般的做法是通过运用数理统计等方法，找出数据相互间的相关系数，用其它时段或空间的数据将缺测数据拟合出来，以填补数据序列的空缺。“气象数据再分析”工作就是这方面的集大成者，即：对于因种种原因，造成气象观测数据在时间序列及空间分布上不完整的现象，基于卫星遥感、高空观测等资料，利用数值模式回算出缺测时段及地理空间位置上的气象数据的近似值。因此，气象数据再分析工作的开展与否以及产品质量的高低，是衡量一个国家是否跻身世界气象强国的重要指标。

而由于传输线路或处理系统故障、导致观测数据在传输过程中发生的资料不完整情况，则气象信息系统在通信、前处理、入库、归档等各个环节上均有相应的监控和补调手段，以确保已采集到的观测数据能够完整地获取并最终纳入管理范畴。

大数据时代，除气象专业观测数据等行业大数据外，那些气象互联网大数据  的应用也开始纳入气象业务部门的策划之中。针对这些产生于互联网、价值稀薄且正确性一致性难以确保的、体量巨大的庞然大数据，是否需要对其进行完整性管理以及如何管理，对于气象数据管理者而言都是一个新命题。

2014年以来，随着信息化工作在气象部门的深度展开，人们开始意识到，除气象观探测数据以及气象服务数据产品之外，原本与气象业务、科研和管理工作有着千丝万缕联系、但却始终未能纳入“气象数据”范畴的一些数据，如：设备状态数据、系统状态数据、人事/财务/项目管理……等数据，也需要尽快纳入气象数据的范畴，并对其进行相应的质量管理。单就资料完整性而言，目前的项目大清查工作中，就多次出现因历史遗留项目的文档出现缺失、而相关人员已经离岗离职，从而导致项目清理工作难以推进的情况。令人遗憾的是，目前这些已达成共识的、应当尽快开展的工作，至今尚未真正地开展起来。

值得一提的是，对于气象观测数据而言，数据的“代表性”也是十分重要的。如地面观测数据，采集点周边的树木或建筑物可能遮挡日照并改变自然风的风速/风向，特殊的下垫面（如楼顶）有可能改变日辐射以及环境气温，故地面气象观测场应尽可能远离那些可能对数据代表性产生影响的环境因素；因此，若将地面观测场设置在树旁、院内、楼顶等位置，其所采集的数据能否代表这一区域的气象特征，是值得严重质疑的。所以，对于气象部门而言，地面气象观测场的选址和迁址都是十分重要、手续也是十分严苛的——尤其是气候观测站。当然，对那些专业气象观测，其观测站点的选址自然需要考虑专业需求，如交通气象观测，观测站点当然选择在靠近公路或铁路旁边的位置，因为这里可以采集到交通干线附近的气象要素。然而，如果在常规数据同化过程中使用这些专业观测数据，则这些数据中的路基辐射、气流扰动等特殊环境因素就必须事先予以消除——于是，这些在专业气象服务中十分重要的环境特征信息，在常规应用中则变成必须予以剔除的“杂波”或“噪声”了。

所以，气象观测数据的代表性，其重要程度甚至超过数据完整性，因为数据完整性的缺失毕竟还有修补的手段（如“数据再分析”等），而数据代表性的丧失则极有可能导致该观测站点价值的丧失。

3.6 数据标准

虽然在笔者看来，气象数据的数据架构尚不完整，但不可否认的是，对于现有已在气象数据定义范围之内的相关数据，有关部门在标准化方面的确从事了大量工作，从分类、数据元素到元数据等，制定了一系列较为完整的数据标准。这些标准对于气象数据工作已经起到了良好的指导和规范作用。

如果说气象部门目前在气象数据标准工作方面存在缺陷的话，目前最明显的缺陷（甚至缺项）就是“主数据和参考数据”的缺位。

3.6.1 主数据和参考数据

（1）主数据

所谓“主数据”，就是指那些对其拥有者而言最为珍贵的，被不同业务、科研及管理活动反复使用的，价值最高的且一旦丢失便无法补偿的关键型数据。

业界有人将主数据的判识标准定义为“部门内系统之间共享的数据”，以使用者的多寡程度做为判识标准，具有一定的合理性和可操作性，可供参考。总之，气象数据中主数据的选定是一项专业性很强的、需要业务和数据部门协同分析完成的工作，限于篇幅，此话题留待以后专题讨论。

气象主数据需要在气象部门内保持完全一致。

（2）参考数据

“参考数据”就是那些增加数据可读性的数据，亦即通常所说的“数据字典”。如：对表驱码GRIB2、BUFR中各数据段、各要素代码的解释，对MICAPS24种数据格式的解释文本等。

如果这些数据字典仅存在于个别系统而没有在全部门内统一管理，一些无法得到数据字典的用户便可能因不能完整理解相关数据，因而无法使用这些数据，从而可能从一个侧面间接造成数据孤岛。

所以，气象参考数据在部门内应当统一管理、全面共享并保持高度一致。

3.6.2 主数据和参考数据的意义

之所以将一个部门或企业的全体数据划分为主数据、参考数据和一般数据，是为了识别各类数据在部门内外的使用价值，以便对不同价值的数据采取不同的管理策略和技术手段，在确保数据使用价值最大化的前提下，尽可能减少数据的管理成本。因此虽然主数据、参考数据等相关概念提出的时间并不长，但却迅速被许多企业和单位所接受，并有效运用在本部门（或企业）的数据管理之中。

数年前，中国气象局相关职能部门曾发文，就在线数据的管理时限提出规定 。这在某种意义上既可视为对相关数据在其生命周期某个阶段的管理措施，也可视为一种原始的、无意识的重要数据/一般数据的管理——虽然这种管理范围狭小而且方法简单。然而对于观测台站信息等重要的核心数据，却长时期缺乏有效的管理制度和手段，以至于不久前还发生过从发布的信息看，某地面观测站的位置竟然身处浩瀚大海之中的不该发生的事故。

3.6.3 关于主数据管理

面对浩如烟海的气象数据，如何抓住重点，有计划、有针对性并且符合实际情况地予以高效管理，是引进主数据概念的原因之一。在厘清气象数据业务分布的基础上，根据数据使用价值的高低，分别确定各种气象数据的主数据、一般数据和参考数据的各自归属，并按照其各自生命周期的使用特点制定相应的存储管理策略。以期在数据应用价值最大化的前提下，尽可能降低数据管理的成本。

数据的价值一旦判定，对于价值最高的“主数据”的特殊管理，便是部门决策层（特别是数据管理者们）需要认真对待的话题。这一话题是如此的重要，以至于在数据管理领域中专门形成了一门“主数据管理”科目，以深入探讨主数据的管理方法，以及主数据管理水平的衡量标准，即所谓“主数据管理成熟度模型”。鉴于这方面的话题已有专著详述 、 ，本文不再深入讨论。

总之，关于主数据的管理，业界已有一套较为完备、标准的方法论和评判尺度。国际 《成熟度模型》（GB/T 36073-2018）也已将其纳入“数据管理能力成熟度”的评判内容之一 。

 

4、架构的重要意义和作用

4.1 企业架构的基本内容和概念

如同一幢建筑物一定会有由地基、承重墙（柱）为主体构成的完整框架一样，一个部门或企业也一定有其自身的体系架构，以构成这个企业的整体，业界称其为“企业架构”。企业架构的实质，是对该部门或企业从宏观到微观、从整体到局部的多层次、多视角的描述。它反映了该部门或企业的业务构成及业务流程、支撑各业务的应用系统构成、支撑全体业务和应用的数据构成、以及所采用的技术构成和组织设置及安排。是对该部门或企业关键型业务、应用、数据和技术的整体性描述。

企业架构分为：业务架构、应用架构、数据架构和技术架构，见下示意图。

图1、企业架构示意图

4.1.1 业务架构

一个部门的业务架构，就是这个部门业务构成的由宏观到微观的详尽的条理化描述。如：气象部门的业务主要由观测、预报和服务三部分构成，而观测业务又由地面观测、高空观测、天气雷达观测、气象卫星观测、大气成分观测、农业气象观测等等若干种专业气象观测构成。预报业务则由天气预报、气候预测两部分专业业务构成，细分下去，天气预报专业业务又可分为：强天气预报、台风预报、农业气象预报、数值天气预报、……数个专业方向；气候预测专业业务亦可类似细分，见下示意图：

图2、气象业务架构示意图

业务架构的梳理和全景展示，有助于展现该部门的战略意图以及实现路径。抽象地说，业务架构是对该部门战略规划和业务规划的实际描述，并通过制定业务策略、业务机制和业务流程来解决部门内的业务布局以及各业务之间的关系 。气象部门的业务架构是基于气象事业发展战略的，它决定了气象部门内各业务单位及业务系统的运转方式。同时它建立了气象发展战略与日常业务活动之间的关联关系，是连接发展战略与具体项目实施的桥梁，即：通过气象业务架构的支持，达到气象事业发展战略中预先设定的战略目标 。

4.1.2 应用架构

通俗地讲，应用架构就是支撑某项专业业务的具体应用系统的构成，因此应用架构总是与其所支撑的具体业务相关联的。以CIMISS系统的地面观测数据入库前处理业务为例，针对不同的观测数据种类，其入库前处理的具体应用系统有：地面小时观测报解码、地面自动站分钟雨量观测报解码、地面自动站分钟压温湿风地温观测报解码、高空探测报解码等等，见下示意图：

数据入库前处理

地面小时报解码 地面分钟报解码 地面雨量站解码 高空宝解码 农业气象报解码 ……

图3、数据入库前处理应用架构示意图

 

可见，应用架构就是其所支撑业务的业务功能具体实现的实体构成，是对实现业务能力、支撑业务发展的应用功能有条理性的描述 。良好的应用架构，应当具有业务前瞻性、应用的规范和功能的可复用性、适应并促进部门内系统的整合和平台化、以及具有适度的松耦合等特点。

4.1.3 数据架构

数据架构在上文“3.5 数据架构管理”中已有概要解释，不再赘述。

4.1.4 技术架构

简言之，技术架构就是所有应用架构所采用的技术平台、技术组件的总和，是支持数据架构和应用架构的IT运行环境，它主要描述业务系统、应用系统和数据系统所依托的基础设施、基础平台和专业平台的能力。

良好的技术架构，应当具有安全、可靠、灵活、易扩展、易维护、支持业务连续性等特点。

上述特点的达到并非易事，以目前中国气象局国省两级业务、应用及数据的技术构成为例，支撑数据库系统的基础平台，有：Oracle、SQLsever、Mysql、欧冠虚谷、Cassendre、……，支撑人机交互界面的GIS平台有：arcGIS、Mapinfo、超图、……，等等。由于在技术平台选择方面的无规则可寻，使得应用系统研发者们往往根据自身的知识范围和技术偏好，选择最为得心应有的技术方案，从而使得全部门各地在同类应用功能开发方面经常出现彼此技术平台和技术方案存在巨大差异，形成的应用系统因技术差异而彼此画地为牢，形成技术孤岛，技术难以互通、成果无法共享，继而导致部门内大量的重复开发、低水平重复建设，开发和维护成本常年居高不下。

所以，要想真正推动信息化工作在气象部门的广泛深入开展，以信息化推动气象现代化，气象部门良好的技术架构设计，以及为推广贯彻技术架构而采取的一系列IT治理工作，是无论如何绕不开的。

需要注意的是，业界亦有将应用架构、数据架构和技术架构统称为IT架构，从而将企业架构的内容简单分为“业务架构”和“IT架构”两种的做法。这种以突出信息技术为主要动机的架构分法颇有相当规模的接受群体。

4.2 架构的重要意义

如同一个人一定有头脑、躯干和四肢一样，一个组织的架构一定是存在的，关键在于组织的管理者能否全面、清晰地明了本组织的架构，并根据发展规划和战略意图，通过对组织架构的梳理、规划、修订和完善，利用顶层设计贯彻发展战略意图。对于管理者而言，不了解本组织的架构，便如同盲人摸象，无法有效地行使管理职责、贯彻管理意图。而另一方面，架构又具有战略层面的能动性，通过对本组织业务、应用、数据和技术架构的梳理、分析、规划和最终确立，可从顶层的高度部署并贯彻组织发展的战略意图。

业界一些成功利用架构规划来贯彻发展意图的企业，都是先从企业的发展战略出发去梳理本企业的业务架构，然后进一步分析和规划相应的应用架构、数据架构和技术架构，通过对企业架构的分析，将企业的业务战略、业务流程紧密结合起来，为企业描绘一个业务、应用、信息、技术有机互动的蓝图。 

有效的企业架构对一个组织或部门的生存和发展具有决定性的作用。良好的企业架构能够为组织带来重要的业务效益：

 业务的设立、布局和部署更加符合组织的发展战略。

 组织的运营更加具有灵活性和敏捷性，效率、效益和效能能够达到更高的水准。

 组织内的监管更加全面有效，组织的核心竞争力进一步增强，能够更加敏捷地适应环境的变化、满足社会和市场需求。

遗憾的是，对气象部门而言，全面的、横向到边纵向到底的架构梳理工作至今尚未进行，尤其是应用架构、数据架构和技术架构。这一极其重要工作的缺失，使得专职信息化管理和工作者由于缺乏业务、应用、数据和技术等方面的全景信息，而常年处于某种懵懂状态，发出的指令无法精准，监管措施也难以到位，许多原本具有重要意义的工作难以贯彻实施，抑或最终流于形式。

对于气象部门的信息化工作而言，不完成部门内业务、应用、数据和技术架构的全面梳理，便无法掌握全面的完整的信息，相关指导工作便难以有的放矢，预期的效果也难以达到。因此，若想深入推进信息化工作、贯彻和推广智慧气象理念，气象部门全面的架构梳理工作势在必行、无法回避。

 

5、构建完备的气象数据管理体系

5.1 构建气象数据管理体系的基本要素

相信认真研读过《数据管理能力成熟度模型》（GB/T 36073-2018）的气象界同仁们，都已依照模型中的测度标准对气象部门的数据管理能力进行了评估，并已借此发现了相应的能力短板所在。我们接下来的工作，就是如何修补短板、亡羊补牢。

依笔者的看法，至少有以下工作需要依次展开：

（1）战略规划的完善和贯彻

前文已述，气象数据战略规划极其重要，不可或缺。目前虽尚无专属于气象数据领域的战略规划，但有关气象数据的重要的发展计划和部署并未真正缺失。目前需要做的工作，是将这些内容从各个发展规划中提取并归纳起来，形成完整的气象数据战略规划，以全面系统地指导气象数据工作的有序开展。

在战略规划的基础上，制定相近完备的实施措施，并配以科学有效的评估制度和方法，为战略规划的贯彻提供强有力的制度保障和技术保障。

（2）数据架构梳理与规划

数据架构是气象数据管理工作的基础，数据架构不清晰、不完整，气象数据管理工作是无论如何无法做到位的。因此气象数据架构的全面梳理工作必须先行。

在梳理数据架构的基础上，依照业务发展战略，对现有数据架构进行深入分析，适度修订完善气象数据定义，以普适、易用和最优化等原则设计数据模型，并将需要调整、归并和取消的数据模型陆续纳入数据治理的工作清单之中。

依照数据的业务分布，按照满足业务需求与数据管理便捷双赢的策略，规划设计数据的系统分布。

（3）数据治理工作的循序展开

数据治理工作不开展，气象数据领域中的问题便无法解决。本质上讲，数据治理工作是一项以制度建设、岗位设置和行政管理为主要手段的数据管理活动，以管理的方式达到诸多数据问题的根本解决。

数据治理的执行者需要赋予相当的权力和职责，因此气象部门的数据治理工作无疑是专职信息化工作者当务之急而且义不容辞的责任。至于数据治理的方法，上文已有概述，不再赘言。

（4）数据质量管理的丰富和完善

在延续并继续加强现有工作的基础上，依照需求的紧迫程度，循序拓宽需要进行正确性检控和处理的气象数据的种类，开展相应的技术研究，探讨相应的技术方法，并在技术基本成熟时尽快形成业务能力。

进一步修订业务规范，完善气象数据完整性管理的各项规定、业务岗位及相应职责。

通过数据治理工作，逐步减少同质数据库的数量，以及数据库内的数据冗余现象，实现部门内气象主数据的完全一致，气象参考数据的高度一致，以及一般数据的基本一致。

（5）构建基于风险评估的数据安全管理体系

对气象部门而言，数据安全不是一个孤立话题，应当将其融入到气象部门整体安全的体系之中，在气象部门信息安全体系之下予以统一设计和管理。按照“基于风险评估安全体系”的基本思想，针对主数据、参考数据和一般数据，以及各数据所处生命周期的不同阶段，制定相应的数据安全策略，予以有针对性的、符合整体策略的安全管理，在全面满足数据安全要求的前提下，收到事半功倍的实际效果。

如果上述工作在具有较强前瞻性的、完整的规划和有条理的安排下循序进行并取得预期成效，那么我们有理由认为，气象部门的较为完备的数据管理体系已经基本建立起来了。

5.2 一个实用的成熟度模型

事实上，早在国标GB/T 36073-2018发布并施行的三年以前，美国NCEI的几位数据科学家便提出了科学数据管理成熟度评估模型（The Scientific Data Stewardship Maturity Assessment Model Template） ，该模型将气象科学数据（含数据集）管理的成熟度分成九个能力项，分别是：

（1）存在的形态（数据存储的方式以及数据存在的形态）；（2）可存取性（公众可搜索和可存取状态）；（3）可用性（易于使用的状态）；（4）生产可持续性（数据生产的状态是可持续的和可扩展的）；（5）数据质量保证（保证数据质量的状态）；（6）数据质量控制/监测（数据质量受控制和监测的状态）；（7）数据质量评估（数据质量的可评估状态）；（8）透明度/可追溯性（数据的透明、可追踪、可追溯的状态）；（9）数据完整性（数据完整性是可验证的）。

相应地，该模型也对这九个能力项的测度定义了五个等级，自低至高依次是：

Level 1：自组织，无管理。

Level 2：极小的、有限度的管理。

Level 3：中度管理，定义的并部分实现的。

Level 4：先进的管理，明确定义、全面实施。

Level 5：最优化的level 4+，计量、控制、审计。

不难发现，该模型较之国标GB/T 36073-2018而言，虽显粗浅，却从数据的存在形态、到数据的可用性、可延续性、可追溯性、到最后的数据完整性和质量保障等各个维度，完整地涵盖了对一个已存在的科学数据（含数据集）在管理方面的全方位测度，十分实用。对于一套气象数据而言，如果通过该模型评测后，在九个能力项中均得到较高评分，那么这套数据一定是一套高质量的数据。

笔者认为，这套模型稍加调整（甚至不进行调整），即可用于对目前已存在的气象数据产品（如：多源数据融合产品、大气再分析资料等）的生产系统和维护系统进行评测，借以发现短板，改善相关工作，并作为未来气象数据产品业务系统建设的参照系。

 

6、结语

一位数据科学家按照在数据管理方面的表现，将一个企业数据管理能力分为四个层次，由低至高依次为：尚无数据管理意识、被动做出反应、主动防范风险、能够预知问题 。据此我们可以大致判断出气象部门目前数据管理的实际水平。

大数据时代，数据的种类和体量均在迅猛增长，数据的共享和应用更是风起云涌。如果气象数据的管理能力不随之提升，数据管理漏洞和短板长期存在并且不断扩大，我们的所有工作便如同在沙滩上建造房屋一样，始终被如同幽灵般的数据管理问题所缠绕。因此，不断提升数据管理能力，建立完备的气象数据管理体系，是夯实气象事业工作基础的战略性工作。虽然这项工作繁琐而又平凡，很难博得掌声和鲜花，如同航母巨舰的轮机舱一样，永远位于甲板之下；但越来越多的人都深知，一旦缺少它，庞大的舰队就无法航行，远在彼岸的目标就永远无法达到。

但愿气象部门的数据管理体系能够尽快建立起来、管理能力能够不断提升。但愿数据管理工作在气象部门受到更多的而且是应有的关注和支持。

本文是在一年前写就的《构建完备的气象数据管理体系》一文的基础上，经过学习、研读和思考后修改完成的。修改过程中得到蔡春久先生和高峰同志的指点和帮助，在此致以衷心感谢。

 

2018年11月17日～11月22日