气象数据资源建设及相关问题初探
沈文海1、2、唐伟2、王喆2
(1、国家气象信息中心,2、中国气象局发展规划院)
1、引言
气象数据资源需要管理,更需要建设——因为数据资源是气象部门开展各项工作的基本条件和基础,事业的发展,政府和社会各界对气象服务需求的日益增加和变化,都对数据资源产生此起彼伏的新的要求,唯有做好数据资源建设,夯实发展基础,营造良好的发展条件,气象部门才有可能适应时代的变化和发展。在目前数据已被列为社会生产要素,大数据已成为国家战略的当下,完备而科学有序的气象数据资源建设显得尤为重要和迫切。
本文拟对气象数据资源的建设问题,进行一些初步探讨。
2、相关概念
2.1 信息资源和数据资源
从广义概念出发,信息是事务自身显示其存在方式和运动状态的属性,是客观存在的事务现象。
【1】
1972年,哈佛大学信息政策研究中心主任安东尼•G•欧廷格(A.G.Oettinger)首次提出了物质、能源和信息是构成社会的三大基本要素,并指出:没有物质,什么都不存在;没有能源,什么都不会发生;没有信息,任何事物都没有意义。
【2】由此开启了信息资源的研究热潮。
有关信息资源的定义,业界众说纷纭,德国信息管理专家斯特罗特曼认为,信息资源由三个重要部分构成:信息系统、信息内容和信息基础结构。乌家培教授1996年撰文指出,“对信息资源有两种理解,一种是狭义的理解,指信息内容本身;另一种是广义的理解,指的是除信息内容本身外,还包括与其紧密相联的信息设备、信息人员、信息系统、信息网络等”。
【3】代根兴、周晓燕将信息资源定义为“经过人类选取、组织、序化的有用的信息集合”。
【4】
本文采用代根兴等对信息资源“狭义”的定义,即:信息资源乃信息内容本身。
进入新世纪,数字化的信息成为信息的主要形态,数字在各方面都在逐渐替代信息,成为主要的术语。
【2】有关信息资源的研究工作逐渐演化为对于数据资源的研究。
2.2 数据资源的一些特性
不同于能源和材料,信息资源(或曰数据资源)是可同时使用、异地使用、无损耗反复使用的可共享资源。因此“可共享性”是数据资源最本质的特性。
此外,数据资源同时具备“时效性”、“可建设性”、“再生性”、“可传递性”、“依附性”、“价值性”和“完整性”等特点。其中:
依附性:指数据资源必须借助某种符号形态(如:文字、声音、图像等),并依附于某种载体或媒介(如:纸张、人的五官、磁介质载体等),方才可能进行传播。
完整性:数据资源的内容如果遭到篡改或破坏,导致内容的不完整或虚假,则其价值便被损坏,从而丧失了数据资源的意义。残缺且无法修复的、或者被篡改的数据不能称之为数据资源。
【1】
限于篇幅,其它特性因字面含义比较易于理解,故不再解释。
2.3 数据资源建设
吴慰慈等认为,“信息资源建设是人类对处于无序状态的各种媒介的信息进行有机集合、开发、组织的过程”
【4】。孟雪梅认为,“信息资源建设是指在一定范围内的信息资源中心对信息资源进行有计划的采集、积累、开发并合理布局,以满足信息用户的需求,保障社会发展和国家建设需要的全部活动”
【5】金胜勇等在综合了国内外多名学者对信息资源建设的定义后认为,“所谓信息资源建设,就是人类对处于无序状态的各种媒介信息进行选择、采集、组织和开发等活动,使之形成可资利用的信息资源体系的全过程。”
【1】
笔者认为,气象数据资源建设是指“气象部门对与气象工作相关的各种信息资源进行以数据为信息载体的采集、收集、组织和开发,以满足气象工作以及社会各界对气象服务的需求的所有工作的全体。”这里有三层含义:
其一,气象数据资源建设的对象包括与气象部门各项工作(业务、科研、管理)相关的所有数据。
其二,气象数据资源建设的目的是满足气象部门、气象行业在运行和发展中对数据资源的需求,同时满足社会发展及国家建设对气象服务及气象数据资源的需求。
其三,气象数据资源建设是气象部门不可取代,更不可推诿、不可懈怠的使命和职责。
3、气象数据资源建设的主要内容
气象数据资源建设的目的,是通过应用、开发气象数据资源,为不断提高气象部门的业务水平、管理水平和科研能力提供高质量的数据和信息。
气象数据资源建设可划分为:数据资源建设规划、数据采集、数据质量管控、数据组织、数据产品制作等五个主要环节。
(1)数据资源建设规划
顾名思义,气象数据资源建设规划,就是以当前及未来气象部门运行和发展目标为依据,对气象部门业务、科研、运营、管理等所有工作所需要的数据,从采集、收集、处理、组织到使用等所有环节的全面的工作规划。
数据对于气象部门而言是不可或缺的生命资源,是名副其实的最重要的生产要素之一;数据资源的建设牵涉到气象部门信息化建设的方方面面,因此数据资源的建设规划事实上是规划气象部门信息化建设工作的最重要的内容之一。
(2)数据采集
这里的数据采集包含对数据的采集和收集两种方式,前者是对信息对象以数据形式的直接提取和获取,后者是对已存在的、散布于各处的、以各种媒介形式存在的有关数据,以明确的目的、原则和筛选规则进行的收集和获取。以气象部门为例,气象探测业务所涉及的气象数据的获取属于“采集”,而通过互联网获取散布于互联网之上的气象观探测数据则属于“收集”。
数据(或曰信息)遍布于宇宙,无处不在。获取哪些数据,取决于我们需要哪些数据(或曰信息),没有需求(含潜在需求)的数据不能称其为数据资源,亦即:没有使用者的数据只能是垃圾,没有获取和存储的必要。
需要强调的是,对于气象部门而言,数据资源不单指气象观探测数据,也包含管理领域的各种数据,以及运营领域里的各种数据,这两个领域数据资源的识别和确定,以及相关规范的制订,也需引起足够重视。
(3)数据质量管控
数据质量管控包括数据的质量管理和质量控制两部分内容,前者属于管理工作,后者则属于技术工作,由于这些内容对于气象部门而言已耳熟能详,限于篇幅,不再赘述。
(4)数据的组织
数据的组织是指对采集、收集到的原始数据进行有序化、规范化、系统化的处理,使之从无序变为有序,成为便于使用(尤其是便于分析)的形式,为数据分析提供复合要求的数据形态。
奈斯比特认为,信息社会发展到今天,一个很大的变化就是信息由存储和提供变为信息选择,信息服务的功能越来越多地体现在整合信息资源,为信息需求者提供高效率的获取途径和方法,帮助需求者提高对信息的分析判断能力上
【1】——数据同样也是如此。
数据选择是指对大量的原始数据及经过加工的数据进行筛选和判别,选取所需数据的过程和行为。而数据的组织则是根据明确的工作需求,将根据需求选择出来的数据按一定的规则予以组织起来的过程。
自气象现代化(尤其是气象信息化)工作开展以来,气象观探测数据的数据组织工作几乎都是在观探测数据采集并形成数据文件的过程中完成的,带有鲜明的观测方式特点,如:地面常规观测数据、地面雨量站数据、天气雷达观测数据、气象卫星观测数据、大气本底站观测数据等——管理方面的数据也有类似的特点。
自关系型数据库在气象部门推广应用以来,气象观探测数据中那些以结构化数据为形态特征的数据,在关系型数据库强大的存储管理及检索能力的支持下,已可以较为便捷地在数据库内各表之间按照指定规则进行规范地数据组合,以形成用户所需要的数据资源。即便对半结构化或非结构化的观探测气象数据,其数据的重新组织目前也已具备了较为丰富的技术和手段。
目前,气象管理数据是气象数据组织工作目前尚待开垦的处女地,而所面临的困难也并非来自技术,而是数据共享和相关的政策法规。
(5)数据产品制作
气象业务和科研工作需要获取地球大气尽可能详细、完整的状态信息(包括历史状态信息),为此多年来气象部门持续地发展地基、天基、空基观探测方法和手段。各种观测手段都有一定的局限性,克服各种观探测手段所获数据的局限性,形成立体的、空间和时间间隔尽可能稠密的、能尽可能逼真反映地球大气实际运动状况的网格化数据产品,供气象科研和业务工作使用,这是气象观探测数据产品制作的主要目的。
因此,数据产品的制作对于气象部门而言是异常重要的。网格化的数据产品需要天基、空基和地基等各种先进和基本观探测手段所获数据的深度融合,这需要深厚的技术背景和扎实的科学研究的支持。
气象观探测数据产品的制作是气象数据资源建设十分重要的内容之一,也是构建数字大气最重要的途径和手段。
4、建设规划的意义和作用
4.1 主要内容
(1)综合分析,确定数据资源的建设目标
气象数据资源建设规划是为满足气象事业发展规划中对数据资源的需求而设立的以气象数据为具体对象的专项建设规划,因此气象事业发展规划是它的出发点和立足点,各专业单位在各自专业发展规划中对数据资源的需求是其最主要的建设依据。
规划编制人员在对各专业单位数据需求进行综合分析归纳的基础上,根据气象部门事业发展整体目标,并充分分析业界(国内外)发展动态以及技术现状和走势预测,制定出未来气象数据资源建设的具体目标。
(2)制定相应的工作计划
在确立气象数据资源建设目标的基础上,通过对气象部门在数据资源建设能力方面的分析评估、业界技术发展动态和趋势分析、新技术引进和创新以及专业化团队建设可行性分析等基础上,制订出相应的科学合理的气象数据资源建设的工作计划;使气象部门在有限的时间内,以最合适的规模、最合适的成本、来完成最合适的数据资源建设工作。
(3)需要注意的问题
各专业单位在未来专业发展过程中对数据的需求,是制订气象数据资源建设规划的重要依据,因此各专业单位对本单位的数据需求应当明晰、全面和准确。
数据资源建设规划的依据不仅仅是对各单位数据需求简单的叠加和去重,还应包括对信息技术现状的了解和把握、业界发展动态的了解和深入分析、本单位在技术和人才方面的差距评估以及弥补这些差距的方法、成本和进度预估等。只有科学的、综合性的、实事求是的分析,才有可能制订出合理可行的建设规划和工作计划,使气象事业的发展进程不走弯路。
气象数据资源是气象部门最重要的战略资源,是推动气象事业存在和发展的重要支柱。而气象事业的存在和发展是业务运营、科研开发、行政管理等各部分工作共同作用的结果,因此这里所说的气象数据资源,非但包含业务及科研所使用的气象观探测数据,而且包括气象管理数据和业务系统运营状态数据等日常工作中所需要的数据。
4.2 意义和作用
(1)形势发展的需要
尽管数据始终是气象部门赖以生存的最珍贵资源,尽管“数据是生产要素”已在气象部门内外达成广泛共识,但与社会发展所经历的阶段一样,这些认识和共识在气象部门并非与生俱来,而是事业发展、技术进步达到一定程度、步入一个新的阶段后的自然和必然结果。
每个阶段都有自己的主题,气象部门的工作应当顺应形势的发展,注入时代的新内容。身处大数据时代,数据的重要性、建设数据资源的重要性,在这个阶段显得十分突出。我们应当做一些适合大数据时代特点的、以数据为对象的新的工作。在未来工作的规划中,对作为气象部门“生命源泉”的气象数据的建设工作进行科学合理的专项规划,将其作为制订和调整气象部门数据资源建设的指导纲领,是理所当然、水到渠成的。何况,缺少数据资源建设规划,已经使我们工作中暴露出的一些无序状态愈发明显了。
(2)明确数据的需求和满足需求的可能性
一个人在工作中,为满足工作需要而须获得哪些信息以及这些信息的获取时效,对他个人而言,应当是了然于胸的,单位也是如此。制订气象数据资源发展规划,既是为满足所有单位、个人对数据的需求,同时也是对这些埋藏于单位领导和工作人员心中、尚未见诸文字的需求的明晰化、集约化和系统化过程,使气象部门各有关方面对各自对数据的需求和用途更加了解、更加明确。
需求的提出是一个方面,如何满足这些需求是另一个方面。面对信息(或曰数据)需求清单,最大的问题是获取这些信息的途径、方法、手段、时效以及成本,很多时候由于技术、时间以及成本所限,并非所有需求都能得到充分满足。分析气象数据资源需求满足的可行性的过程,也是重新审视气象事业发展规划合理性、可行性的过程。因此制订科学合理的气象数据资源建设规划,既是气象事业发展规划的助力器,也是它的纠错机和矫正器。
(3)使数据以资源的形式发挥出应有价值
所谓资源指的是一切可被人类开发和利用的,用以创造物质或精神财富的具有一定量的积累的客观存在形态,在总体上包括物质、能量和信息三种类型
【6】。将数据称为“数据资源”,是因为它能够被开发利用。无用的数据不是资源,而是垃圾。气象数据资源建设规划是根据气象事业发展过程中对数据的实际需求而制定的,因而规划建设过程中所有生产的数据都有实际需求对象和明确的使用者(或曰用户)。换句话说,没有实际需求对象和明确使用者(哪怕是潜在的需求对象和使用者)的数据,不是气象数据资源,不在建设规划的考虑范围之内。
数据的价值在于应用,气象数据资源的价值首先在于其在气象部门和行业中深度的、充分的应用。我国较之气象发达国家在数值预报模式中对气象观探测数据的使用程度有很大差距。这说明从资源的角度审视,许多数据的价值尚未得到充分挖掘。气象数据资源建设规划的作用之一,就是将这些具有明确潜在应用价值的数据及其应用领域一一罗列出来,参照和学习国外气象发达国家的先进经验,拟定科学有序的开发应用方案并逐一落实,尽快大幅提高这些数据资源的应用范围和应用深度,尽早把巨大的潜在价值转化为现实的实际价值。
5、必要的原则和共识
抽象地审视数据资源建设,不难发现其内容并不复杂,因此关键问题在于如何具体地、按照实际情况来本地化这些内容,并在工作中贯彻执行。在这里,建设原则起着至关重要的纲领性作用。
5.1数据资源建设原则
追溯以往,对信息资源的研究发轫于“图书馆学”。印度图书馆学家阮冈纳赞(S.R.Ranganathan)于1931年出版的《图书馆学五定律》中,首次设立了图书馆的五个原则:(1)书是为了用的;(2)每位读者有其书;(3)每本书有其读者;(4)节省读者的时间;(5)图书馆是一个生长着的有机体。
【7】此后有关原则几经发展丰富。进入二十一世纪,图书馆(Library)的含义已远远超出了二十世纪初及以前的范畴,“书籍”也已被更具时代特色的“信息”或“数据”所代替;金胜勇等根据新形势下的实际情况,将原有的五原则拓展为:
(1)一切信息资源都是有价值的(all resources are valuable)。
(2)一切信息资源都是为了用户(all resources are to the users)。
(3)人人享有自由平等地利用信息资源的权利(everyone has the right to free and equal access to information resources)。
(4)用户对信息资源的一切需求都是对的(users’all information demand is correct)。
(5)信息资源系统是一个不断发展变化的有机体(information resources system is a organism with continual changing)。
【1】
笔者认为,将其经过适当化裁及本地化处理,沿用到气象数据资源上也是基本合适的,即:
(1)所有气象数据资源都是有价值的。
(2)所有气象数据资源都是为了使用,都有明确的使用者。
(3)气象部门内所有人员都享有自由平等地使用与其工作相关的数据资源的权利。
(4)用户因工作而产生的对气象数据资源的所有要求,都是合理的,都应受到重视,都应尽力得到满足。
5.2 三个共识
(1)价值体现
数据资源的价值,体现在其被使用的程度。被使用的程度越高、范围越广,其价值的体现便愈加充分。反之,没有被使用的(或曰没有用户的)数据,是没有价值的。没有价值的数据不是数据资源。
(2)价值利用
所有数据都有其生命周期,在数据资源的生命周期(尤其是业务有效期)内,使其尽可能多地被更多的用户使用,是气象数据资源建设者和管理者不可推卸的责任。
(3)数据资产
数据资源和数据资产,这是对数据描述或评价的两个不同视角。数据首先应当成为资源,然后才可能成为资产,因为只有成为了资源,数据才有可能具有价值,才有可能成为拥有者的资产。目前所开始大行其道的数据资产管理,是目前大数据时代为解决数据资源共享问题而提出的解决方案之一。
笔者相信,在气象部门内如果达成上述共识,确立了数据资源建设原则,则气象数据资源建设的方向和路径便大致明晰了。
6、结语
事实上,气象部门乃至气象行业在建立之初,便一直在从事着气象数据资源的建设工作,目前我们所应当做的,是将该项工作提升到一个更新的、全局性的高度,用数据来纵横贯穿部门内所有单位、所有专业和业务,通过数据资源建设将部门内所有单位、所有业务紧密联系起来,形成一个有机的、敏捷的、彼此呼应和协同的整体,并在此过程中运用更加科学有效的方法来审视以往的工作,发现弱点和缺失,予以弥补、补充和完善,以适应大数据时代气象部门所被赋予的新的职责和使命。
2020年9月29日—10月4日,初稿
10月5—6日,第一次修改
【参考文献】
【1】金胜勇等.2017.信息资源建设[M].北京:科学出版社,2017.5.
【2】杨学山.2020. 数字作为生产要素的几点分析[R].北京:DQMIS2020第四届数据质量管理国际峰会,2020.9.10.
【3】乌家培.1996.经济信息信息化[M].大连:东北财经大学出版社,1996.
【4】吴慰慈.2000.从文献资源建设到信息资源建设[J]. 中国图书馆学报(双月刊),(5),24-27.
【5】孟雪梅.2002.信息资源建设[M].哈尔滨:黑龙江人民出版社
【6】百度百科,https://baike.baidu.com/item/%E8%B5%84%E6%BA%90/9089683?fr=aladdin
【7】[印度]阮冈纳赞.1988.图书馆学五定律[M].北京:书目文献出版社,1988.11。
第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:zhangwenwen
免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。