地球大数据科学论丛 ||《全球遥感数据自动化处理技术与系统架构》
地球大数据科学论丛 ||《全球遥感数据自动化处理技术与系统架构》
《全球遥感数据自动化处理技术与系统架构》一书以遥感大数据的思维,总结了采用大数据思维的技术实践经验。全书分为三篇15章,覆盖“数据处理-智能分析-系统落地”全链路,从理论研究、方法分析、技术探索以及应用实践等方面全面阐述地球大数据的研究进展。
遥感数据是一类空间大数据,这类大数据是遥感系统测量地球的记录。遥感系统是以航天或航空平台为运载工具、以传感器为探测工具、以电磁波为探测手段、以地球表面或近地空间为探测对象的系统。在过去的50年间,卫星遥感系统逐渐发展为局地、区域和全球空间尺度上测量地球的最有效工具之一。遥感数据是可用四个分辨率描述的数据:辐射分辨率、空间分辨率、光谱分辨率、时间分辨率。四个分辨率的变化加上时间因素是遥感数据成为大数据的外在因素,而内在因素是地球系统的复杂性。
但如此多、如此长时间的传感器数据能否形成辐射特性和几何特性“一致”、时间“连续”(含等间隔持续的特性)的卫星观测数据?如何自动化处理使之“一致”和“连续”?如何从连续观测的数据中学习、识别地表的模式以分析和解释地球观测数据?如何架构技术平台,方便整合遥感科学家编写的非标准化程序,实现遥感大数据高性能分析、大规模计算的需求?《**全球遥感数据自动化处理技术与系统架构**》一书以遥感大数据的思维看待上述问题,总结了采用大数据思维的技术实践经验。
遥感数据是空间大数据的一个子集。面向大数据处理,需要新思维指导实践。
新思维之一:寻找多源数据不变特征的思维,基于不变特征减弱同地、同谱、同时不同传感器数据之间的不一致性,不同传感器数据可综合集成应用。本书数据处理篇中多源数据的几何一致性处理、辐射一致性处理等都是这一思维指导下的关键技术。
新思维之二:将信息提取转化为数据智能的思维,一方面构建覆盖问题空间的样本集,另一方面构建深度学习模型表达与样本的深度相似性。本书分类与识别篇的遥感图像的场景分类、目标检测、地表覆盖分类、时间序列分类聚类的关键技术都是这一思维的具体体现。
新思维之三:云计算和容器技术融合构建技术平台的思维,可以支撑遥感大数据的在线处理和分析。
本书的系统架构篇涉及的关键技术包括全球多源遥感数据的集成和组织技术、信息产品生产流程建模与算法集成优化技术、容器化全球多源遥感数据信息产品生产系统关键设计技术都是这一思想的具体体现。
全书架构全景透视
三篇15章技术矩阵 | 覆盖“数据处理-智能分析-系统落地”全链路
第一篇:数据处理篇——多源遥感数据的“统一语言”构建
核心突破:几何/辐射一致性处理技术体系
章节亮点:
第2章:统一框架下的多尺度几何归一化
第3章:基于伪不变特征的辐射校准技术
第4-5章:雾霾/云影修复双路径(传统方法→深度学习)
第6-7章:数据重构实战(分量替换融合+时相缺失插值)
技术价值:解决跨传感器数据“对齐难”痛点,误差降低30%+
第二篇:分类与识别篇——数据智能的遥感场景解码术
核心突破:小样本/动态时序下的深度学习优化
章节亮点:
第8章:GAN样本扩增+空间布局强化模型
第9章:形状知识驱动的目标检测
第10章:样本质量提升方法论
第11章:高光谱小样本分类迁移技术
第12章:时间序列动态建模
技术价值:农田监测/灾害识别场景准确率突破95%
️ 第三篇:系统架构篇——容器化遥感计算的工业化引擎
核心突破:全球遥感产品生产系统技术栈
章节亮点:
第13章:多源数据智能组织技术
第14章:算法流程建模与优化
第15章:容器化并行计算框架
技术价值:算法部署效率提升200%,支撑PB级数据处理
▋地球大数据科学论丛
第二次工业革命的爆发,导致以文字为载体的数据量约每 10 年翻一番;从工业化时代进入信息化时代,数据量每 3 年翻一番。近年来,新一轮信息技术革命与人类社会活动交汇融合,半结构化、非结构化数据大量涌现,数据的产生已不受时间和空间的限制,引发了数据爆炸式增长,数据类型繁多且复杂,已经超越了传统数据管理系统和处理模式的能力范围,人类正在开启大数据时代新航程。
当前,大数据已成为知识经济时代的战略高地,是国家和全球的新型战略资源。作为大数据重要组成部分的地球大数据,正成为地球科学一个新的领域前沿。地球大数据是基于对地观测数据又不唯对地观测数据的、具有空间属性的地球科学领域的大数据,主要产生于具有空间属性的大型科学实验装置、探测设备、传感器、社会经济观测及计算机模拟过程中,其一方面具有海量、多源、异构、多时相、多尺度、非平稳等大数据的一般性质,另一方面具有很强的时空关联和物理关联,具有数据生成方法和来源的可控性。
地球大数据科学是自然科学、社会科学和工程学交叉融合的产物,基于地球大数据分析来系统研究地球系统的关联和耦合,即综合应用大数据、人工智能和云计算,将地球作为一个整体进行观测和研究,理解地球自然系统与人类社会系统间复杂的交互作用和发展演进过程,可为实现联合国可持续发展目标(SDGs)做出重要贡献。
中国科学院充分认识到地球大数据的重要性,2018 年年初设立了 A 类战略性先导科技专项“地球大数据科学工程”(CASEarth),系统开展地球大数据理论、技术与应用研究。CASEarth 旨在促进和加速从单纯的地球数据系统和数据共享到数字地球数据集成系统的转变,促进全球范围内的数据、知识和经验分享,为科学发现、决策支持、知识传播提供支撑,为全球跨领域、跨学科协作提供解决方案。
在资源日益短缺、环境不断恶化的背景下,人口、资源、环境和经济发展的矛盾凸显,可持续发展已经成为世界各国和联合国的共识。要实施可持续发展战略,保障人口、社会、资源、环境、经济的持续健康发展,可持续发展的能力建设至关重要。必须认识到这是一个地球空间、社会空间和知识空间的巨型复杂系统,亟须战略体系、新型机制、理论方法支撑来调查、分析、评估和决策。
一门独立的学科,必须能够开展深层次的、系统性的、能解决现实问题的探究,以及在此探究过程中形成系统的知识体系。地球大数据就是以数字化手段连接地球空间、社会空间和知识空间,构建一个数字化的信息框架,以复杂系统的思维方式,综合利用泛在感知、新一代空间信息基础设施技术、高性能计算、数据挖掘与人工智能、可视化与虚拟现实、数字孪生、区块链等技术方法,解决地球可持续发展问题。
“地球大数据科学论丛”是国内外首套系统总结地球大数据的专业论丛,将从理论研究、方法分析、技术探索以及应用实践等方面全面阐述地球大数据的研究进展。地球大数据科学是一门年轻的学科,其发展未有穷期。感谢广大读者和学者对本论丛的关注,欢迎大家对本论丛提出批评与建议,携手建设在地球科学、空间科学和信息科学基础上发展起来的前沿交叉学科——地球大数据科学。让大数据之光照亮世界,让地球科学服务于人类可持续发展。
——郭华东
中国科学院院士
地球大数据科学工程专项负责人
▋主要作者简介
唐 娉
中国科学院空天信息创新研究院研究员、博士生导师, 研究方向为遥感图像处理,主要从事遥感数字图像处理技术研究及遥感图像应用专业系统建设工作,在遥感图像自动化处理、智能处理、遥感图像应用工程等方面开展了较为深入系统的研究。 主持国家自然科学基金、 863 课题、中国科学院创新 基金和部门项目 10 余项; 主持国防高技术应用项目多项。 发表论文近 100 篇,申请国家发明专利 42 项,授权国家发明专利 26 项。 2008 年获中国科学院 “ 王宽诚 ” 教育基金会优秀女科学家专项, 2014 年获测绘科技特等奖 1 项, 2011 年和 2017 年分别国家科技进步二等奖。
左右滑动查看全书目录
ISBN:978-7-03-079721-6
本文摘 自《全球遥感数据自动化处理技术与系统架构》(唐娉等著. 北京: 科学出版社,2025.2)一书“前言”,有删减修改,标题为编者所加。
(本文编辑:谢婉蓉)
地球为你而转!
欢迎关注:赛杰奥(sci_geo)
科学出版社地球科学订阅号