遥感未来——从机器学习中掘金
转载 2016-04-19 11:29 来源: 3sNews
未来:看机器学习如何撬动遥感影像市场
Facebook,此前几乎没人会把这个名字和地图联系起来。他们让我们意识到,人类在描绘世界的道路上正步入一个全新的领域,在这个领域中,地图将与机器学习算法联姻。
从工程测绘到卫星遥感,从街景车到众包地图,我们描绘世界的方式在不断变革,这是生活在这个星球的人们一直以来探寻的,认识自己赖以生存的世界的手段。
日前,一家公司发布了史上最精细人口密度地图,这家公司的名字是Facebook——此前几乎没人会把这个名字和地图联系起来。他们让我们意识到,人类在描绘世界的道路上正步入一个全新的领域,在这个领域中,地图将与机器学习算法联姻。
数据——精准分析的源泉
去年,联合国发布了于2030年在世界范围内根除贫困的发展议程目标。然而数据的匮乏却使之难以量化与这个目标的实际距离,世界发展状况的真实数据对它来说变得至关重要。
事实上,直到今天,各国政府在经济普查中依然沿用着上个世纪的“土办法”,即地面地毯式数据统计,这样的方法效率低、迭代周期长。在这个数据驱动的世界,是否有一种手段能够绘制出人类的发展现状和轨迹?来自斯坦福大学的科研团队提出了一个更好的办法,那就是综合利用深度学习和卫星影像进行贫困统计建模。
机器学习专家斯特凡诺·俄曼(Stefano Ermon),联合地球科学专家大卫·罗贝尔(David Lobell ),加上斯坦福大学工程系的几个学生,组成了这支研究团队,他们试图将谷歌地球的卫星图像数据转换成贫困统计模型。“我们希望终结极端贫困,但我们需要一个量化的方法告诉我们贫困是否在改善。”俄曼表示,对于南非、南亚等极度贫困地区,放映当地贫困状况的真实数据往往是稀缺的。“我们拿到的关于南非的最近的数据竟然是20年前的,所以我们正对90年代早期南非发展状况进行分析”俄曼说,“我们对于数据的需求真的太迫切了。”
左图:基于10km*10km的细粒地图网格数据的贫困概率预测;中图:基于区域级别的贫困概率预测;右图:2005年的真实普查结果对比
利用英伟达生产的GPU,这个团队训练了一个神经网络,通过卫星采集到的公路、农田以及住房等影响,能够准确预测当地的贫困程度。这项技术获得了英伟达2016全球最具影响力技术大奖提名的殊荣。
卫星影像和机器学习模型结合
电力应用以及夜间照明是现代社会评估经济实力的一项重要指标。夜间的人造光源匮乏,被认为是地区相对贫困的一个信号。在这个前提下,使用机器学习算法将这些卫星数据与利用传统方式收集的贫困数据结合,能够产生一些有趣的关联模型,基于卫星影像更高效地识别贫困区域成为了可能。
传统的深度学习解决方案需要一系列用于训练的数据集。但受限于有限的数据量,斯坦福大学的这家研究团队想出了迁移学习方法来完成计算模型。具体实现过程如下。
首先,利用谷歌地球和谷歌静态图像,同时获取同一区域的昼夜间情况。传统的贫困图像模型使用夜间的灯光密度作为经济活跃度的指标。而通过同时使用昼间、夜间的卫星图像,这个机器学习模型就可以从未标记的数据集(例如公路、农田以及水体等)中分辨出有用的标示贫困的昼间特性。
“通常情况下,我们提供基于区域昼间、夜间卫星图像的深度学习系统,并利用该系统对贫困区域做出预测,”俄曼说,“这个系统会通过比对两组卫星图像进行深度学习,并解决这个问题。”
斯坦福大学研究人员使用机器学习算法比较非洲夜间照明(电力与经济活力之间存在正向相关性)和昼间公路、城区、水体、农田的卫星图像
未来:遥感影像应用的全新模式
Facebook已经向世人证明了机器学习在拓展遥感领域应用上发挥的重要作用。训练计算机基于训练样本划分不同区域,在图像处理领域是一项由来已久的技术。然而由于其计算成本的昂贵,直到今天也没能在全球范围内形成规模。机器学习和深度学习正在使这种技术在全球普及化成为可能,将卫星遥感的应用推向前所未有的新高度。
学者们相信,这种基于机器学习的模式终将取代传统的费时费力的数据普查工作。这是一次不可想象的飞跃,完全可以替代老旧的调查方式,高效、可扩展,而且准确得让人吃惊,更漂亮的是,它能随着时间和增长的数据自主进化。
目前,源数据不足是阻碍研究进行的一个重要因素。当下,对于贫困地区,卫星只能做到点覆盖。而系统需要更详细、更多频次的数据作为分析的原材料,才能更精确地通过机器学习预测贫困地区的兴衰。好在这个问题很快就能得到解决,或者基本上解决。
斯坦福的学者们还在想办法扩展到更多的领域,例如利用手机的活动状况作为基本数据进行更为细致准确的调查。随着移动电话在贫困地区的爆发性增长,这些数据将会成为非常精准的数据源。
罗贝尔说,只有尝试,我们才能获得答案。机器学习之美,在于机器善于在千万个选项中找到最优解,这是人类无法企及的。
Facebook,此前几乎没人会把这个名字和地图联系起来。他们让我们意识到,人类在描绘世界的道路上正步入一个全新的领域,在这个领域中,地图将与机器学习算法联姻。
从工程测绘到卫星遥感,从街景车到众包地图,我们描绘世界的方式在不断变革,这是生活在这个星球的人们一直以来探寻的,认识自己赖以生存的世界的手段。
日前,一家公司发布了史上最精细人口密度地图,这家公司的名字是Facebook——此前几乎没人会把这个名字和地图联系起来。他们让我们意识到,人类在描绘世界的道路上正步入一个全新的领域,在这个领域中,地图将与机器学习算法联姻。
数据——精准分析的源泉
去年,联合国发布了于2030年在世界范围内根除贫困的发展议程目标。然而数据的匮乏却使之难以量化与这个目标的实际距离,世界发展状况的真实数据对它来说变得至关重要。
事实上,直到今天,各国政府在经济普查中依然沿用着上个世纪的“土办法”,即地面地毯式数据统计,这样的方法效率低、迭代周期长。在这个数据驱动的世界,是否有一种手段能够绘制出人类的发展现状和轨迹?来自斯坦福大学的科研团队提出了一个更好的办法,那就是综合利用深度学习和卫星影像进行贫困统计建模。
机器学习专家斯特凡诺·俄曼(Stefano Ermon),联合地球科学专家大卫·罗贝尔(David Lobell ),加上斯坦福大学工程系的几个学生,组成了这支研究团队,他们试图将谷歌地球的卫星图像数据转换成贫困统计模型。“我们希望终结极端贫困,但我们需要一个量化的方法告诉我们贫困是否在改善。”俄曼表示,对于南非、南亚等极度贫困地区,放映当地贫困状况的真实数据往往是稀缺的。“我们拿到的关于南非的最近的数据竟然是20年前的,所以我们正对90年代早期南非发展状况进行分析”俄曼说,“我们对于数据的需求真的太迫切了。”
左图:基于10km*10km的细粒地图网格数据的贫困概率预测;中图:基于区域级别的贫困概率预测;右图:2005年的真实普查结果对比
利用英伟达生产的GPU,这个团队训练了一个神经网络,通过卫星采集到的公路、农田以及住房等影响,能够准确预测当地的贫困程度。这项技术获得了英伟达2016全球最具影响力技术大奖提名的殊荣。
卫星影像和机器学习模型结合
电力应用以及夜间照明是现代社会评估经济实力的一项重要指标。夜间的人造光源匮乏,被认为是地区相对贫困的一个信号。在这个前提下,使用机器学习算法将这些卫星数据与利用传统方式收集的贫困数据结合,能够产生一些有趣的关联模型,基于卫星影像更高效地识别贫困区域成为了可能。
传统的深度学习解决方案需要一系列用于训练的数据集。但受限于有限的数据量,斯坦福大学的这家研究团队想出了迁移学习方法来完成计算模型。具体实现过程如下。
首先,利用谷歌地球和谷歌静态图像,同时获取同一区域的昼夜间情况。传统的贫困图像模型使用夜间的灯光密度作为经济活跃度的指标。而通过同时使用昼间、夜间的卫星图像,这个机器学习模型就可以从未标记的数据集(例如公路、农田以及水体等)中分辨出有用的标示贫困的昼间特性。
“通常情况下,我们提供基于区域昼间、夜间卫星图像的深度学习系统,并利用该系统对贫困区域做出预测,”俄曼说,“这个系统会通过比对两组卫星图像进行深度学习,并解决这个问题。”
左图:每一行显示了神经网络中的5组最大活跃度图像(分别为城区,农田以及网格状区域,公路,水体和平原,以及森林);右图:经过过滤器筛选出的左图的对应影像点
目前,团队已经拥有了自己的数据分析平台,能够自动通过简易数据生成贫困地图——“我们需要的只是图像而已”俄曼表示。这种计算模型开启了机器学习与卫星图像结合的新时代,即在空间和时间的维度上获得史无前例的对于世界的更好理解。
斯坦福大学研究人员使用机器学习算法比较非洲夜间照明(电力与经济活力之间存在正向相关性)和昼间公路、城区、水体、农田的卫星图像
未来:遥感影像应用的全新模式
Facebook已经向世人证明了机器学习在拓展遥感领域应用上发挥的重要作用。训练计算机基于训练样本划分不同区域,在图像处理领域是一项由来已久的技术。然而由于其计算成本的昂贵,直到今天也没能在全球范围内形成规模。机器学习和深度学习正在使这种技术在全球普及化成为可能,将卫星遥感的应用推向前所未有的新高度。
学者们相信,这种基于机器学习的模式终将取代传统的费时费力的数据普查工作。这是一次不可想象的飞跃,完全可以替代老旧的调查方式,高效、可扩展,而且准确得让人吃惊,更漂亮的是,它能随着时间和增长的数据自主进化。
目前,源数据不足是阻碍研究进行的一个重要因素。当下,对于贫困地区,卫星只能做到点覆盖。而系统需要更详细、更多频次的数据作为分析的原材料,才能更精确地通过机器学习预测贫困地区的兴衰。好在这个问题很快就能得到解决,或者基本上解决。
斯坦福的学者们还在想办法扩展到更多的领域,例如利用手机的活动状况作为基本数据进行更为细致准确的调查。随着移动电话在贫困地区的爆发性增长,这些数据将会成为非常精准的数据源。
罗贝尔说,只有尝试,我们才能获得答案。机器学习之美,在于机器善于在千万个选项中找到最优解,这是人类无法企及的。