Esri卢萌谈Hadoop在GIS数据处理中的运用-亚洲ca88官方网站

　　越来越多的互联网公司或个人开发者测验经过结合地图去做更多不相同的工作，关于地图数据自身也有许多有意思的工作，InfoQ借此时机采访了Esri的卢萌，听他谈谈在GIS数据是怎么运用Hadoop进行并行处理的.

　　在现代人的日常日子中，缺少不了地图的身影，而地图现已逾越了简略的东西特点，它的价值正在逐渐被咱们发掘出来，例如：经过Nike+，你能够看到自己每天的运动途径和热量耗费、商家能够经过地图对顾客进行定向广告投进等。越来越多的互联网公司或个人开发者测验经过结合地图去做更多不相同的工作，关于地图数据自身也有许多有意思的工作，InfoQ借此时机采访了Esri的卢萌，听他谈谈在GIS数据是怎么运用Hadoop进行并行处理的，他也会在6月5-6号的Esri空间信息技能大会上对这个问题做同享。

　　卢萌：我叫卢萌，2005年大学毕业后就进入了GIS这个职业，可巧的是2005年正是谷歌地图发布的那一年，各种WebGIS在我国开端大行其道，所以我应该算是国内做WebGIS比较早的那一拨人了。在这些年中，做了不少项目，后来进入了Esri我国，现在在Esri我国政府职业技能部担任高档产品咨询师的职务，首要研讨的方向是传统GIS范畴中的空间剖析、空间核算等技能，一起也对云GIS、海量数据发掘等新技能运用有过必定的涉猎。

　　卢萌：借用WEB年代的说法，咱们也把网络年代的GIS开展，分为1.0、2.0和正在迈向的3.0年代。

　　1.0年代，GIS是专业人士玩的东西，首要是经过一小批专业人士做出各种地图或许运用，然后经过网络发布到出去，广阔的用户经过浏览器来检查地图，也便是一个人发布，咱们来看。 2.0年代是以交互为标志的年代，GIS也是相同，在业界，Esri最早推出的ArcGIS Online这类的渠道，提出了空间信息同享和协作的概念，咱们能够很容易的获取到各种专业的空间数据，并且这些数据的来历除了专业组织，还有广阔的运用。在这个渠道中，每一个用户都成了空间信息的发布者，也是信息的享受者。

　　而未来的3.0年代，将以一种愈加智能的方法来获取、运用空间信息，并且能够直接获取到咱们需求的成果，而不只仅是一堆地图和数据。3.0年代是以服务为中心的年代。就像咱们购买了一堆服务器，一堆软件，布置了各种环境，编写了许多代码，那么咱们的意图是什么?是想要那些服务器?那些软件和那些代码吗?当然不是，咱们是经过这些根底建设来处理咱们的实际问题，获取需求的成果。3.0的年代，咱们更多的将这些根底建设、剖析模型和处理进程托管到以网络为根底的云环境中，咱们只需求提出问题，然后获取成果就能够了。

　　InfoQ：Hadoop现在触及的科学范畴许多，不只包括众所周知的互联网职业，也包括如动力发掘、节能环保、生物医学等范畴。请问卢教师，Hadoop在GIS(地舆信息系统)这个范畴有哪些典型的运用场景，又是怎么完成呢?

　　卢萌：传统的GIS数据存储，大多依托于各种联系型数据库，可是数据库由于其在海量数据办理、高并发读写、难以扩展等方面，现已开端的约束了GIS的开展。并且联系型数据库一向在非结构化数据范畴难有作为，这一点更是致命伤。世界上90%以上的数据都对错结构化的，GIS里边许多数据如印象数据等，都对错结构化的。 而Hadoop以其高可靠性、高扩展性、高效性和高容错性，特别是在海量的非结构化或许半结构化数据上的剖析处理优势，给咱们供给了别的一种思路。 Hadoop的中心算法便是“分而治之”，这个与GIS里边许多算法是相通的，GIS里边许多运用场景都是要去剖析不同区域内的各种信息，把这样的核算放到Hadoop上，正好利用了Hadoop的分布式核算特性。特别是一向让GIS界最头痛的海量印象数据存储和剖析，在Hadoop的分布式存储和分布式运算架构上，更是能够体现出Hadoop在GIS运用上的优势。

　　InfoQ：Esri公司推出开源环境“GIS Tools for Hadoop”，其间还包括了根据Hive的UDF，这将给地舆信息这个职业带来哪些新的时机呢?

　　卢萌：GIS Tools for Hadoop是Esri推出的根据Hadoop上的一套完好的空间大数据量处理的环境，包括有一套东西、一套API和一系列的结构。此环境的推出，扩展在Hadoop上geomtry的类型和对空间数据的操作，让开发人员能够便利的在空间数据上构建MapReduce运用程序。

　　Hive是由Facebook首要研制的一个根据Hadoop的数据仓库东西。能够将结构化的数据映射成数据表并供给类SQL的言语进行数据查询，适合于数据参阅的核算剖析。GIS Tools for Hadoop扩展了Hive在Esri Geometry API上的运用，运用户能够经过hive进行空间数据的处理。

　　数据仓库一向都是一个比较抢手的范畴，而在空间数据库上构建数据仓库，进行数据发掘，更是一个比较新的论题。一个单位中需求在海量空间数据上做剖析有各种不同的人员，有工程师也有专业数据剖析人员，他们之间的核算机常识层次纷歧。所以构建一套满意各种人员和程序需求的根底设施就很有必要。Hive在保持Hadoop灵活性和扩展性的根底上供给相似联系型数据库的基本功用，在Hadoop文件系统上供给了便利的数据查询和办理功用。

　　GIS Tools for Hadoop中包括了根据Hive的UDF(User-Defined-Function)这一功用，能够让开发人员和数据剖析人员能够构建面向事务的剖析运用，在GIS中有许多特定的算法和模型，经过UDF都能够加入到Hadoop中去。这样看来，未来必然会运用它来定制开发和建立各种面向事务的个性化东西和软件。

　　InfoQ： 既了解GIS又了解Hadoop开发，这样的人现在是不是比较稀缺?请您给咱们一些学习和工作方向上的主张吧。

　　卢萌：尽管经过了这些年的开展，了解GIS的开发人员一向仍是求过于供，而Hadoop在互联网上作为“大数据剖析”的代名词，了解Hadoop的人员更是稀缺。据麦肯锡全球研讨院的研讨猜测在未来6年，仅在美国就或许面对缺少14万至19万具有深入剖析数据才能人才的状况。

　　关于Hadoop来说，最大的长处便是开放性，由于它是开源的，所以每天有数以万记的程序员和爱好者在学习和研讨Hadoop系统。作为一个新手，要学习Hadoop，最重要的便是着手去操作，从装置布置到优化到开发，一步一步的把握MapReduce编程方法和各种运用场景，了解Hadoop的完成原理和算法。当然咱们还能够去阅览他供给的源码，这也是开源软件最大的优点。

　　学然后知不足，教然后知困。咱们能够在一些社区或许博客上记载在学习进程中的点点滴滴，当有朝一日，回过头来看咱们从前走过的脚印，你会发现，在不知不觉中，当年的小树苗现已生长成为了参天大树。

　　尽管现在IT界干流的开发仍是依托在联系型数据库上面的，可是咱们能够在工作中去逐渐推广Hadoop的思维和运用，去耳濡目染的改动周围的环境，未来Hadoop远景必定是光亮的。

　　卢萌：从ArcGIS 10.1开端，ArcGIS for Server变成了纯64位的架构，即不再支撑32位操作系统。 别的在ArcGIS 10.1的SP1包中，供给了ArcGIS 10.1 for DesktopBackground Geoprocessing (64-bit)补丁包，完成64位后台地舆处理，并且增加了新的“并行处理因子”环境，能够分跨多个进程来区分和履行处理操作。在10.1 SP1中新增支撑运用最多4核处理器进行并行处理的功用，现已完成于一些空间剖析东西傍边。 而在行将发布的ArcGIS 10.2中，更是更新了600多个软件节点，其间首要集中于软件的质量和功能增强。

　　卢萌：大数据是如今十分时尚的IT词汇之一。什么叫大数据?假如单纯以量来看，在以MB为单位的硬盘存储量的年代，TB乃至是GB或许就算是大数据了，而现在TB硬盘遍及的年代，恐怕要PB乃至是EB才算大数据了。 在IDC最新的《数字世界》(Digital Universe)中估计，到2020年，全球的数据存储总量将到达35ZB。并且这个数字仍是受到了存储才能的约束。 关于大数据，IBM提出了“三V”的概念，即许多化(Volume)、多样化(Variety)和快速化(Velocity)。最近这两年，着眼于数据运用的专家们提出了“四V”的概念，便是在原有的“三V”的根底上加上了Value(价值)。 毋庸置疑，最终一个V(Value)，才是咱们最值得重视一个V，做数据发掘和数据剖析的首要意图也便是为了完成数据的价值。 未来是一个大数据的年代，在不久的将来，数据或许成为最大的一类买卖产品。在互联网上，继“流量为王”、“运用为王”之后，下一个概念应当便是“数据为王”。（张月）

　　声明：泰伯网登载此文出于传递更多信息之意图，并不意味着附和其观点或证明其描绘，文章内容仅供参阅。

　　泰伯早报 1月29日：国家航天局：“十四五”强化“通导遥”运用与收购；网信办寻求互联网信息深度组成办理定见；生态环境部：赶快出台碳排放权买卖办理条例

　　泰伯早报1月30日：工信部：“十四五”构成群众消费范畴斗极时空系统；天然资源部发布2022年卫片法律工作任务；小米副总裁常程承认离任