GDAL2.1增加支持Mongodb存储空间大数据

      随着空间数据越来越渗透到社会生活的各个方面,大数据提供服务的能力有待增强。如全国地理国情普查数据,仅空间矢量数据一个省数据量在30GB左右,影像更在TB级,全国数据量就更不得了,传统的集中存储模式如果在几个部门间使用还凑合,在十几个部门,成千上万次服务请求并发的情况下,难以为继。为此尽早使用互联网思维,采用集群并发处理的模式处理空间数据,提供必要的统计分析为当务之急。为此本文探讨了如何使用Mongodb存储空间大数据,从最基本的数据入库存储开始。

1目录

1.1 gdal2.1增加支持Mongodb空间数据库连接

1.2 必要模块编译

1.3 使用虚拟机和主机建立虚拟局域网构建分布式数据库作为实验

 

1.1 GDAL2.1特性

      GDAL作为空间数据众多格式的桥,被很多成熟的商业空间数据库所采用。高度抽象的数据驱动模型,更容易添加新的数据格式驱动,并且屏蔽数据物理存储,使得系统设计开发人员针对数据逻辑进行必要操作。GDAL2.1添加了Mongodb数据空间模块支持,很好的将Mongodb空间数据存储特性、分布式存储、自动负载平衡结合到一起,这样通过Mongodb将空间数据暴露给系统设计开发人员,获得了较大的设计自由度。

1.2

gdal支持mongodb编译参数
1、scons
2、boost1.55
3、gdal2.1 trunk svn

4、mongo-cxx-driver C++客户端legacy-1.0.2代码下载

1)编译命令行:
C:UserszjzDesktopmongo-cxx-driverlegacy-1.0.2>scons --32 --cpppath=c:local
boost_1_55_0 --libpath=C:localboost_1_55_0lib32-msvc-10.0 --dynamic-windows
--sharedclient --prefix=C:localmongo-client-install install

2)编译GDAL2.1 ,在nmake.opt 中寻找注释行,如下;采用非插件模式(即DLL动态调用方式)

# Uncomment for MongoDB support
# This configuration is valid for a libmongoclient built as a DLL with: scons.bat --32 --ssl --dynamic-windows --sharedclient  --prefix=c:usersevendevmongo-client-install --cpppath=c:usersevendevboost_1_55_0_32bit --libpath=c:usersevendevboost_1_55_0_32bitlib32-msvc-10.0 install
MONGODB_PLUGIN = NO
MONGODB_INC = C:mongo-client-installinclude
# Boost library names must be edited to reflect the actual MSVC and Boost versions
BOOST_INC = C:localboost_1_55_0
BOOST_LIB_PATH= C:localboost_1_55_0lib32-msvc-10.0
MONGODB_LIBS = c:/mongo-client-install/lib/mongoclient.lib  $(BOOST_LIB_PATH)libboost_thread-vc100-mt-1_55.lib   $(BOOST_LIB_PATH)libboost_system-vc100-mt-1_55.lib  $(BOOST_LIB_PATH)libboost_date_time-vc100-mt-1_55.lib   $(BOOST_LIB_PATH)libboost_chrono-vc100-mt-1_55.lib

1.3 win7上安装virtualbox 虚拟linux系统,安装ubuntu32位
与主机虚拟mongodb跨系统集群
切片存储geodatabase数据库
采用gdal2.1 mongodb driver驱动读写geodata
存储大数据,如30GB湖北省地理国情普查数据库,存储效果图如下,在MongoVUE中连接显示如下:

 

wps9B32.tmp

 

下一章将介绍如何在集群中配置数据库存储。

相关文章

1)ArcGIS plugin 支持Mongodb数据库存储空间大数据

2)GDAL1.11.1 支持PostGIS、ArcGIS模块

3)构建基于PostGIS空间信息查询系统

4)在虚拟机安装Linux系统与主机联合构建分布式空间数据存储环境

原文链接: https://www.cnblogs.com/catjack/p/4725683.html

欢迎关注

微信关注下方公众号,第一时间获取干货硬货;公众号内回复【pdf】免费获取数百本计算机经典书籍

    GDAL2.1增加支持Mongodb存储空间大数据

原创文章受到原创版权保护。转载请注明出处:https://www.ccppcoding.com/archives/220524

非原创文章文中已经注明原地址,如有侵权,联系删除

关注公众号【高性能架构探索】,第一时间获取最新文章

转载文章受原作者版权保护。转载请注明原作者出处!

(0)
上一篇 2023年2月13日 上午10:56
下一篇 2023年2月13日 上午10:57

相关推荐