Python获取 bing 地图发布自己的 TMS 服务（二）解决海量瓦片存取问题

金字塔结构的瓦片数量有多大

以目前互联网常用的WebMecator为例

第一层：4幅256*256影像瓦片（JPG或PNG等）
第二层：42
第三层：43
依次类推
比如计算第1层至第18层的瓦片总数目(等比数列求和）91625968980个，大约916亿。存储空间估算在近百T。

瓦片直接存储在文件系统中的缺点

文件系统对文件数量、大小的限制
不易迁移、备份
等等

解决方案

这个问题本质上是对海量小数据的管理，很多互联网大厂都有比较成熟的方案，只需要根据具体情况进行选择调整即可。

单机存储

采用sqlite
存储在多个sqlite中，sqlite文件名保证了唯一性，与（row，column, level）一一对应。

（row，column, level）可以转为唯一数字，比如QuadKey，或者其他编码方式
sqlite移动与管理就比较方便。

注意sqlite单文件的大小不要太大。

集群存储

使用HDFS等网络化存储方案。

一个试验

# -*- coding: utf-8 -*-

"""下载区域影像

从第一层到指定层

多线程版

存储到sqlite中

"""

import requests

# python3的thread模块

import _thread

import random

import time

from random import random

import os.path

import QuadKey.quadkey as quadkey

import shutil

import secrets as secrets

import sqlite_util as dbutil

# 下载的最细层

tileZoom = 10

rootTileDir = "tiles_db"

# 分的db数量，采用质数

db_num = 1511

lat_min = -90

lat_max = 90

lon_min = -180

lon_max = 180

# MS doesn't want you hardcoding the URLs to the tile server. This request asks for the Aerial

# url template. Replace {quadkey}

response = requests.get("https://dev.virtualearth.net/REST/V1/Imagery/Metadata/Aerial?key=%s" % (secrets.bingKey))

# 返回结果

data = response.json()

print(data)

# grabs the data we need from the response.

# 例如：http://ecn.{subdomain}.tiles.virtualearth.net/tiles/a{quadkey}.jpeg?g=7786

tileUrlTemplate = data['resourceSets'][0]['resources'][0]['imageUrl']

# 例如：['t0', 't1', 't2', 't3']

imageDomains = data['resourceSets'][0]['resources'][0]['imageUrlSubdomains']

if (os.path.exists(rootTileDir) == False):

os.mkdir(rootTileDir)

bingTilesDir = os.path.join(rootTileDir, "bing")

if (os.path.exists(bingTilesDir) == False):

os.mkdir(bingTilesDir)

def get_tiles_by_pixel(tilePixel):

"""

下载该点之上的瓦片

:param lat:

:param lon:

:return:

"""

"""get pixel coordinates"""

# tilePixel = quadkey.TileSystem.geo_to_pixel((lat, lon), tileZoom)

# print(tilePixel)

pixel = tilePixel

geo = quadkey.TileSystem.pixel_to_geo(pixel, tileZoom)

# 计算四键

qk = quadkey.from_geo(geo, tileZoom)

# 四键

qkStr = str(qk)

#

qkArray = []

for index in range(tileZoom):

qkArray.append(qkStr[0:index + 1])

print(qkArray)

# 存放路径

for qk in qkArray:

# db位置

dbPath = "%s/%s.db" % (bingTilesDir, int(qk) % db_num )

print(dbPath)

if (os.path.exists(dbPath) == False):

# os.mkdir(dbPath)

dbutil.create_db(dbPath)

# 下载影像

if (dbutil.is_exists(dbPath, qk)):

# already downloaded

dbutil.save_images(dbPath, qk)

ok = 1

else:

print("下载中", end='')

url = tileUrlTemplate.replace("{subdomain}", imageDomains[0])

url = url.replace("{quadkey}", qk)

url = "%s&key=%s" % (url, secrets.bingKey)

response = requests.get(url, stream=True)

print(response)

dbutil.insert(dbPath, qk, response.content)

del response

# 强制睡一会，防止bing服务器限制

sleepTime = random() * 3

time.sleep(sleepTime)

# 左上为原点

tilePixelMax = quadkey.TileSystem.geo_to_pixel((lat_max, lon_max), tileZoom)

tilePixelMin = quadkey.TileSystem.geo_to_pixel((lat_min, lon_min), tileZoom)

print(tilePixelMax)

print(tilePixelMin)

tile_pixel_list = []

for x in range(tilePixelMin[0], tilePixelMax[0], 256):

for y in range(tilePixelMax[1], tilePixelMin[1], 246):

tile_pixel_list.append((x, y))

# 取决与服务器的硬件性能

thread_pause = 30

for i in range(len(tile_pixel_list)):

print("处理"+str(i))

_thread.start_new_thread(get_tiles_by_pixel,(tile_pixel_list[i],) )

if(i % thread_pause == (thread_pause-1)):

print("让正常运行的线程执行完，睡眠开始")

time.sleep(5)

print("睡眠结束")

# _thread.start_new_thread( get_tiles_by_pixel, ( ) )

print('下载完毕')

可以优化的点很多

修改线程使用方式
提高查询影像是否存在的效率
减少建立sqlite连接的次数

源码

更多的详情见小专栏文章：GIS之家小专栏

文章尾部提供源代码下载，对本专栏感兴趣的话，可以关注一波

SQLite