中国行政区域数据抓取项目 WIKI 文档

中国行政区域数据抓取项目 WIKI 文档
    一、2017年行政区划数据统计数据图表
    二、项目使用说明
        1. 抓取{省市区街道}四级数据
        2. 重新抓取失败的URL{省市区街道}四级数据
        3. 仅抓取五级{居委会}数据
        4. 重新抓取失败的URL{居委会}五级数据（
        5. 统计{省市区街道} 或 {居委会} 数据
        6. 重新统计失败的URL{省市区街道} 或 {居委会} 数据
    三、项目文件结构说明
    四、数据完整性校验方法

# 抓取{省市区街道}四级数据
count = startZhuQu(base_url, dataFile, my_headers)
# 抓取{省市区}三级数据
#count = startZhuQu(base_url, dataFile, my_headers, 3)
# 抓取{省市区街道}四级数据
#count = startZhuQu(base_url, dataFile, my_headers, 4)
# 仅抓取{居委会}第五级数据
#count = startZhuQu(base_url, dataFile, my_headers, 6)

print(count)

logFile = open("data/log-error.log", "r", encoding=encoded)
log = logFile.read()
data = logListHandle(log)
count = startZhuQuFailURL(base_url, dataFile, my_headers, 4, data)

print(count)

# 1. 仅抓取五级{居委会}全部数据
count = startZhuQu(base_url, dataFile5, my_headers, 6)
print(count)

# 2. 仅抓取五级{居委会}指定数据
count = startZhuQu(base_url, dataFile5, my_headers, 6, 1, ['11'])
#count = startZhuQu(base_url, dataFile5, my_headers, 6, 2, ['4419', '4420', '4604']) # 广东省东莞市 广东省中山市 海南省儋州市
#count = startZhuQu(base_url, dataFile5, my_headers, 6, 3, ['110101', '110102'])
#count = startZhuQu(base_url, dataFile5, my_headers, 6, 4, ['441900124'])

print(count)

logFile = open("data/log-error.log", "r", encoding=encoded)
log = logFile.read()
data = logListHandle(log)
print(data)
count = startZhuQuFailURL(base_url, dataFile5, my_headers, 6, data)

print(count)

# 1. 统计{省市区街道} 数据
count = startZhuQu(base_url, statFile, my_headers, 0, 0, [], True, encoding=encoded)
# 2. 统计{居委会} 数据
#count = startZhuQu(base_url, statFile, my_headers, 6, 0, [], True, encoding=encoded)

print(count)

logFile = open("data/log-error.log", "r", encoding=encoded)
log = logFile.read()
data = logListHandle(log)

# 1.重新统计失败的URL{省市区街道}四级数据
count = startZhuQuFailURL(base_url, statFile, my_headers, 4, data, True)

# 2. 重新统计{居委会} 数据
count = startZhuQuFailURL(base_url, statFile, my_headers, 6, data, True)

print(count)