1 Star 0 Fork 0

哆啦A梦的大熊 / spider_demo

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
dmeo.py 1.44 KB
一键复制 编辑 原始数据 按行查看 历史
哆啦A梦的大熊 提交于 2023-05-23 16:29 . 提交面试题
import csv
import json
import requests
def parse(i):
url = 'https://iftp.chinamoney.com.cn/ags/ms/cm-u-bond-md/BondMarketInfoListEN'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36'}
# 确定要传入的表单数据参数,bondType:100001表示的是Treasury Bond的代码号
data = {'pageNo': i, 'pageSize': 15, 'bondType': 100001, 'issueYear': 2023}
# 研究网站发现,使用的是通常的表单提交post请求
response = requests.post(url, headers=headers, data=data)
re_data = json.loads(response.text)
# 解析返回表格数据,列名包括ISIN, Bond Code, Issuer, Bond Type, Issue Date, Latest Rating
resultList = re_data['data']['resultList']
data_list = []
for i in resultList:
ISIN = i['isin']
Bond_Code = i['bondCode']
Issuer = i['entyFullName']
Bond_Type = i['bondType']
Issue_Date = i['issueStartDate']
Latest_Rating = i['inptTp']
data_list.append([ISIN, Bond_Code, Issuer, Bond_Type, Issue_Date, Latest_Rating])
save(data_list)
def save(data):
with open('data.csv', mode='a', newline='') as file:
writer = csv.writer(file)
writer.writerow(['ISIN', 'Bond_Code', 'Issuer', 'Bond_Type', 'Issue_Date', 'Latest_Rating'])
writer.writerows(data)
if __name__ == '__main__':
for i in range(1, 4):
parse(i)
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/stephen_kevin/spider_demo.git
git@gitee.com:stephen_kevin/spider_demo.git
stephen_kevin
spider_demo
spider_demo
master

搜索帮助

344bd9b3 5694891 D2dac590 5694891