代码拉取完成,页面将自动刷新
同步操作将从 resolvewang/WeiboSpider 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
import json
from bs4 import BeautifulSoup
from logger.log import parser
from db.models import WeiboComment
from decorators.decorator import parse_decorator
@parse_decorator('')
def get_html_cont(html):
cont = ''
data = json.loads(html, encoding='utf-8').get('data', '')
if data:
cont = data.get('html', '')
return cont
def get_total_page(html):
try:
page_count = json.loads(html, encoding='utf-8').get('data', '').get('page', '').get('totalpage', 1)
except Exception as e:
parser.error('获取总也面出错,具体错误是{}'.format(e))
page_count = 1
return page_count
@parse_decorator('')
def get_next_url(html):
"""
获取下一次应该访问的url
:param html:
:return:
"""
cont = get_html_cont(html)
if not cont:
return ''
soup = BeautifulSoup(cont, 'html.parser')
url = ''
if 'comment_loading' in cont:
url = soup.find(attrs={'node-type': 'comment_loading'}).get('action-data')
if 'click_more_comment' in cont:
url = soup.find(attrs={'action-type': 'click_more_comment'}).get('action-data')
return url
@parse_decorator([])
def get_comment_list(html, wb_id):
"""
获取评论列表
:param html:
:param wb_id:
:return:
"""
cont = get_html_cont(html)
if not cont:
return list()
soup = BeautifulSoup(cont, 'html.parser')
comment_list = list()
comments = soup.find(attrs={'node-type': 'comment_list'}).find_all(attrs={'class': 'list_li S_line1 clearfix'})
for comment in comments:
wb_comment = WeiboComment()
try:
wb_comment.comment_cont = comment.find(attrs={'class': 'WB_text'}).text.strip()
wb_comment.comment_id = comment['comment_id']
# TODO 将wb_comment.user_id加入待爬队列(seed_ids)
wb_comment.user_id = comment.find(attrs={'class': 'WB_text'}).find('a').get('usercard')[3:]
# todo 日期格式化
wb_comment.create_time = comment.find(attrs={'class': 'WB_from S_txt2'}).text
wb_comment.weibo_id = wb_id
except Exception as e:
parser.error('解析评论失败,具体信息是{}'.format(e))
else:
comment_list.append(wb_comment)
return comment_list
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。