设为首页收藏本站

简体中文 繁體中文 English 日本語 Deutsch 한국 사람 بالعربية TÜRKÇE português คนไทย Français

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 197|回复: 20

哪位大佬要的水蜜桃

[复制链接]

3

主题

100

回帖

257

积分

中级会员

积分
257
发表于 2019-6-18 13:57:38 | 显示全部楼层 |阅读模式
刚哪位大佬要的,快来取,新手练手,大佬莫怪哈。

分文件夹下载到img目录下,info.json 导的json,包含标题和标签信息,哪位大佬有闲的帮指点下json怎么保存更好,现在保存的内容没法直接看。

[ol][*]# -*- coding: utf-8 -*-
[*]
[*]import requests
[*]import json
[*]import os
[*]from lxml import etree
[*]from multiprocessing import Process
[*]import threadpool
[*]
[*]
[*]class SMTMM():
[*]    def __init__(self):
[*]        self.base_url = "https://smtmm.win"
[*]        self.page_base_url = "https://smtmm.win/?page="
[*]        self.start_page = 1
[*]        self.dir_base = "img/"
[*]        self.headers = {
[*]            'User-Agent': 'Mozilla/5.0 (Linux; U; Android 8.1.0; zh-cn; BLA-AL00 Build/HUAWEIBLA-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.132 MQQBrowser/8.9 Mobile Safari/537.36'}
[*]
[*]    def get_article_list(self, n):
[*]        url = self.page_base_url + str(n)
[*]        r = requests.get(url, headers=self.headers)
[*]        tree = etree.HTML(r.text)
[*]        article_list = tree.xpath("/html/body/section/div[1]/div/article/a/@href")
[*]        if len(article_list) 复制代码
回复

使用道具 举报

12

主题

1562

回帖

3284

积分

论坛元老

积分
3284
发表于 2019-6-18 14:24:50 | 显示全部楼层
我记得以前有卖橙子的。。还以为是真的水蜜桃。。
回复

使用道具 举报

2

主题

124

回帖

302

积分

中级会员

积分
302
发表于 2019-6-18 13:58:16 | 显示全部楼层
这不是我要的水蜜桃
回复

使用道具 举报

6

主题

2178

回帖

4464

积分

论坛元老

积分
4464
发表于 2019-6-18 13:59:23 | 显示全部楼层
厉害我的锅
回复

使用道具 举报

3

主题

100

回帖

257

积分

中级会员

积分
257
 楼主| 发表于 2019-6-18 14:01:47 | 显示全部楼层

v2host 发表于 2019-6-18 13:58

这不是我要的水蜜桃

哈哈,走过路过不要错过,香脆多汁的水蜜桃了,大佬来两斤?
回复

使用道具 举报

3

主题

100

回帖

257

积分

中级会员

积分
257
 楼主| 发表于 2019-6-18 13:58:00 | 显示全部楼层

hcyme 发表于 2019-6-18 13:59

厉害我的锅

不厉害,新手练习作业,大佬见笑了,哈哈。
回复

使用道具 举报

376

主题

4990

回帖

1万

积分

论坛元老

积分
11336
发表于 2019-6-18 14:03:11 | 显示全部楼层
我要吸水蜜桃的汁
紫薯布丁
回复

使用道具 举报

108

主题

1729

回帖

3804

积分

论坛元老

积分
3804
发表于 2019-6-18 13:59:00 | 显示全部楼层


你这个水蜜桃还无法直接使用呀,来个大佬指点一下楼主
回复

使用道具 举报

119

主题

483

回帖

1405

积分

金牌会员

积分
1405
发表于 2019-6-18 14:19:59 | 显示全部楼层
大佬,你这是python 还是?
"

是python的,最近在学这个,这不刚借用mm131爬虫大佬的线程池用法么,哈哈
回复

使用道具 举报

0

主题

1

回帖

4

积分

新手上路

积分
4
发表于 2019-6-18 14:21:22 | 显示全部楼层
"

pip3 install lxml
pip3 install  threadpool
python3 xxx.py

没在电脑前了,大概是这样吧。看提示缺啥就pip装啥。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Discuz! X

GMT+8, 2026-2-7 11:36 , Processed in 0.015063 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表