|
|
scrapy主要信息汇总
scrapy是比较复杂的，这个贴汇总一下。
|
上一篇：异步（多协程）的猴子补丁下一篇：多协程主要信息总结
相关帖子聚合推荐
-
1问题：安装scary出现failed building wheel for cryptography
-
问题：安装scary出现failed building wheel for cryptography
解决：
【1】先升级pip：
输入这句话：python -m pip install —upgrade pip -ihttp://pypi.douban.com/simple —trusted-host pypi.douban.com
【2】再安装模块：pip install scrapy
-
2怎么看scrapy项目的返回结果：
-
怎么看scrapy项目的返回结果：
运行main文件后，终端返回的结果主要分为三部分：
1）检查调用相关的模块
2）爬取数据
3）数据统计
1. 检查调用相关的模块
2）爬取数据
3）数据统计
-
3scrapy中，如何理解from ..items import DoubanItem
-
scrapy中，如何理解from ..items import DoubanItem
..items我们要分为两部分，“..”和“items”
（1）相对路径大家都知道，..是指返回上一层文件夹
（2）items是模块，也是我们自己编写的items.py
所以..items就是我们跳出的spiders文件夹，返回上一个文件夹，在里面寻找items.py也就是这个文件。（如下图1-1 ...
-
4Scrapy爬虫框架
-
Scrapy爬虫框架
Scrapy的结构——
你可以把整个Scrapy框架看成是一家爬虫公司。最中心位置的Scrapy Engine(引擎）就是这家爬虫公司的大boss，负责统筹公司的4大部门，每个部门都只听从它的命令，并只向它汇报工作。
Scheduler(调度器)部门主要负责处理引擎发送过来的requests对象（即网页请求的相关信 ...
-
5Scrapy爬虫框架使用步骤总结
-
Scrapy爬虫框架使用步骤总结
1.在cmd中，定位到指定文件夹，用“scrapy startproject 项目名”创建项目文件夹和其中的文件
2.在items.py中，增加类似title = scrapy.Field()这样的代码，定义数据属性。
3.在spiders文件夹下，创建本项目主要代码的爬虫python文件，文件名称：随意。
4.在第3步创建的爬虫python文 ...
-
6Scrapy爬虫框架——控制下载延时的方法
-
Scrapy爬虫框架——控制下载延时的方法
修改Scrapy中settings.py文件：
修改前：
# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest ... html#download-delay
# See also autothrottle settings and docs
#DOWNLOAD_DELAY = 0
我们需要取消D ...
-
7Scrapy爬虫框架存储文件的方法
-
Scrapy爬虫框架存储文件的方法
一、存储为CSV文件：
存储成csv文件的方法比较简单，只需在settings.py文件里，添加如下的代码即可。
FEED_URI=\'./storage/data/%(name)s.csv\'
#是导出文件的路径。\'./storage/data/%(name)s.csv\'，就是把存储的文件放到与main.py文件同级的storage文件夹的data子文件夹里。
F ...
-
8Scrapy用pipelines把字典保存为csv格式
-
Scrapy用pipelines把字典保存为csv格式
import csv
class MyProjectPipeline(object):
# 保存为csv格式
def __init__(self):
# 打开文件，指定方式为写，利用第3个参数把csv写数据时产生的空行消除
self.f = open(\"myproject.csv\",\"a\",newline=\"\")
# 设置文件第一行的字段名，注意要跟s ...
-
9提示Scrapy 2.4.1 - no active project，Unknown command: crawl错误的解决方法
-
提示Scrapy 2.4.1 - no active project，Unknown command: crawl错误的解决方法
在使用Scrapy的时候，有的时候会提示以下错误：
Scrapy 2.4.1 - no active project
Unknown command: crawl
Use \"scrapy\" to see available commands
这个unknown command crawl 错误，是因为没有到创建目录的那个文件夹 ...
-
10scrapy运行方式
-
scrapy运行方式
正确运行方法：
最外层的大文件夹里新建一个main.py文件（与scrapy.cfg同级）。
输入：
from scrapy import cmdline
#导入cmdline模块,可以实现控制终端命令行。
cmdline.execute([‘scrapy’,’crawl’,’douban’])
#用execute（）方法，输入运行scrapy的命令。
运行main文件即可
-
11scrapy中多次翻页的方法
-
scrapy中多次翻页的方法
#导入模块：
import scrapy
import bs4
from ..items import JobuiItem
class JobuiSpider(scrapy.Spider):
name = \'jobui\'
allowed_domains = [\'www.jobui.com\']
start_urls = [\'https://www.jobui.com/rank/company/\']
#提取公司id标识和构造公司招聘信息的网址：
...
-
12scrapy运行结果解读
-
scrapy运行结果解读：https://blog.csdn.net/qq_45476428/article/details/108701932
-
13scrapy各文件解释
-
scrapy各文件解释
-
14scrapy一些固定写法
-
提醒注意一下，start_urls不能去掉s，是固定的，allowed_domains也是固定写法，大家不要轻易改动
-
15Scrapy——settings.py配置文件详解
-
Scrapy——settings.py配置文件详解
详见：https://blog.csdn.net/u011781521/article/details/70188171
-
16Scrapy+Selenium爬取动态渲染网站
-
Scrapy+Selenium爬取动态渲染网站：https://blog.csdn.net/weixin_38601833/article/details/96445651?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522161112435216780266214229%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=161112435216780266214229&biz_id=0&utm_mediu ...
|
发表于 2021-1-21 15:05:45
