|
|
多协程主要信息总结
多协程对于爬虫是比较重要的，一般对于大量的网址，用多协程是比较快捷的方法。
|
上一篇：scrapy主要信息汇总下一篇：selenium库
相关帖子聚合推荐
-
1多协程用法——仅用gevent库（低负载）
-
多协程用法——仅用gevent库（低负载）
多协程，是一种非抢占式的异步方式。使用多协程的话，就能让多个爬取任务用异步的方式交替执行。
from gevent import monkey
#从gevent库里导入monkey模块。
monkey.patch_all()
#monkey.patch_all()能把程序变成协作式运行，就是可以帮助程序实现异步。
import gevent,time, ...
-
2多协程用法——gevent库+queue模块(可执行高负载，大量任务)
-
多协程用法——gevent库+queue模块(可执行高负载，大量任务)
gevent库的使用方法：http://www.21fanqie.com/thread-269-1-1.html
queue模块
当我们用多协程来爬虫，需要创建大量任务时，我们可以借助queue模块。
queue翻译成中文是队列的意思。我们可以用queue模块来存储任务，让任务都变成一条整齐 ...
-
3关于同步和异步的解释
-
关于同步和异步的解释
同步：就是一个任务结束才能启动下一个（类比你看完一部电影，才能去看下一部电影）。
异步：在一个任务未完成时，就可以执行其他多个任务，彼此不受影响（在看第一部下载好的电影时，其他电影继续保持下载状态，彼此之间不受影响）。
-
4关于并行执行、并发执行、多进程、多协程的解释
-
我们的CPU从单核进化到了多核，每个核都能够独立运作。计算机开始能够真正意义上同时执行多个任务（术语叫并行执行），而不是在多个任务之间来回切换（术语叫并发执行）。
多协程，其实只占用了CPU的一个核运行，没有充分利用到其他核。利用CPU的多个核同时执行任务的技术，我们把它叫做“多进程”。
...
-
5gevent库+queue模块，爬取时光网练习
-
多协程用法——gevent库+queue模块，爬取时光网练习
自己写的：
from gevent import monkey
monkey.patch_all()
import gevent,time,requests,random,csv
from gevent.queue import Queue
#----------------模拟浏览器------------------
moniliulanqi={\'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; WOW64) ...
-
6食物热量查询——薄荷网，用gevent库+queue模块，爬取练习
-
食物热量查询——薄荷网，用gevent库+queue模块，爬取练习
from gevent import monkey
monkey.patch_all()
import gevent,requests, bs4, csv
from gevent.queue import Queue
work = Queue()
url_1 = \'http://www.boohee.com/food/group/{type}?page={page}\'
for x in range(1, 4):
for y in range(1, 4): ...
-
7gevent是外部模块需要安装，如果安装超时要试试镜像哦！
-
gevent是外部模块需要安装，如果安装超时要试试镜像哦！
如果安装超时，可以试试这个镜像pip install gevent -I http://pypi.douban.com/simple —trusted-host pypi.douban.com
或者这个输入pip install https://pypi.tuna.tsinghua.edu.cn/simple/ gevent
-
8异步（多协程）的猴子补丁
-
异步（多协程）的猴子补丁
from gevent import monkey
#从gevent库里导入monkey模块。
monkey.patch_all()
#monkey.patch_all()能把程序变成协作式运行，就是可以帮助程序实现异步。
猴子补丁，使用它，目的是为了给其他模块补充内容，能够变成协作运行的执行方式，注意猴子补丁必须放在被打补丁的 ...
-
9爬取基金网相关数据练习
-
爬取基金网相关数据练习
运行启动程序，单独占用一个py文件
import requests,time,openpyxl,json,html,random,test2
from bs4 import BeautifulSoup
from openpyxl import load_workbook,Workbook
moniliulanqi={\'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) C ...
|
发表于 2021-1-21 15:18:30
