1 作业方式一 (proxy-ip) [root@192 ~]# cd /data/test-proxy-ip/ (proxy-ip) [root@192 test-proxy-ip]# scrapy list proxy_ip (proxy-ip) [root@192 test-proxy-ip]# scrapy crawl proxy_ip ... insert into proxy_ip( country, ip, port, server_location, is_anonymous, protocol_type, speed, connect_time, survival_time, validate_time, source, create_time ) VALUES (%s, %s, %s, %s, %s,? %s, %s, %s, %s, %s,? %s, %s) ('CN', '120.33.247.127', '25998', '福建省莆田市', '高匿', 'HTTP', '1.759秒', '1.759秒', '3天', '2018-05-31 17:44:00', 'www.xicidaili.com', '2018-05-31 11:44:39') (1062, "Duplicate entry '120.33.247.127-25998' for key 'ip'") 第一名步，進入我们的的顶目根目次。 第二点步，还可以执行工作 scrapy list ftp命令查询我门的大部分的网络爬虫，这有的 "proxy_ip" 说是我门在 spiders 接着的 xicidaili.py 中确定的 name 的值。 第3步，制定 scrapy crawl proxy_ip 执行爬虫技术。 注： 一些模式不过在收银进行，即每当我国的应用编译步骤开始和完成，编译步骤进行也就开始和完成了。但如果我国要想编译步骤在电脑端进行，能食用 nohup scrapy crawl proxy_ip & 其实的模式来强制执行 2 运营原则二 他们的网页爬虫是每有一次的抓取西刺代里前 5 页的文章，要他们想隔一段时间反复抓取有一次呢。今天他们也可以便用 crontab 的自动任务卡的形式保持，编写 crontab -e ，在开头使用以下的指令并手机截图关闭程序。 (proxy-ip) [root@192 ~]# crontab -e 00 * * * * workon proxy-ip && cd /data/test-proxy-ip/ && nohup scrapy crawl proxy_ip & >> ~/proxy_ip.log 上面强制性带表每一家小时内的整点会连接让我们的网页爬虫步骤 运作手段三 此技巧是属于我们写的 python 角本制作，在 python 角本制作志为传参系统性ps命令 scrapy crawl proxy_ip，接下来的使用 python 的息屏来掌握软件程序运动。 此 皇冠新体育APP 代码在我国能否創建在品牌的根总目录下，代码种类自由，如 main.py 认为是我国品牌的进口文书，代码的内容如下所示： # -*- coding:utf-8 -*- __author__ = 'jiangzhuolin' import sys import os import time while True: os.system("scrapy crawl proxy_ip")? # scrapy spider 的开启具体方法 scrapy crawl spider_name print("小程序开始了休眠期...") time.sleep(3600)? # 休眠模式一时后不断网络爬虫 并且自己操作给出方试程序运行自己的这点 python 游戏脚本在控制台时需： [root@192 ~]# workon proxy-ip (proxy-ip) [root@192 ~]# cd /data/test-proxy-ip/ (proxy-ip) [root@192 test-proxy-ip]# ls main.py? proxy_ip? README.md? scrapy.cfg (proxy-ip) [root@192 test-proxy-ip]# nohup python main.py & [1] 36449 (proxy-ip) [root@192 test-proxy-ip]# nohup: ignoring input and appending output to `nohup.out' 五、汇总 该整体采用一位简单的的范例从大环境修建到代码是什么书写到推广运营的完整详细过程中 介绍赚钱打了个位 皇冠新体育APP Scrapy 网页网络抓取的一般来说产生流程步骤。今后有成功会再介绍赚钱许多 皇冠新体育APP Scrapy 网页网络抓取的的知识，收录 Scrapy 规划式网页网络抓取，Scrapyd 监控设备等等这些... 六、附表 低于就是一个部署工作按键小精灵，能否改变只要创新代碼到仓储过后，强制执行该按键小精灵半自动从启楼盘使用。 #! /bin/bash # 选用大环境变量名生效日 source /etc/profile PROJECT_DIR="/data" PROJECT_NAME="test-proxy-ip" PYTHON_ENV="proxy_ip" EXECUTE_FILE="main.py" cd ${PROJECT_DIR} # 拉取工程 if [ ! -d ${PROJECT_NAME} ] then git clone git@gitee.com:jzl975/${PROJECT_NAME}.git fi # 進入产品导航 cd $PROJECT_NAME # 拉取新型代码怎么用 git pull # 变换到一个的环境 workon ${PYTHON_ENV} # 止住程序运行 PID=`ps -ef | grep ${EXECUTE_FILE} | grep -v grep | awk '{print $2}'` if [ $PID ] then `kill -9 ${PID}` fi # 启动渠道执行程序 nohup python ${EXECUTE_FILE} & 笔者：原始森林_a1d6 联结：//www.jianshu.com/p/58087107557d 來源：简书