Scrapy 命令

以无参方式输入scrapy命令会输出可用的命令:

xieyuedembp:Web100 xieyue$ scrapy
Scrapy 1.8.0 - no active project
Usage:
  scrapy <command> [options] [args]
Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy
  [ more ]      More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command

全局命令:

startproject

【创建新项目】

$ scrapy startproject myproject
settings

【获取Scrapy的设置】

$ scrapy settings 
$ scrapy settings --get DOWNLOAD_DELAY
runspider

【在未创建项目的情况下,运行一个编写在Python文件中的spider】

$ scrapy runspider myspider.py
shell

【以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell】

$ scrapy shell http://www.baidu.com
fetch

【使用Scrapy下载器(downloader)下载给定的URL,并将获取到的内容送到标准输出】

$ scrapy fetch --nolog http://www.baidu.com
$ scrapy fetch --nolog --headers http://www.baidu.com
view

【在浏览器中打开给定的URL,并以Scrapy spider获取到的形式展现】

$ scrapy view http://www.baidu.com
version

【输出Scrapy版本】

$ scrapy shell http://www.baidu.com

项目(Project-only)命令:

crawl

【使用spider进行爬取】

$ scrapy crawl myspider
check

【运行contract检查】

$ scrapy check -l
$ scrapy check
list

【列出当前项目中可用的spider】

$ scrapy list
edit

【使用editor中设定的编辑器编辑给定的spider】

$ scrapy edit spider1
parse

【获取给定的URL并使用相应的spider分析处理】

$ scrapy parse http://www.example.com/ -c parse_item
genspider

【在当前项目中创建spider】

$ scrapy genspider videos_spider douban.videos.com
bench

【运行benchmark测试】

$ scrapy bench

https://www.jianshu.com/p/0bf36bdb6828

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论