windows 下利用scrapy框架创建爬虫

1.在pycharm中安装scrapy

具体信息见大神编写的详情Pycharm中的scrapy安装教程–xiaoli2018-博客园

防止原文找不到,也便于自己平时查看学习,原文粘贴如下:


image.png

image.png

点击图中右上角的’+’按钮,进入下面的窗口,查询要安装的包,进行安装


image.png

image.png

做一下说明:在我按照教程安装的时候,发现不需要安装”liblxlm2dom”,因为我压根搜不到。。。在另外一个安装教程中显示,不需要安装这个包,我没有安装这个包,最后发现也是可以用的,大概是软件升级了?(我用的是python3.7,pycharm2018.2.4.x64)


image.png

image.png

image.png


image.png

2.创建scrapy项目

1> 打开想要创建爬虫项目的磁盘,操作如下


image.png

2> 在命令窗口中输入命令行:
scrapy startproject MyFirstSpider
MyFirstSpider为我自己为爬虫项目取的名字,这个项目名是自定义的,根据自己的需要随便取啥名儿都可以。操作后,界面如下:


image.png

3> 再输入cd MyFirstSpider命令,进入新建的爬虫项目中,操作后界面如下:


image.png

4> 输入scrapy genspider baidu_news new.baidu.com创建爬虫文件,格式为scrapy genspider [爬虫文件名] [爬取内容的区域]


image.png

5> 打开pycharm,找到新建的这个爬虫项目,然后打开对应爬虫文件,进行爬虫文件的内容编写。


image.png


image.png

感谢网上的各路大神的分享,我学会了编写爬虫的第一步–创建爬虫项目和爬虫文件,接下来的路道阻且长,希望能坚持学习,早日学会并应用爬虫,哈哈哈哈~~

https://www.jianshu.com/p/74c2046811c0

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论