xml地图|网站地图|网站标签 [设为首页] [加入收藏]
Python Scrapy 自定义模版文件--理解创建的项目文件
分类:网络频道

如下所示:

在编写scrapy爬虫的时候,我们很烦每次都是要自己创建一个新的的spider,当然创建完项目的时候开业再次执行 宝马娱乐在线,scrapy genspider name “name” 来创建一个name.py文件,如图:

scrapy stratproject projectname  ##创建一个项目

宝马娱乐在线 1

scrapy genspider myspidername fider  ##创建一个spider文件

执行scrapy genspider name “name”

scrapy crawl spidername ## 执行一个spider程序

现在来简单介绍一下这个命令是如何创建一个spider文件的,先仔细观察一下上面的类命名和函数命名。所有scrapy的命令是通过路径:X:Python35Libsite-packagesscrapycommands来执行的,先看看我们的genspider命令,在路径下找到genspider.py文件,如图:

scrapy shell url  ## 动态执行代码

宝马娱乐在线 2

以上这篇浅谈scrapy 的基本命令介绍就是小编分享给大家的全部内容了,希望能给大家一个参考

这个是genspider最后的一个函数

仔细观察不难发现这个函数通过os.path.join方法组建一个完整的scrapy路径,这里演示一下:

宝马娱乐在线 3

对比两个图的结果

在看看倒数第二个函数:

宝马娱乐在线 4

倒数第二个函数

仔细观察发现它是os.listdir列出templatesspiders文件夹下的所有的文件和文件夹,去寻找扩展名为.tmpl的文件,看到这里聪明的你肯定知道了,没错我们去也去需要这个文件.tmpl,路径:D:Python35Libsite-packagesscrapytemplatesspiders下看到如图:

宝马娱乐在线 5

红色框这个文件就是创建spiders.py的模板

记事本、sublime打开看到这样的情况:

宝马娱乐在线 6

对比上面说的

对比上面说的内容,可以知道$classname是获取项目名称来创建类名,以此类推就不难知道了,现在我们可以修改这个文件(想对比最开始执行scrapy genspider name “name”),我们在最上面添加一行:from scrapy.spiders import Request。再次执行scrapy genspider name “name”看看结果:

宝马娱乐在线 7

成功添加了

现在介绍第二种情况:每次执行完scrapy crawl name 在项目的spiders文件夹下只是生成了一个__init__.py文件,那么我们每次都是要自己去新建一个spider文件来写爬虫,最好是执行生成项目的时候spider文件也生成好了,还像上面一样也写好了部分内容的文件,这里有两种方法

一、先看看路径:D:Python35Libsite-packagesscrapytemplatesproject

宝马娱乐在线 8

和自己的项目文件对比形式

宝马娱乐在线 9

是不是

本文由宝马娱乐在线发布于网络频道,转载请注明出处:Python Scrapy 自定义模版文件--理解创建的项目文件

上一篇:php in_array函数引发的一些思想 下一篇:宝马娱乐在线php怎么写注释?php注释规范介绍
猜你喜欢
热门排行
精彩图文