官方教程說當你寫好自己的spiders如douban之后，你可以通過scrapy runspider/crawl douban啟動你的爬蟲。于是一開始的時候你就知道通過這個命令行來啟動爬蟲，但是你有沒有想過當你敲下這行命令后，scrapy到底做了什么呢？
命令入口：cmdline.py
當你運行 scrapy command arg 這樣的命令時,這里的 scrapy 實質是一個 python 腳本，它接受參數，首先調用 scrapy/cmdline.py 中的 execute() 函數.
execute() 函數在 scrapy 安裝目錄下的 cmdline.py 文件中.而cmdline.py定義以下幾個函數：
iter_command_classes(module_name)
get_commands_from_module(module, inproject)
get_commands_from_entry_points(inproject, group='scrapy.commands')
get_commands_dict(settings, inproject)
_pop_command_name(argv)
print_header(settings, inproject)
print_commands(settings, inproject)
print_unknown_command(settings, cmdname, inproject)
run_print_help(parser, func, *a, **kw)
_run_command(cmd, args, opts)
_run_command_profiled(cmd, args, opts)
execute(argv=None, settings=None)
這些函數顧名思義，不做太多介紹。其中最重要的是execute，為啥呢？
if __name__ == '__main__':
execute()
因為上面代碼告訴我們只有它能自啟動，所以我們要詳盡的了解它，因此就要讀代碼了。
def execute(argv=None, settings=None):
# 獲取變量
if argv is None:
argv = sys.argv
# 獲取配置(settings)
if settings is None:
settings = get_project_settings()
check_deprecated_settings(settings)
inproject = inside_project() #判斷是否在項目中，因為可用命令不同
cmds = _get_commands_dict(settings, inproject) #scrapy.commands中獲取命令集
cmdname = _pop_command_name(argv) #獲取輸入的命令
parser = optparse.OptionParser(formatter=optparse.TitledHelpFormatter(), \
conflict_handler='resolve') #獲取附加選項
# 根據輸入的指令提供不同的結果
if not cmdname:
_print_commands(settings, inproject)
sys.exit(0)
elif cmdname not in cmds:
_print_unknown_command(settings, cmdname, inproject)
sys.exit(2)
# 下面幾行代碼針對輸入合適的指令如genspider crawl....
# 解析命令行參數(cmds：為相應的Scrapy Command對象列表)
cmd = cmds[cmdname]
parser.usage = "scrapy %s %s" % (cmdname, cmd.syntax())
parser.description = cmd.long_desc()
settings.setdict(cmd.default_settings, priority='command')
cmd.settings = settings
cmd.add_options(parser)
opts, args = parser.parse_args(args=argv[1:])
_run_print_help(parser, cmd.process_options, args, opts)
# 設定用于啟動爬取CrawlerProcess的配置
cmd.crawler_process = CrawlerProcess(settings)
_run_print_help(parser, _run_command, cmd, args, opts)
sys.exit(cmd.exitcode)
作為整個程序的入口，其主要做的事情是解析用戶爬蟲的配置屬性，根據傳遞的命令行參數，調用對應的代碼來執行相應的任務.
scrapy command arg 中 command 可以為 crawl / startproject / genspider / runspider / deploy / …等命令,每一個命令在 scrapy/commands 文件夾下都有對應 command類.
對于 scrapy runsspider test ,就會調用 commands/runspider.py 中的方法去執行相應的爬蟲任務.
調度者：runspider.py
runspider.py定義了一個函數_import_file從我們的爬蟲中查找所有的依賴包，定義了一個Command類(繼承ScrapyCommand)。
Command中最重要的功能是run,他用spclasses = list(iter_spider_classes(module))判斷輸入的爬蟲是否存在。
self.crawler_process.crawl(spidercls, **opts.spargs)
self.crawler_process.start()
隨后用crawler_process(即實例化的CrawlerProcess）調用crawler.py的CrawlerProcess。crawler是Scrapy核心的API，所以需要仔細介紹。
核心API： crawler.py
事實上我們并不一定需要通過命令行的方式運行scrapy的爬蟲，完全可以通過API從腳本中運行Scrapy。CrawlerProcess可以為你自啟動一個Twisted反應子，配置logging信息、設置腳本關閉處理程序，
我們先來解讀self.crawler_process.crawl(spidercls, **opts.spargs)中的crawl。流程如下
crawler = self.create_crawler(crawler_or_spidercls)create_crawler return self._create_crawler(crawler_or_spidercls)_create_crawler return Crawler(spidercls, self.settings)spidercls = self.spider_loader.load(spidercls)spider_loader = _get_spider_loader(settings).... 讀不下去了
CrawlerRunner.crawl return self._crawl(crawler, *args, **kwargs)_crawl crawler.crawl(*args, **kwargs)-
crawler.crawl
@defer.inlineCallbacks
def crawl(self, *args, **kwargs):
assert not self.crawling, "Crawling already taking place"
self.crawling = Truetry: self.spider = self._create_spider(*args, **kwargs) self.engine = self._create_engine() start_requests = iter(self.spider.start_requests()) yield self.engine.open_spider(self.spider, start_requests) yield defer.maybeDeferred(self.engine.start)
本來我是打算一行一行講解代碼的，但是工作量太大，也很難表述清楚，我還是直接說明他的作用吧：
用指定的參數運行爬蟲，最后從spider.start_requests()開啟新的征途。
結論：
因此當我們執行scrapy runspider SpiderName的時候，Scrapy其實以以下順序直到啟動我們的爬蟲。
scrapy/cmdline.py -> scrapy/commands/runspider.py -> scrapy/crawler.py -> 從我們的爬蟲的start_requests開始下一步。
這個代碼讀的我好暈，但是至少我知道了start_requests是我們運行爬蟲的關鍵。
