BeautifulSoup能和Scrapy一起使用嗎？

是的你可以。 如上所述：ref：above <faq-scrapy-bs-cmp>，`BeautifulSoup`_可用于解析Scrapy回調(diào)中的HTML響應(yīng)。 您只需將響應(yīng)的主體提供給``BeautifulSoup``對(duì)象，并從中提取所需的任何數(shù)據(jù)。

下面是一個(gè)使用BeautifulSoupAPI的蜘蛛示例， lxml 作為HTML解析器：

from bs4 import BeautifulSoup
import scrapy


class ExampleSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ["example.com"]
    start_urls = (
        'http://www.example.com/',
    )

    def parse(self, response):
        # use lxml to get decent HTML parsing speed
        soup = BeautifulSoup(response.text, 'lxml')
        yield {
            "url": response.url,
            "title": soup.h1.string
        }

注解

``BeautifulSoup``支持幾種HTML / XML解析器。 請(qǐng)參閱“BeautifulSoup的官方文檔”，了解哪些可用。