本文是 什么是爬虫：工程视角与 IO 基础全览 延续，聚焦AI时代，爬虫的后续方向，如何利用 AI，如 Crawl4AI、Firecrawl 等工具在 2026 年的常见用法；

以下是 AI 爬虫工具实战示例（2026 年工程实践向），聚焦主流开源工具 Crawl4AI（Python、本地优先，适合 RAG/AI 管道）与 Firecrawl（托管 API，快速上手）。它们能自动处理 JS 渲染、生成 LLM-friendly Markdown/JSON，并支持自然语言提取，显著降低传统选择器维护成本。

工具快速对比（工程选型）

工具 类型 最佳场景 优点 缺点 2026 推荐指数
Crawl4AI 开源 Python 库 本地 RAG、自建管道、自定义强 免费、灵活、支持本地 LLM、异步快 需自管浏览器/代理 ★★★★★
Firecrawl 托管 API + 开源 LLM 应用、快速原型、少运维 零配置、Markdown 质量高、结构化提取 有费用（免费额度有限） ★★★★★
Browse AI 无代码 + AI 非开发者、业务团队 点选训练、监控 费用较高 ★★★★

推荐起步：

  • 开发者/自建项目 → Crawl4AI（结合 Playwright 处理动态页）
  • 快速验证/生产小规模 → Firecrawl
  • 两者都可输出 llms.txt 友好内容，便于 AI SEO / GEO

Crawl4AI 实战示例（推荐本地使用）

安装（一次性）

1
2
pip install -U crawl4ai
python -m playwright install --with-deps chromium   # 安装浏览器内核

示例 1：基础爬取 + 生成干净 Markdown（适合喂给 LLM）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import asyncio

from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig


async def basic_crawl() -> None:
    browser_config = BrowserConfig(
        headless=True,
        verbose=True,
    )
    run_config = CrawlerRunConfig(
        bypass_cache=True,
        word_count_threshold=100,
    )
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url="https://example.com/blog/ai-seo",
            config=run_config,
        )
        print("标题:", result.title)
        print("Markdown 预览（前 500 字符）:")
        print(result.markdown[:500])
        with open("output.md", "w", encoding="utf-8") as f:
            f.write(result.markdown)


if __name__ == "__main__":
    asyncio.run(basic_crawl())

示例 2：AI 驱动结构化提取（自然语言提示）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
import asyncio

from crawl4ai import AsyncWebCrawler, LLMConfig, LLMExtractionStrategy


async def ai_extract() -> None:
    llm_config = LLMConfig(
        provider="openai/gpt-4o",
        api_token="your-api-key",
    )
    extraction_strategy = LLMExtractionStrategy(
        llm_config=llm_config,
        schema={
            "type": "object",
            "properties": {
                "title": {"type": "string"},
                "key_points": {"type": "array", "items": {"type": "string"}},
                "products": {
                    "type": "array",
                    "items": {
                        "type": "object",
                        "properties": {
                            "name": {"type": "string"},
                            "price": {"type": "string"},
                        },
                    },
                },
            },
        },
        instruction=(
            "Extract the main article title, key bullet points, "
            "and any product listings with prices."
        ),
    )
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(
            url="https://your-target-site.com/page",
            extraction_strategy=extraction_strategy,
        )
        print("结构化 JSON 结果:")
        print(result.extracted_content)


if __name__ == "__main__":
    asyncio.run(ai_extract())

进阶技巧：在 BrowserConfig 中配置代理；批量用 arun_many(urls_list)；复杂页用 LLM 提取，简单页可优先 CSS 策略；结合 Pydantic 做校验。

Firecrawl 实战示例（托管 API）

安装

1
pip install firecrawl-py

示例：单页 Markdown + 结构化 JSON 提取

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
from firecrawl import FirecrawlApp

app = FirecrawlApp(api_key="fc-your-api-key")

result = app.scrape_url(
    url="https://example.com",
    params={
        "formats": ["markdown", "html"],
        "onlyMainContent": True,
    },
)
print(result["markdown"][:500])

extract_result = app.scrape_url(
    url="https://example.com/products",
    params={
        "formats": ["json"],
        "extract": {
            "schema": {
                "type": "object",
                "properties": {
                    "products": {
                        "type": "array",
                        "items": {
                            "type": "object",
                            "properties": {
                                "name": {"type": "string"},
                                "price": {"type": "string"},
                                "rating": {"type": "number"},
                            },
                        },
                    },
                },
            },
        },
    },
)
print(extract_result["json"])

Firecrawl 特点：支持整站爬取（如 crawl_url）、去重、JS 渲染与 llms.txt 友好输出，适合快速搭 RAG 知识库。API Key 在 firecrawl.dev 获取。

工程实践建议

  • 反爬：工具层多带浏览器指纹伪装；生产仍建议 住宅代理池 + 随机延迟。
  • 并发：Crawl4AI 用 asyncio.Semaphore；Firecrawl 注意官方限流。
  • 存储：提取后入 MongoDB 或向量库，对接 RAG。
  • AI SEO：站点可提供 /llms.txt，并在 robots.txt 中按需声明常见 AI 爬虫；技术 SEO（可爬性、结构化数据、内容质量）仍是基础。
  • 监控：成功率、耗时、封禁，可沿用 Scrapy 中间件式的重试与日志思路。
  • 规模：小到中用上文代码；百万级考虑 Docker + Crawl4AI + Redis 队列，或 Firecrawl 付费档位。

常见踩坑：JS 重页面失败 → 确认 headless 与等待策略；输出噪声多 → 调 word_count_threshold 或提示词；成本上升 → 本地 Crawl4AI + Ollama，云端先用免费额度压测。

AI 爬虫能很好解决的问题

  • 页面结构常改、选择器维护成本高：自然语言 + LLM 理解布局，减少反复改 XPath/CSS。
  • 动态 / JS 渲染：配合 Playwright 等，输出干净 Markdown/JSON，少碰原始 HTML 噪声。
  • 非结构化 → 结构化：便于 RAG 与下游 LLM，减少手工清洗。
  • 中小规模快速验证：原型、竞品、内容监控；Crawl4AI 可本地 LLM，Firecrawl 少运维。
  • 降噪：常能弱化导航、广告、页脚等；部分工具支持更贴近主题的抓取策略。
  • 开发者体验：Crawl4AI 可深度定制、数据可不出域；异步与批量友好。

概括：在适应性、输出形态、与 LLM 流水线衔接上，AI 爬虫往往优于「纯手写选择器 + 正则」的传统路径。

AI 爬虫不能解决或仍明显受限的问题

  • 强反爬 / 反自动化：Cloudflare、Akamai、验证码、TLS/JA3 等面前，成功率仍可能很低；仍需代理、指纹、行为模拟；AI 爬虫不是「一键绕盾」。
  • 超大规模、高 QPS、成本可控：LLM 提取有延迟与 Token 成本；百万页往往仍是 Scrapy + Playwright + 分布式更可控；托管服务有配额与费用曲线。
  • 强确定性场景：LLM 可能误解或幻觉，金融/医疗等需 规则校验或人机复核。
  • 完全零成本与零运维：托管 API 有隐私与供应商锁定；本地方案则要自管浏览器、代理、队列与监控。
  • 特定站类：部分社交媒体、强登录、实时行情等，仍需专门方案。
  • 合规：不回答「能不能抓」的法律问题；须遵守 robots、条款、版权与隐私；用于训练或商用时争议风险更高。
  • llms.txt 等：有助于被理解，但不能替代整体 SEO 与内容建设。

选型与混合架构（小结）

  • 要灵活、本地、可控成本 → Crawl4AI（配合代理与 asyncio）。
  • 要快、要省心、规模不大 → Firecrawl。
  • 要规模与稳定性 → 传统抓取（Scrapy/Playwright）打底 + AI 只做提取/清洗，分层组合。

AI 爬虫显著降低「从网页到可用数据」的门槛，但不是银弹；复杂生产环境常见做法是 混合架构：传统技术保吞吐与确定性，AI 保灵活与适配。