Bitzsoft.Integrations.CrawlingService 1.0.0-alpha.7

Bitzsoft.Integrations.CrawlingService

网页爬取服务集成客户端 -- 基于 Selenium 的浏览器自动化，支持 Chrome / Firefox / Edge 多浏览器切换。

功能特性

• 支持 Chrome、Firefox、Edge 三大浏览器引擎
• 无头（Headless）与有头模式自由切换
• 完整的元素定位体系：ID、CSS 选择器、XPath、Name、ClassName、TagName
• 显式等待链式 API：等待可见、可点击、页面加载等
• 丰富的交互操作：输入、单击、悬停、右键、双击
• JavaScript 执行、截图、Frame / Window / Alert / Cookie 管理
• Options 强类型配置，支持 IConfigurationSection 绑定
• IDisposable 生命周期管理，浏览器资源自动释放

安装

dotnet add package Bitzsoft.Integrations.CrawlingService

或直接在项目文件中引用：

<PackageReference Include="Bitzsoft.Integrations.CrawlingService" Version="*" />

配置

在 appsettings.json 中添加爬取服务配置：

{
  "Crawling": {
    "Enabled": true,
    "BrowserType": "Chrome",
    "Headless": true,
    "DefaultWaitSeconds": 30,
    "PageLoadTimeoutSeconds": 60,
    "ScriptTimeoutSeconds": 30,
    "DriverPath": "/usr/local/bin/chromedriver",
    "UserAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "WindowWidth": 1920,
    "WindowHeight": 1080
  }
}

注册服务

using Bitzsoft.Integrations.CrawlingService;

// 方式一：通过 IConfigurationSection 绑定
builder.Services.AddCrawlingService(builder.Configuration.GetSection("Crawling"));

// 方式二：通过委托手动配置
builder.Services.AddCrawlingService(options =>
{
    options.Enabled = true;
    options.BrowserType = BrowserType.Chrome;
    options.Headless = true;
    options.DefaultWaitSeconds = 30;
    options.PageLoadTimeoutSeconds = 60;
    options.ScriptTimeoutSeconds = 30;
    options.DriverPath = "/usr/local/bin/chromedriver";
    options.WindowWidth = 1920;
    options.WindowHeight = 1080;
});

使用示例

以下示例展示登录第三方网站并抓取订单列表数据：

using Bitzsoft.Integrations.CrawlingService;

/// <summary>
/// 第三方订单爬取服务
/// </summary>
public class OrderCrawler : IDisposable
{
    private readonly ICrawlingService _crawler;

    /// <summary>
    /// 初始化订单爬取服务实例
    /// </summary>
    /// <param name="crawler">浏览器自动化服务（由 DI 注入）</param>
    public OrderCrawler(ICrawlingService crawler)
    {
        _crawler = crawler;
    }

    /// <summary>
    /// 登录目标网站并获取订单摘要列表
    /// </summary>
    /// <param name="username">登录用户名</param>
    /// <param name="password">登录密码</param>
    /// <param name="cancellationToken">取消令牌</param>
    /// <returns>订单摘要文本列表</returns>
    public async Task<List<string>> FetchOrderSummariesAsync(
        string username,
        string password,
        CancellationToken cancellationToken = default)
    {
        // 导航到登录页
        await _crawler.OpenUrl("https://example-supplier.com/login");

        // 等待登录表单加载并填写凭据
        await _crawler.WaitForElement("#username", cancellationToken: cancellationToken);
        await _crawler.InputText("#username", username);
        await _crawler.InputText("#password", password);

        // 提交登录
        await _crawler.Click("#btn-login");

        // 等待跳转到首页后进入订单页
        await _crawler.WaitForPageLoad(cancellationToken: cancellationToken);
        await _crawler.OpenUrl("https://example-supplier.com/orders");

        // 等待订单表格渲染完成
        await _crawler.WaitForVisible("table.order-list", cancellationToken: cancellationToken);

        // 提取每行订单摘要
        var rows = await _crawler.FindByCssSelector("table.order-list tbody tr");
        var summaries = new List<string>();

        foreach (var row in rows)
        {
            string text = await _crawler.GetText(row);
            summaries.Add(text.Trim());
        }

        // 截图存档
        await _crawler.TakeScreenshot("screenshots/orders.png");

        return summaries;
    }

    /// <summary>
    /// 释放浏览器资源
    /// </summary>
    public void Dispose()
    {
        _crawler?.Dispose();
    }
}

相关包

• Bitzsoft.Integrations.Sms -- 短信双通道集成
• Bitzsoft.Integrations.Ocr -- OCR 文字识别集成