Bright Data亮数据 MCP + N8N x AI 新闻编辑:基于亮数据,数据采集到观点摘要工作流自动化实践

发布于:2025-06-26 ⋅ 阅读:(14) ⋅ 点赞:(0)

Bright Data亮数据 MCP + N8N x AI 新闻编辑:基于亮数据,数据采集到观点摘要工作流自动化实践

背景

在这里插入图片描述

大模型与智能体技术高速发展的当下,垂直领域智能体成为企业智能化转型的新宠,如招聘助手、电商导购等场景应用层出不穷。然而,数据来源的非结构化、不可控与滞后性,制约着智能体的精准性与时效性,成为开发者面临核心难题,Bright Data MCP 作为创新型"即插即用"数据解决方案,通过先进数据采集与处理技术,深度覆盖招聘、电商、金融等多个行业领域,能够自动抓取网页数据并进行结构化处理,将零散无序的信息转化为规范、有序的知识单元,无论是搭建智能体的核心知识库,还是为对话交互构建上下文语料库,MCP 都能以高效、合规的方式,提供实时、精准的数据支撑,帮助开发者大幅降低数据处理成本,攻克数据获取难题,从而将更多精力聚焦于智能体的功能优化与应用创新,加速智能体的开发与落地进程。

Bright Data MCP介绍

在这里插入图片描述

Bright Data MCP 以一站式解决方案助力 AI 模型与代理实时高效获取公共 Web 数据,无论是静态文本还是动态加载内容均可精准抓取,无需开发者自建复杂爬虫架构或攻克反爬技术壁垒,通过集成化的技术架构与智能调度系统,让 AI 轻松突破数据获取技术瓶颈

即插即用零代码部署:标准化接口设计,无需搭建复杂爬虫框架或编写反反爬代码,通过简单配置即可接入全球网页数据源

动态数据全链路解析:针对现代网页普遍采用 JavaScript 渲染、动态加载技术,MCP 内置智能解析引擎,自动识别页面元素变化规律,精准抓取实时价格、评论更新等动态内容

超规模稳定网络支撑:依托 7200 万个 IP、覆盖 195 个国家的商用代理网络,MCP 可实现每秒 17 万次请求的高并发采集,每日处理 1PB 级网络流量,同时保持 99.99% 的系统可用性

合规安全智能防护:通过内置 AI 反指纹技术,MCP 自动模拟真实用户行为,规避网站反爬机制;数据传输全程采用 TLS 加密,严格遵循 GDPR、CCPA 等国际数据法规,为企业数据安全与合规运营提供双重保障

N8N工作流自动化工具

在这里插入图片描述

N8N 工作流自动化工具与 Bright Data MCP 搭配,能发挥强大协同优势,N8N 可视化无代码特性,可轻松将 Bright Data MCP 采集的多源 Web 数据接入工作流,快速完成数据清洗、分类与格式转换,既降低技术门槛,又实现数据采集与处理的全流程自动化,大幅提升 Web 数据应用效率

✅可视化无代码工作流构建:拖拽式节点编辑器可视化搭建自动化流程,零代码连接 400 + 应用,支持触发节点、操作节点、逻辑节点自由组合,搭积木实现跨平台数据自动化流转

开源自托管与高扩展性:采用公平代码许可,支持本地部署或云端运行,完全掌控数据隐私,提供自定义节点开发接口,可集成任意 REST API 服务

AI 赋能的智能自动化:内建 LangChain 支持构建 AI Agent 工作流,通过自然语言指令生成流程,AI 自动推荐节点组合、修复运行错误,支持接入私有大模型,实现文本摘要、情感分析等智能任务与业务流程的无缝融合

前提准备

Bright Data MCP 注册

1、Bright Data MCP 官网注册

在这里插入图片描述

2、注册

在这里插入图片描述

3、邮箱、谷歌、Github注册

在这里插入图片描述

3、注册成功即可成功访问Bright Data

在这里插入图片描述

DeepSeek API与新闻 API 获取
Gnews API

读者需要提前注册 Gnews 账户获取 Gnews API 用于N8N工作流搭建

在这里插入图片描述

News API

读者需要提前注册 News 账户获取 News API 用于N8N工作流搭建

在这里插入图片描述

DeepSeek API

读者需要提前注册 DeepSeek 账户获取 DeepSeek API 用于N8N工作流搭建

在这里插入图片描述

Bright Data MCP + N8N x AI 新闻编辑

分析

📰新闻聚合与观点摘要助手:打造你的 AI 新闻编辑

🌟场景说明: 使用 Bright Data MCP采集 Google News 新闻类数据,构建一个能自动聚合新闻并生成摘要自动化工作流

✨可用技术:DeepSeek + Bright Data MCP+ N8N工作流

✨亮点: 多源聚合 + 自动摘要 + 自动化任务

准备工作
Bright Data配置

1、Bright Data API 密钥获取

  • Bright Data官网-账户设置中获取自己的 API 密钥(注意将权限从用户调整为管理员,保存自己密钥用于后续搭建N8N工作流)

在这里插入图片描述

2、Bright Data 网络爬虫程序创建

  • Web 数据集-数据集市场

在这里插入图片描述

  • 搜索Goole News

在这里插入图片描述

  • 点击发现

在这里插入图片描述

  • Google 新闻 - 按 URL 收集

在这里插入图片描述

  • 选用抓取器 API(使用此 API 启动具有指定参数的数据收集并返回结果)

在这里插入图片描述

  • 创建成功

在这里插入图片描述

N8N社区节点 Bright Data Mcp 配置

1、N8N社区节点 Bright Data Mcp 配置

在这里插入图片描述

2、点击设置

在这里插入图片描述

3、开启N8N社区节点直接,用于后续在N8N工作流中配置Bright Data Mcp社区节点

在这里插入图片描述

4、N8N用户控制台创建工作流

在这里插入图片描述

5、节点搜索 Bright Data,能够出现 Bright Data Mcp 社区节点,即说明成功配置N8N社区节点支持

在这里插入图片描述

Bright Data MCP + N8N 智能体搭建

1、选择定时触发节点 On a schedule 作为第一个节点,并且配置

在这里插入图片描述

  • 配置 On a schedule 规制为每天早上8点执行一次,Execute step 测试验证节点正确性

在这里插入图片描述

  • 如下则表示节点成功执行

在这里插入图片描述

2、Http Request 节点创建并且配置

在这里插入图片描述

  • Http Request 配置
  • Method:Get
  • URL:填入 Gnews API
https://gnews.io/api/v4/search?q=ai&lang=en&apikey=....

在这里插入图片描述

3、再拉一个 Http Request 节点创建并且配置

在这里插入图片描述

  • Http Request 配置
  • Method:Get
  • URL:填入News API(同样将url中q=example换成q=ai)
https://newsapi.org/v2/everything?q=ai&apiKey=...

在这里插入图片描述

4、字段转换节点 Edit Fields(Set)添加

在这里插入图片描述

  • Edit Fields(Set)配置,点击 Execute step 将 articles 拖入 Add Field 再次点击 Execute step

在这里插入图片描述

5、添加 Merge 节点合并 News 和 Gnews 数据源

在这里插入图片描述

  • Merge 配置
  • Mode:Append
  • Number of Inputs:2

在这里插入图片描述

6、配置第三个并行的 Http Request Post节点用于触发 Bright Data MCP 数据收集 API

  • Bright Data 控制台页面复制获取到的 cUrl

在这里插入图片描述

  • 直接在 Http Request 节点 Import cURL 即可完成配置
  • 点击节点Execute step 测试,成功后右侧会出现 snapshot_id(后面通过 snapshot_id 来获取数据)

在这里插入图片描述

7、添加等待 Wait 节点(因为 Bright Data 采集数据需要时间所以需要等待1分钟之后再执行,避免传出空值)

在这里插入图片描述

  • Wait 配置,配置1分钟即可

在这里插入图片描述

8、配置 Http Request Get节点用于 Bright Data MCP 数据获取 Download snapshot

  • 管理API-下载快照ID填写前面节点获取到的 snapshot_id,复制cURL

在这里插入图片描述

  • Http Request Get节点 Import cURL 即可完成配置

在这里插入图片描述

9、Limit 节点用户筛选数据,避免数据过多

在这里插入图片描述

  • Max Items:100
  • Keep:First Items

在这里插入图片描述

10、字段转换节点 Edit Fields(Set)添加配置(拼接title和url用逗号分隔)

在这里插入图片描述

11、AI Agent 大模型节点配置

  • Source for Prompt (User Message):Define below
  • Prompt (User Message)
你是一名AI新闻编辑,负责筛选、翻译和整理最新的AI行业动态,并确保信息清晰、美观地呈现给读者。  
任务要求:  
1. 从{{ $json.articles }}中筛选1条仅与AI技术进展和应用相关的新闻,忽略无关信息。  
2. 精准翻译为中文,并保留业内常见的英文术语(如Neural Networks、Reinforcement Learning等,不必强制翻译)。  
3. 确保每条新闻附带原始URL,方便读者获取详细信息。  
4. 在开头注明当天日期,例如:“早上好,今天是2025年3月26日,以下是最新的AI行业新闻。”  
5. 从{{ $json.articles }}中筛选1条内容作为结尾
5. 对输出内容进行排版美化,使用适当的换行、编号、粗体等格式,使信息更易阅读。例如:  

📌 1. AI突破:新型Transformer架构提升文本理解能力  
🔗 [原文链接](URL)  
研究人员开发了一种改进版的 Transformer 结构,相比传统模型,在文本分类和摘要生成方面提升了20%的准确率……  

📌 2. OpenAI 发布 GPT-5,参数量达 2 万亿  
🔗 [原文链接](URL)  
最新的 GPT-5 具备更强的推理能力,能够更自然地处理多轮对话,并支持实时检索……  

请确保最终输出内容清晰、美观,方便读者快速获取关键信息。

在这里插入图片描述

12、DeepSeek 节点配置

  • Creat New Credential

在这里插入图片描述

  • DeepSeek API 令牌配置

在这里插入图片描述

13、AI Agent 大模型成功配置

在这里插入图片描述

  • 执行成功可以看到 Bright Data 有抓取任务执行完成

在这里插入图片描述

14、如果有其他需求可以额外配置Tg或者Email来执行定时群发任务,AI新闻编辑实现定时群发功能

  • Tg配置

在这里插入图片描述

  • Tg Token配置

在这里插入图片描述
15、完整工作流节点展示
在这里插入图片描述
16、执行工作流即可在Tg看到AI编辑机器人群发一条新闻消息,至此一个Bright Data MCP + N8N 工作流 AI 智能新闻编辑智能体就搭建完成了

在这里插入图片描述

N8N工作流配置文件分享

如下是我搭建的AI_News_Editor.json配置文件,如果搭建想要实操可以直接导入修改相关配置,即可和博主一样搭建起来同样的智能体工作流

{
  "name": "AI_News_Editor",
  "nodes": [
    {
      "parameters": {
        "rule": {
          "interval": [
            {
              "triggerAtHour": 8
            }
          ]
        }
      },
      "type": "n8n-nodes-base.scheduleTrigger",
      "typeVersion": 1.2,
      "position": [
        -400,
        160
      ],
      "id": "b70f1b6a-78c2-47af-bddc-b3f866b8c53c",
      "name": "Schedule Trigger"
    },
    {
      "parameters": {
        "url": "https://gnews.io/api/v4/search?q=ai&lang=en&apikey=d4132787d0ee513b19b1c88671045402",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.2,
      "position": [
        -180,
        -40
      ],
      "id": "a7ff523f-817f-4c9e-bb0a-985d403e390a",
      "name": "HTTP Request"
    },
    {
      "parameters": {
        "url": "https://newsapi.org/v2/everything?q=ai&apiKey=8bf1394b85e94b1a846c67064f59c292",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.2,
      "position": [
        -180,
        160
      ],
      "id": "2061bf05-99a5-48f9-8b81-d40fb8f69da3",
      "name": "HTTP Request1"
    },
    {
      "parameters": {
        "assignments": {
          "assignments": [
            {
              "id": "542a67ef-b627-4c71-8188-8a208c500cb1",
              "name": "articles",
              "value": "={{ $json.articles }}",
              "type": "string"
            }
          ]
        },
        "options": {}
      },
      "type": "n8n-nodes-base.set",
      "typeVersion": 3.4,
      "position": [
        40,
        -40
      ],
      "id": "af1443dc-5924-42b7-8a30-fd501cdd7348",
      "name": "Edit Fields"
    },
    {
      "parameters": {
        "assignments": {
          "assignments": [
            {
              "id": "340bfcfa-1241-463c-b141-a81712d91735",
              "name": "articles",
              "value": "={{ $json.articles }}",
              "type": "string"
            }
          ]
        },
        "options": {}
      },
      "type": "n8n-nodes-base.set",
      "typeVersion": 3.4,
      "position": [
        40,
        160
      ],
      "id": "b8548f4b-5fa0-4f9b-875d-9f39c2e2d04b",
      "name": "Edit Fields1"
    },
    {
      "parameters": {},
      "type": "n8n-nodes-base.merge",
      "typeVersion": 3.1,
      "position": [
        260,
        60
      ],
      "id": "b4512d8d-b3f8-468c-b651-18f60af440bc",
      "name": "Merge"
    },
    {
      "parameters": {
        "promptType": "define",
        "text": "=你是一名AI新闻编辑,负责筛选、翻译和整理最新的AI行业动态,并确保信息清晰、美观地呈现给读者。  \n任务要求:  \n1. 从{{ $json.articles }}中筛选1条仅与AI技术进展和应用相关的新闻,忽略无关信息。  \n2. 精准翻译为中文,并保留业内常见的英文术语(如Neural Networks、Reinforcement Learning等,不必强制翻译)。  \n3. 确保每条新闻附带原始URL,方便读者获取详细信息。  \n4. 在开头注明当天日期,例如:“早上好,今天是2025年3月26日,以下是最新的AI行业新闻。”  \n5. 从{{ $json.articles }}中筛选1条内容作为结尾\n5. 对输出内容进行排版美化,使用适当的换行、编号、粗体等格式,使信息更易阅读。例如:  \n\n📌 1. AI突破:新型Transformer架构提升文本理解能力  \n🔗 [原文链接](URL)  \n研究人员开发了一种改进版的 Transformer 结构,相比传统模型,在文本分类和摘要生成方面提升了20%的准确率……  \n\n📌 2. OpenAI 发布 GPT-5,参数量达 2 万亿  \n🔗 [原文链接](URL)  \n最新的 GPT-5 具备更强的推理能力,能够更自然地处理多轮对话,并支持实时检索……  \n\n请确保最终输出内容清晰、美观,方便读者快速获取关键信息。",
        "options": {}
      },
      "type": "@n8n/n8n-nodes-langchain.agent",
      "typeVersion": 1.8,
      "position": [
        920,
        160
      ],
      "id": "23803d72-59d0-49cf-95ec-0c30d95399a6",
      "name": "AI Agent"
    },
    {
      "parameters": {
        "options": {}
      },
      "type": "@n8n/n8n-nodes-langchain.lmChatDeepSeek",
      "typeVersion": 1,
      "position": [
        1008,
        380
      ],
      "id": "d9ff4649-191a-45a8-bf4e-baf69fa898db",
      "name": "DeepSeek Chat Model",
      "credentials": {
        "deepSeekApi": {
          "id": "Y4REOtumtFdGlUkP",
          "name": "DeepSeek account"
        }
      }
    },
    {
      "parameters": {
        "operation": "sendAndWait",
        "chatId": "7567310818",
        "message": "={{ $json.output }}",
        "options": {}
      },
      "type": "n8n-nodes-base.telegram",
      "typeVersion": 1.2,
      "position": [
        1296,
        160
      ],
      "id": "38c36ed3-695d-4fcc-8ae0-bcada6ba8f86",
      "name": "Telegram",
      "webhookId": "ddd23680-86bd-4cab-954b-5c3d867b3a10",
      "credentials": {
        "telegramApi": {
          "id": "ZqixfDPoQmD8deBe",
          "name": "Telegram account"
        }
      }
    },
    {
      "parameters": {
        "method": "POST",
        "url": "https://api.brightdata.com/datasets/v3/trigger",
        "sendQuery": true,
        "queryParameters": {
          "parameters": [
            {
              "name": "dataset_id",
              "value": "gd_lnsxoxzi1omrwnka5r"
            },
            {
              "name": "include_errors",
              "value": "true"
            },
            {
              "name": "include_errors",
              "value": "true"
            },
            {
              "name": "discover_by",
              "value": "url_collection"
            }
          ]
        },
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [
            {
              "name": "Authorization",
              "value": "Bearer 6f1d4a7c-0bc9-4dcb-877e-fd99795bb49d"
            }
          ]
        },
        "sendBody": true,
        "specifyBody": "json",
        "jsonBody": "[\n  {\n    \"url\": \"https://news.google.com/\",\n    \"keyword\": \"Joe Biden\",\n    \"country\": \"US\",\n    \"language\": \"\"\n  },\n  {\n    \"url\": \"https://news.google.com/\",\n    \"keyword\": \"Politics news\",\n    \"country\": \"FR\",\n    \"language\": \"\"\n  },\n  {\n    \"url\": \"https://news.google.com/\",\n    \"keyword\": \"Premier league\",\n    \"country\": \"GB\",\n    \"language\": \"\"\n  }\n]",
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.2,
      "position": [
        -180,
        360
      ],
      "id": "561fa8d0-17d9-4863-b1c2-d35208211c43",
      "name": "HTTP Request6"
    },
    {
      "parameters": {
        "url": "=https://api.brightdata.com/datasets/v3/snapshot/s_mc4jpq342klm6j5try",
        "sendQuery": true,
        "queryParameters": {
          "parameters": [
            {
              "name": "format",
              "value": "json"
            }
          ]
        },
        "sendHeaders": true,
        "headerParameters": {
          "parameters": [
            {
              "name": "Authorization",
              "value": "Bearer 6f1d4a7c-0bc9-4dcb-877e-fd99795bb49d"
            }
          ]
        },
        "options": {}
      },
      "type": "n8n-nodes-base.httpRequest",
      "typeVersion": 4.2,
      "position": [
        260,
        360
      ],
      "id": "394df8b6-5dae-49ec-8e15-3b11e67381e2",
      "name": "HTTP Request7"
    },
    {
      "parameters": {
        "assignments": {
          "assignments": [
            {
              "id": "52ae363a-d067-4ff6-b639-8e7f7e1ab523",
              "name": "articles",
              "value": "={{ $json.title }},{{ $json.url }}",
              "type": "string"
            }
          ]
        },
        "options": {}
      },
      "type": "n8n-nodes-base.set",
      "typeVersion": 3.4,
      "position": [
        700,
        360
      ],
      "id": "4879835b-07ee-436d-b7b9-55b56e9a5d98",
      "name": "Edit Fields2"
    },
    {
      "parameters": {
        "amount": 2,
        "unit": "minutes"
      },
      "type": "n8n-nodes-base.wait",
      "typeVersion": 1.1,
      "position": [
        40,
        360
      ],
      "id": "13de8701-c4bc-4353-a8b0-804cd2a98d5a",
      "name": "Wait",
      "webhookId": "ea5ef906-9755-4aec-b595-672dc7bd34e9"
    },
    {
      "parameters": {
        "maxItems": 10
      },
      "type": "n8n-nodes-base.limit",
      "typeVersion": 1,
      "position": [
        480,
        360
      ],
      "id": "d5d17a7f-de2b-47c2-8e8a-6b7f431ea6ce",
      "name": "Limit"
    },
    {
      "parameters": {
        "amount": 2,
        "unit": "minutes"
      },
      "type": "n8n-nodes-base.wait",
      "typeVersion": 1.1,
      "position": [
        480,
        60
      ],
      "id": "91aaf83b-96d1-4e6b-b3c8-23bbe9712704",
      "name": "Wait1",
      "webhookId": "6f134cd4-359b-417a-88db-99dc7ae1b904"
    }
  ],
  "pinData": {},
  "connections": {
    "Schedule Trigger": {
      "main": [
        [
          {
            "node": "HTTP Request1",
            "type": "main",
            "index": 0
          },
          {
            "node": "HTTP Request",
            "type": "main",
            "index": 0
          },
          {
            "node": "HTTP Request6",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "HTTP Request1": {
      "main": [
        [
          {
            "node": "Edit Fields1",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "HTTP Request": {
      "main": [
        [
          {
            "node": "Edit Fields",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Edit Fields": {
      "main": [
        [
          {
            "node": "Merge",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Edit Fields1": {
      "main": [
        [
          {
            "node": "Merge",
            "type": "main",
            "index": 1
          }
        ]
      ]
    },
    "Merge": {
      "main": [
        [
          {
            "node": "Wait1",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "AI Agent": {
      "main": [
        [
          {
            "node": "Telegram",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "DeepSeek Chat Model": {
      "ai_languageModel": [
        [
          {
            "node": "AI Agent",
            "type": "ai_languageModel",
            "index": 0
          }
        ]
      ]
    },
    "HTTP Request6": {
      "main": [
        [
          {
            "node": "Wait",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "HTTP Request7": {
      "main": [
        [
          {
            "node": "Limit",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Edit Fields2": {
      "main": [
        [
          {
            "node": "AI Agent",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Wait": {
      "main": [
        [
          {
            "node": "HTTP Request7",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Limit": {
      "main": [
        [
          {
            "node": "Edit Fields2",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Wait1": {
      "main": [
        [
          {
            "node": "AI Agent",
            "type": "main",
            "index": 0
          }
        ]
      ]
    },
    "Telegram": {
      "main": [
        []
      ]
    }
  },
  "active": false,
  "settings": {
    "executionOrder": "v1"
  },
  "versionId": "80c91a59-d290-44e9-a8ec-fa2e781029df",
  "meta": {
    "templateCredsSetupCompleted": true,
    "instanceId": "9367a11773c5cfc37836c75836cfded1db6a422047e2133201178ce0af2ee962"
  },
  "id": "RghurEYefIRZ3h8A",
  "tags": []
}

总结

Bright Data MCP 通过"技术封装 + 流程自动化 + 合规托管"三重能力,不需要开发者搭建爬虫架构与处理反爬、动态解析等技术难题,搭配 N8N 可视化工作流实现从多源新闻数据采集、合并到 AI 摘要生成全流程自动化,帮助开发者大幅降低数据处理成本,将精力聚焦于 AI 模型优化与业务创新,加速智能体开发落地。如果大家想要和我一样自主搭建工作流智能体学习,或者企业工作流智能体落地,可以注册Bright Data 亮数据和我一起搭建学习与项目落地!


网站公告

今日签到

点亮在社区的每一天
去签到