Azure-ADF 抽取数据

1,Azure 访问地址

1，国际版

https://portal.azure.com/#homehttps://portal.azure.com/#home2，世纪互联中国版

Microsoft Azure 由世纪互联运营https://portal.azure.cn/2,创建资源组并且所有的后续组件都是再此资源下面创建。

3，创建Data Factory 工具

4,核心组件

1. 管道(Pipeline)

• 功能：逻辑工作流容器

• 特点：

  • 由多个活动组成

  • 支持参数化

  • 可调度执行

• 典型使用：定义完整的数据处理流程

2. 活动(Activity)

• 功能：管道中的单个处理步骤

• 类型：

  • 数据移动(如Copy)

  • 数据转换(如Data Flow)

  • 控制流(如If Condition)

• 示例：从Blob复制数据到SQL DB

3. 数据集(Dataset)

• 功能：输入/输出数据的结构定义

• 特点：

  • 指向具体数据存储

  • 定义数据格式

  • 支持分区定义

• 示例：定义Azure SQL表的结构

4. 链接服务(Linked Service)

• 功能：连接外部资源的定义

• 特点：

  • 包含连接信息

  • 支持多种认证方式

  • 可重用

• 示例：连接到Azure SQL Database的服务

5. 集成运行时(Integration Runtime)

• 功能：执行环境基础设施

• 类型：

  • Azure IR(完全托管)

  • 自托管IR(本地/混合云)

  • Azure-SSIS IR(运行SSIS包)

• 选择依据：网络环境与性能需求

6. 触发器(Trigger)

• 功能：管道执行调度机制

• 类型：

  • 计划触发器(定时)

  • 事件触发器(如Blob上传)

  • 手动触发器

• 示例：每天凌晨1点触发数据加载

5，抽取Demo 

1）创建元数据表以及需要抽取的2个表。

CREATE TABLE [META].[META_SOURCE_OBJECTS]
(
    [SYSTEM_NAME] [nvarchar](100) NULL,--source_system_name  指定系统EBS系统
    [DATABASE_NAME] [nvarchar](100) NULL,--source_DB_NAME  指定数据库APPS DB
    [SCHEMA_NAME] [nvarchar](100) NULL,--Synapse-schema_name  指定架构ODS
    [OBJECT_NAME] [nvarchar](255) NULL,--Synapse-Object_name      指定表名Customer
    [INGEST_PATTERN] [nvarchar](50) NULL,--Full,Increment,Special    指定抽取模式 increment
    [TRIGGER_TIME] [nvarchar](100) NULL,--0100 start-time at 01:00 AM  指定抽取开始时间
    [ACTIVITY_CONFIG] [nvarchar](4000) NULL,--{"field_name":"CREATED_DATE_TIME"} 指定增量字段
    [ENABLED] [bit] NOT NULL,-- enabled_status Y是启动,N是不启动
    [USER_DEFINE_CONFIG] [nvarchar](4000) NULL,--{"target_name":"EKKO"}--用户自定义例如表，或者需要指定抽取的时间 getdate()-30
    [CREATE_TIME] [datetime] NULL  --指定创建时间
)

 DECLARE @DynamicQuery NVARCHAR(MAX);
SELECT @DynamicQuery = STRING_AGG(
    CONCAT('SELECT ',
    '''', SYSTEM_NAME, ''' AS SYSTEM_NAME, ',
    '''', DATABASE_NAME, ''' AS DATABASE_NAME, ',
    '''', SCHEMA_NAME, ''' AS SCHEMA_NAME, &#