1.简单介绍
Microsoft Fabric也可以使用On-Premiums data gateway从本地的数据源同步数据。On-Premiums data gateway既可以用于Power Automate, Power BI，现在也可以用于Microsoft Fabric中。这个feature在2024年9月general available了。感觉Microsoft Fabric的feature更新很快，同时Copilot在微软的很多产品中(包括Microsoft Fabric)集成速度也特别快。
这边尝试一下使用On Premiums Data Gateway从本地SQL Server数据库同步数据到Microsoft Fabric的Lakehouse中，以Copy Job的形式来运行的。
2.具体说明
假定本地SQL Server数据库中有2024年的巴黎奥运会的数据，如下图
现在要将这份数据从本地同步到Microsoft Fabric中
2.1 安装Data Gateway
On-Premiums Data Gateway的安装文件可以从这个地址进行下载的
如果C盘的剩余空间小于4G，安装会失败的
1）点击安装文件，开始安装
2）设置安装的路径，然后点击Install
3) 输入一个Microsoft 的工作和学校帐户，然后点击Sign In进行身份认证
4）可以选择第一个选项 Register a new gateway on this computer进行Data Gateway的创建
5）设置Data Gateway的名字以及Recovery key，然后点击Configure
6) 最后如果出现如下的窗口，表示安装成功了
2.2 配置Data Gateway的连接
在Microsoft Fabric中创建一个Data Gageway connection，这样所有的workspace中的Dataflow, Data Pipeline, Azure Data Factory等可以共用一个connection
1) 点击Microsoft Fabric右上角的齿轮图标
2) 点击弹出的右侧面板中的 Manage connections and gateways 链接
2) 导航到如下界面中创建一个connection
这边在进入到下面的界面时候，发现已经有一个connection在那里了，可能前面的步骤会自动初始化一个Data Gateway connection
2.3 创建Copy Job(Full Copy)
这边打算创建两个Copy Job，第一个是全量数据同步的Copy Job，第二个是增量同步的Copy Job
在Microsoft Fabric中点击New Item，
2) 点击 Copy job选项
3）配置Copy job的名字
4）输入本地SQL Server数据库的具体的connection信息，比如servername, database name, 帐户和密码等信息，如下图所示。最后点击Next按钮
5）选择要同步的源数据table
6) 配置同步数据的目标Lakehouse
点击Lakehouse选项，会弹出New lakehouse窗口，然后输入一下lakehouse的名字，最后点击Create and connect
7) 配置源数据table和目标的mapping
8) 数据同步设定为Full Copy
9) 最后点击Review界面中的Save+Run按钮，如下图
10）在Copy Job的运行界面中，这边等待80秒，可以看到数据同步完成了
11）打开目标Lakehouse，数据确实已经同步对应的table中了
2.4 创建Copy Job(Incremental)
现在打算修改以下源数据table的奥运会数据，比如改一下如下的数值
要实现增量的数据同步，这边再创建一个增量同步的Copy Job，
1) 点击Copy job选项，如下图
2) 配置New copy job的名字，然后点击Create按钮
3）配置本地SQL SERVER数据库的连接
4) 还是选择和全量同步Copy Job一样的源数据table，如下图
5）选择和全量Copy Job一样的目标lakehouse
6) 数据同步的方式这次选择Incremental copy，然后Incremental column选择No
7) 在Review界面中可以配置Copy job的Schedule的信息，如下图。
8）配置好schedule后，点击右下角的Save+Run按钮进行运行
9）在Copy Job运行界面中，这边等待了52秒，Incremental copy运行成功，
10) 最后检查数据，发现目标lakehouse种特定的数值也进行了更新了，
3.总结
本文记录了一下Microsoft Fabric配置On-Premuims Data Gateway从本地的SQL Server中同步数据到目标lakehouse的过程，具体的细节比较多一些。当前Microsoft Fabric的功能越来越强大，新特性的更新频率非常快，知识体量很大的，后续还需继续跟着微软的老师们学习一下。
本文如果哪里有错误，麻烦告之，谢谢谢谢！