博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
[转]不同版本的SQL Server之间数据导出导入的方法及性能比较
阅读量:5879 次
发布时间:2019-06-19

本文共 4486 字,大约阅读时间需要 14 分钟。

工作中有段时间常常涉及到不同版本的数据库间导出导入数据的问题,索性整理一下,并简单比较下性能,有所遗漏的方法也欢迎讨论、补充。

00.建立测试环境

01.使用SQL Server Import and Export Tool

02.使用Generate Scripts

03.使用BCP

04.使用SqlBulkCopy

05.使用Linked Server进行数据迁移

06.使用RedGate的SQL Data Compare

07.结果对比

可以先看下测试的结果

 

 

 

00.建立测试环境

建立一个测试的环境,一个数据源数据库,版本为SQL Server 2008,一个目标数据库,版本为SQL Server 2000。

实验环境如下图所示,源数据库使用语句生成了100万的测试数据。

 

建立测试表并生成100万的测试数据
IF OBJECT_ID('DEMOTABLE') IS NOT NULL       DROP TABLE DEMOTABLE  GO  CREATE TABLE DEMOTABLE      (        COL1 VARCHAR(50) ,        COL2 VARCHAR(50) ,        COL3 VARCHAR(50)      )  INSERT  INTO DEMOTABLE         SELECT TOP 1000000                 NEWID() ,                 NEWID() ,                 NEWID()         FROM    MASTER..SPT_VALUES T1                 INNER JOIN MASTER..SPT_VALUES T2 ON 1 = 1                 INNER JOIN MASTER..SPT_VALUES T3 ON 1 = 1

 

 01.使用SQL Server Import and Export Tool

使用SQL Server Import and Export Tool进行数据的导出,也可以在目标数据库端使用Import进行导入,这部分套件也是SSIS的一部分。

在源数据库上右键,选择Task -> Export Data

分别填写源数据库和目标数据库的连接信息。

 

 

选择“copy data from one or more tables or views”

选择需要导数据的表,并且可以编辑列的Mapping关系。

可以选择立即执行或者存储为SSIS的包,用于执行计划等其他用途。

这里我们选择立即执行。

注意导入的时候如果遇到如下的错误

Error 0xc02020f4: Data Flow Task: The column "Tel" cannot be processed because more than one code page (936 and 1252) are specified for it.

(SQL Server Import and Export Wizard)

是因为两边的数据库的Collation设置不一样造成的,需要设置同样的Collation。

  • 用时约1分30秒

02.使用Generate Scripts生成脚本

在源数据库上右键,选择Task -> Geneate Scripts...

配置相关信息,注意选择数据库的版本并将Script Data设置成True。

这里需要注意,因为有100万的数据,所以导出的SQL文件就有400多M,所以用SQL Server Management Studio是打不开的。

所以只能使用sqlcmd执行。

sqlcmd语句
 
C:\>sqlcmd -i export.sql -d ExportDataDemo_Destination -s 192.168.21.165 -U sa -P 1234567890

用时约28分钟

 

 03.使用BCP进行导出导入

在尝试了前面两个效率低下的工具之后,我们终于开始尝试下SQL Server中专门用于导数据的工具:BCP。

关于BCP的详细用法可以参见。

我们先使用BCP导出数据。

-U和-P后面分别为数据库的用户名和密码。

我们可以看到100万的数据导出仅用了1.8秒。

现在我们再使用BCP进行导入。

执行后发现,导入数据使用了20.8秒,还是很快的。

  • 用时1.872秒+20.810秒=22.682秒
  •  

 04.使用SqlBulkCopy

.NET Framework 2.0中增加的可以进行高效的数据迁移动作,这也为代码实现数据迁移提供了接口。

并且SqlBulkCopy类提供了修改字段Mapping关系的方法。

 使用SqlBulkCopy类进行数据迁移
using System;  using System.Data;  using System.Data.SqlClient;    namespace BulkInsert  {      static class Program      {          static void Main()         {             DateTime dateTimeStart = DateTime.Now;             Console.WriteLine("Start Insert:" + dateTimeStart.ToString("HH:mm:ss fff"));             //导入导出的数据库连接             SqlConnection connectionDestination = new SqlConnection("Server =.; User ID=datascan; Password=DTSbsd7188228; Initial CataLog=ExportDataDemo_Destination;");             SqlConnection connectionSource = new SqlConnection("Server =.; User ID=datascan; Password=DTSbsd7188228; Initial CataLog=ExportDataDemo_Source;");              //实例化一个SqlBulkCopy             var bulker = new SqlBulkCopy(connectionDestination) { DestinationTableName = "DEMOTABLE", BulkCopyTimeout = 600 };              //获取源数据库的数据             SqlCommand sqlcmd = new SqlCommand("SELECT * FROM DEMOTABLE", connectionSource);             SqlDataAdapter sqlDataAdapter = new SqlDataAdapter(sqlcmd);             DataTable dataTableSource = new DataTable();             sqlDataAdapter.Fill(dataTableSource);              //可以重新定义字段的Mapping关系             //SqlBulkCopyColumnMapping sqlBulkCopyColumnMapping = new SqlBulkCopyColumnMapping("COL1", "NEW_COL1");             //bulker.ColumnMappings.Add(sqlBulkCopyColumnMapping);             connectionDestination.Open();             bulker.WriteToServer(dataTableSource);             bulker.Close();             DateTime dateTimeEnd = DateTime.Now;             Console.WriteLine("Insert Ending:" + dateTimeEnd.ToString("HH:mm:ss fff"));         }     } }

执行后

  • 用时14.8秒

 

05.使用Linked Server进行数据迁移

先在源数据库上对目标数据库建立Linked Server,或者反过来也行。 

建立Linked Server
EXEC sp_addlinkedserver @server = 'LinkedServerToDemo',     @srvproduct = 'Export Data Testing', @provider = 'MSDASQL',     @provstr = 'DRIVER={SQL Server};SERVER=192.168.21.165;UID=sa;PWD=password;'
是用INSERT INTO...SELECT...进行导入
DECLARE @begin_date DATETIME  DECLARE @end_date DATETIME  SELECT  @begin_date = GETDATE()    INSERT  INTO LinkedServerToDemo.ExportDataDemo_Destination.dbo.DEMOTABLE          SELECT  *          FROM    ExportDataDemo_Source.dbo.DEMOTABLE            SELECT  @end_date = GETDATE() SELECT  DATEDIFF(ms, @begin_date, @end_date) AS '用时/毫秒'

执行用时

  • 用时7.97分钟

 

06.使用RedGate的SQL Data Compare进行数据迁移

第三方的工具,有数据库结构比较的工具SQL Compare和数据比较工具SQL Data Compare。

执行

因为也是生成INSERT的SQL执行的,所以就不做过多比较了,上面已经测试过了。

 

 

07.结果对比

因为这里测试的环境有网络和表结构的特殊情况,不能说明所有情况下效能的差异,但是也可作为参考之用。

下面给出比较结果。

 

转载地址:http://jqdix.baihongyu.com/

你可能感兴趣的文章
关于django一个请求的生命周期
查看>>
Supervisor-容器中启动多个程序
查看>>
CSS颜色代码大全
查看>>
mybatis数据处理的几种方式
查看>>
QStandardItem and QStandardItemModel Class Reference
查看>>
我的友情链接
查看>>
使用Nginx搭建WEB服务器
查看>>
【oracle唯一主键SYS_GUID()】
查看>>
作业2
查看>>
raid技术-研究感受
查看>>
远程主机探测技术FAQ集 - 扫描篇
查看>>
C++中调用python函数
查看>>
Nomad添加acl认证
查看>>
“TI门外汉”网路知识笔记一 OSI参考模型
查看>>
你不需要jQuery(五)
查看>>
DatanodeDescriptor说明
查看>>
ServlertContext
查看>>
eclipse编辑器生命周期事件监听
查看>>
Python WOL/WakeOnLan/网络唤醒数据包发送工具
查看>>
sizeof(long)
查看>>