【转载】高效能,大数据量存储方案SqlBulkCopy
?? ? ? 前些日子,公司要求做一個數(shù)據(jù)導入程序,要求將Excel數(shù)據(jù),大批量的導入到數(shù)據(jù)庫中,盡量少的訪問數(shù)據(jù)庫,高性能的對數(shù)據(jù)庫進行存儲。于是在網(wǎng)上進行查找,發(fā)現(xiàn)了一個比較好的解決方案,就是采用SqlBulkCopy來處理存儲數(shù)據(jù)。SqlBulkCopy存儲大批量的數(shù)據(jù)非常的高效,就像這個方法的名字一樣,可以將內(nèi)存中的數(shù)據(jù)表直接的一次性的存儲到數(shù)據(jù)庫中,而不需要一次一次的向數(shù)據(jù)庫Insert數(shù)據(jù)。初次實驗,百萬級別的數(shù)據(jù)表,也只需幾秒時間內(nèi)就可以完全的存入數(shù)據(jù)庫中,其速度,比傳統(tǒng)的Insert方法不止快很多倍。下面,我將用代碼,介紹其用法。
???
///?<summary>????????///?LaborReport?Data?Import?To?Database
????????///?</summary>
????????///?<param?name="laborReport">laborReport?data?table</param>
????????///?<param?name="laborReportDetail">laborReportDetail?data?table</param>
????????public?void?LaborReportInsert(DataTable?laborReport,?DataTable?laborReportDetail)
????????{
????????????using?(SqlConnection?conn?=?new?SqlConnection(this.Connection))
????????????{
????????????????if?(conn.State?!=?ConnectionState.Open)
????????????????????conn.Open();????????????
????????????????using?(SqlBulkCopy?sqlBCLaborReport?=?new?SqlBulkCopy(conn))
????????????????{
????????????????????sqlBCLaborReport.BatchSize?=?laborReport.Rows.Count;
????????????????????sqlBCLaborReport.BulkCopyTimeout?=?60;
????????????????????sqlBCLaborReport.DestinationTableName?=?"LaborReport";
????????????????????sqlBCLaborReport.WriteToServer(laborReport);
????????????????}
????????????????using?(SqlBulkCopy?sqlBCLaborReportDetails?=?new?SqlBulkCopy(conn))
????????????????{
????????????????????sqlBCLaborReportDetails.BatchSize?=?laborReportDetail.Rows.Count;
????????????????????sqlBCLaborReportDetails.BulkCopyTimeout?=?60;
????????????????????sqlBCLaborReportDetails.DestinationTableName?=?"LaborReportDetails";
????????????????????sqlBCLaborReportDetails.WriteToServer(laborReportDetail);
????????????????}
????????????????if?(conn.State?!=?ConnectionState.Closed)
????????????????????conn.Close();
????????????}
????????}
?
?? ? ?上邊的示例代碼,將內(nèi)存中的兩個DataTable 數(shù)據(jù)一次性的存入數(shù)據(jù)庫中,只要內(nèi)存中的數(shù)據(jù)表格的結構跟數(shù)據(jù)庫中的表格結構一樣,就可以了,如果數(shù)據(jù)庫中包含自增列字段,我們可以不需要在內(nèi)存表中定義,當數(shù)據(jù)保存到數(shù)據(jù)庫中的時候,自增列會自動生成數(shù)據(jù)的。
轉載于:https://www.cnblogs.com/fx2008/archive/2011/12/08/2280210.html
總結
以上是生活随笔為你收集整理的【转载】高效能,大数据量存储方案SqlBulkCopy的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: exe是什么文件
- 下一篇: 国家有线网挂牌时间再度推迟 预计为201