大文本數據，導入到數據庫

240w的數據，利用plsql的文本導入器，導了一個半小時，且數據出現缺失。

兩種方式導入到數據庫

一，使用sql load

創建表

create table ext_gv_tmp_amazon_sku

(

skucode varchar2(255 char),

eancode varchar2(255 char)

)

配置控制文件

more? input.ctl

load data

infile input.txt

badfile? t.bad

discardfile t.dsc

append into table ext_gv_tmp_amazon_sku? ?----導入的表

fields terminated by "|"? ? ?---分割符

trailing nullcols? ? ? ---允許列有空值

(skucode,eancode)? ? ? ---導入的字段

導入命令

先設置導入客戶端字符集，不然中文會亂碼

export NLS_LANG=AMERICAN_AMERICA.UTF8

同時看看系統的字符集是否設置正確

[oracle@rac-test1 pandump]$ cat /etc/sysconfig/i18n

LANG="en_US.UTF-8"

SYSFONT="latarcyrheb-sun16"

最后導入數據

[oracle@rac-test1 pandump]$ sqlldr panhf/oracle control=input.ctl

SQL> select count(*) from ext_gv_tmp_amazon_sku;

COUNT(*)

----------

2409530

二，使用外部表

利用外部表的方式來導入數據

1，創建oracle目錄，并授權給相關賬號

CREATE OR REPLACE DIRECTORY pandump

AS '/oradata/pandump';

grant read,write on DIRECTORY pandump to panhf;

2，創建外部表，注意這里的字符集設置，如果不設置中文會無法讀取導致數據丟失

create table ext_gv_tmp_amazon_sku

(

skucode varchar2(255 char),

eancode varchar2(255 char)

)

organization external (

type oracle_loader

default directory pandump

access parameters

(

records delimited by newline

logfile pandump:'ext_gv_tmp_amazon_sku.log'

badfile pandump:'ext_gv_tmp_amazon_sku.bad'

discardfile pandump:'ext_gv_tmp_amazon_sku.disc'

characterset 'AL32UTF8'

fields terminated by "|" lrtrim

missing field values are null

(

skucode,

eancode

)

)

location ('ext_ids_1.txt')

)

reject limit unlimited

/

3，將數據cts的方式拷貝到另外的表

select count(*) from ext_gv_tmp_amazon_sku;

COUNT(*)

----------

2409530

create table panhf.ext_gv_tmp_amazon_sku as select * from ext_gv_tmp_amazon_sku;

Table created.

三，數據導出文本

cat? exp.sql

set echo off

set feedback off

set newpage none

set verify off

set pagesize 0

set term off

set trims on

set linesize 600

set heading off

set timing off

set numwidth 40

spool /home/oracle/empInfor.txt

select? skucode||'|'||eancode? from panhf.ext_gv_tmp_amazon_sku;

spool off

執行腳本

@exp.sql

總結

以上是生活随笔為你收集整理的大文本导入mysql_大文本数据，导入导出到数据库的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。