詳細(xì)講解Oracle SQL*Loader的使用方法
SQL*Loader是Oracle數(shù)據(jù)庫(kù)導(dǎo)入外部數(shù)據(jù)的一個(gè)工具.它和DB2的Load工具相似,但有更多的選擇,它支持變化的加載模式,可選的加載及多表加載.
如何使用 SQL*Loader 工具
我們可以用Oracle的sqlldr工具來(lái)導(dǎo)入數(shù)據(jù)。例如:
sqlldr scott/tiger control=loader.ctl
控制文件(loader.ctl) 將加載一個(gè)外部數(shù)據(jù)文件(含分隔符). loader.ctl如下:
load data
infile 'c:datamydata.csv'
into table emp
fields terminated by ',' optionally enclosed by '''
( empno, empname, sal, deptno )
mydata.csv 如下:
10001,'Scott Tiger', 1000, 40
10002,'Frank Naude', 500, 20
下面是一個(gè)指定記錄長(zhǎng)度的示例控制文件。'*' 代表數(shù)據(jù)文件與此文件同名,即在后面使用BEGINDATA段來(lái)標(biāo)識(shí)數(shù)據(jù)。
load data
infile *
replace
into table departments
( dept position (02:05) char(4),
deptname position (08:27) char(20)
)
begindata
COSC COMPUTER SCIENCE
ENGL ENGLISH LITERATURE
MATH MATHEMATICS
POLY POLITICAL SCIENCE
Unloader這樣的工具
Oracle 沒(méi)有提供將數(shù)據(jù)導(dǎo)出到一個(gè)文件的工具。但是,我們可以用SQL*Plus的select 及 format 數(shù)據(jù)來(lái)輸出到一個(gè)文件:
set echo off newpage 0 space 0 pagesize 0 feed off head off trimspool on
spool oradata.txt
select col1 || ',' || col2 || ',' || col3
from tab1
where col2 = 'XYZ';
spool off
另外,也可以使用使用 UTL_FILE PL/SQL 包處理:
rem Remember to update initSID.ora, utl_file_dir='c:oradata' parameter
declare
fp utl_file.file_type;
begin
fp := utl_file.fopen('c:oradata','tab1.txt','w');
utl_file.putf(fp, '%s, %sn', 'TextField', 55);
utl_file.fclose(fp);
end;
/
當(dāng)然你也可以使用第三方工具,如SQLWays ,TOAD for Quest等。
加載可變長(zhǎng)度或指定長(zhǎng)度的記錄
如:
LOAD DATA
INFILE *
INTO TABLE load_delimited_data
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '''
TRAILING NULLCOLS
( data1,
data2
)
BEGINDATA
11111,AAAAAAAAAA
22222,'A,B,C,D,'
下面是導(dǎo)入固定位置(固定長(zhǎng)度)數(shù)據(jù)示例:
LOAD DATA
INFILE *
INTO TABLE load_positional_data
( data1 POSITION(1:5),
data2 POSITION(6:15)
)
BEGINDATA
11111AAAAAAAAAA
22222BBBBBBBBBB
跳過(guò)數(shù)據(jù)行:
可以用 'SKIP n' 關(guān)鍵字來(lái)指定導(dǎo)入時(shí)可以跳過(guò)多少行數(shù)據(jù)。如:
LOAD DATA
INFILE *
INTO TABLE load_positional_data
SKIP 5
( data1 POSITION(1:5),
data2 POSITION(6:15)
)
BEGINDATA
11111AAAAAAAAAA
22222BBBBBBBBBB
導(dǎo)入數(shù)據(jù)時(shí)修改數(shù)據(jù):
在導(dǎo)入數(shù)據(jù)到數(shù)據(jù)庫(kù)時(shí),可以修改數(shù)據(jù)。注意,這僅適合于常規(guī)導(dǎo)入,并不適合 direct導(dǎo)入方式.如:
LOAD DATA
INFILE *
INTO TABLE modified_data
( rec_no 'my_db_sequence.nextval',
region CONSTANT '31',
time_loaded 'to_char(SYSDATE, 'HH24:MI')',
data1 POSITION(1:5) ':data1/100',
data2 POSITION(6:15) 'upper(:data2)',
data3 POSITION(16:22)'to_date(:data3, 'YYMMDD')'
)
BEGINDATA
11111AAAAAAAAAA991201
22222BBBBBBBBBB990112
LOAD DATA
INFILE 'mail_orders.txt'
BADFILE 'bad_orders.txt'
APPEND
INTO TABLE mailing_list
FIELDS TERMINATED BY ','
( addr,
city,
state,
zipcode,
mailing_addr 'decode(:mailing_addr, null, :addr, :mailing_addr)',
mailing_city 'decode(:mailing_city, null, :city, :mailing_city)',
mailing_state
)
將數(shù)據(jù)導(dǎo)入多個(gè)表:
如:
LOAD DATA
INFILE *
REPLACE
INTO TABLE emp
WHEN empno != ' '
( empno POSITION(1:4) INTEGER EXTERNAL,
ename POSITION(6:15) CHAR,
deptno POSITION(17:18) CHAR,
mgr POSITION(20:23) INTEGER EXTERNAL
)
INTO TABLE proj
WHEN projno != ' '
( projno POSITION(25:27) INTEGER EXTERNAL,
empno POSITION(1:4) INTEGER EXTERNAL
)
導(dǎo)入選定的記錄:
如下例: (01) 代表第一個(gè)字符, (30:37) 代表30到37之間的字符:
LOAD DATA
INFILE 'mydata.dat' BADFILE 'mydata.bad' DISCARDFILE 'mydata.dis'
APPEND
INTO TABLE my_selective_table
WHEN (01) <> 'H' and (01) <> 'T' and (30:37) = '19991217'
(
region CONSTANT '31',
service_key POSITION(01:11) INTEGER EXTERNAL,
call_b_no POSITION(12:29) CHAR
)
導(dǎo)入時(shí)跳過(guò)某些字段:
可用 POSTION(x:y) 來(lái)分隔數(shù)據(jù). 在Oracle8i中可以通過(guò)指定 FILLER 字段實(shí)現(xiàn)。FILLER 字段用來(lái)跳過(guò)、忽略導(dǎo)入數(shù)據(jù)文件中的字段.如:
LOAD DATA
TRUNCATE INTO TABLE T1
FIELDS TERMINATED BY ','
( field1,
field2 FILLER,
field3
)
導(dǎo)入多行記錄:
可以使用下面兩個(gè)選項(xiàng)之一來(lái)實(shí)現(xiàn)將多行數(shù)據(jù)導(dǎo)入為一個(gè)記錄:
CONCATENATE: - use when SQL*Loader should combine the same number of physical records together to form one logical record.
CONTINUEIF - use if a condition indicates that multiple records should be treated as one. Eg. by having a '#' character in column 1.
SQL*Loader 數(shù)據(jù)的提交:
一般情況下是在導(dǎo)入數(shù)據(jù)文件數(shù)據(jù)后提交的。
也可以通過(guò)指定 ROWS= 參數(shù)來(lái)指定每次提交記錄數(shù)。
提高 SQL*Loader 的性能:
1) 一個(gè)簡(jiǎn)單而容易忽略的問(wèn)題是,沒(méi)有對(duì)導(dǎo)入的表使用任何索引和/或約束(主鍵)。如果這樣做,甚至在使用ROWS=參數(shù)時(shí),會(huì)很明顯降低數(shù)據(jù)庫(kù)導(dǎo)入性能。
2) 可以添加 DIRECT=TRUE來(lái)提高導(dǎo)入數(shù)據(jù)的性能。當(dāng)然,在很多情況下,不能使用此參數(shù)。
3) 通過(guò)指定 UNRECOVERABLE選項(xiàng),可以關(guān)閉數(shù)據(jù)庫(kù)的日志。這個(gè)選項(xiàng)只能和 direct 一起使用。
4) 可以同時(shí)運(yùn)行多個(gè)導(dǎo)入任務(wù).
常規(guī)導(dǎo)入與direct導(dǎo)入方式的區(qū)別:
常規(guī)導(dǎo)入可以通過(guò)使用 INSERT語(yǔ)句來(lái)導(dǎo)入數(shù)據(jù)。Direct導(dǎo)入可以跳過(guò)數(shù)據(jù)庫(kù)的相關(guān)邏輯(DIRECT=TRUE),而直接將數(shù)據(jù)導(dǎo)入到數(shù)據(jù)文件中。
導(dǎo)入數(shù)據(jù)時(shí)修改數(shù)據(jù):
在導(dǎo)入數(shù)據(jù)到數(shù)據(jù)庫(kù)時(shí),可以修改數(shù)據(jù)。注意,這僅適合于常規(guī)導(dǎo)入,并不適合 direct導(dǎo)入方式.如:
LOAD DATA
INFILE *
INTO TABLE modified_data
( rec_no 'my_db_sequence.nextval',
region CONSTANT '31',
time_loaded 'to_char(SYSDATE, 'HH24:MI')',
data1 POSITION(1:5) ':data1/100',
data2 POSITION(6:15) 'upper(:data2)',
data3 POSITION(16:22)'to_date(:data3, 'YYMMDD')'
)
BEGINDATA
11111AAAAAAAAAA991201
22222BBBBBBBBBB990112
LOAD DATA
INFILE 'mail_orders.txt'
BADFILE 'bad_orders.txt'
APPEND
INTO TABLE mailing_list
FIELDS TERMINATED BY ','
( addr,
city,
state,
zipcode,
mailing_addr 'decode(:mailing_addr, null, :addr, :mailing_addr)',
mailing_city 'decode(:mailing_city, null, :city, :mailing_city)',
mailing_state
)
將數(shù)據(jù)導(dǎo)入多個(gè)表:
如:
LOAD DATA
INFILE *
REPLACE
INTO TABLE emp
WHEN empno != ' '
( empno POSITION(1:4) INTEGER EXTERNAL,
ename POSITION(6:15) CHAR,
deptno POSITION(17:18) CHAR,
mgr POSITION(20:23) INTEGER EXTERNAL
)
INTO TABLE proj
WHEN projno != ' '
( projno POSITION(25:27) INTEGER EXTERNAL,
empno POSITION(1:4) INTEGER EXTERNAL
)
導(dǎo)入選定的記錄:
如下例: (01) 代表第一個(gè)字符, (30:37) 代表30到37之間的字符:
LOAD DATA
INFILE 'mydata.dat' BADFILE 'mydata.bad' DISCARDFILE 'mydata.dis'
APPEND
INTO TABLE my_selective_table
WHEN (01) <> 'H' and (01) <> 'T' and (30:37) = '19991217'
(
region CONSTANT '31',
service_key POSITION(01:11) INTEGER EXTERNAL,
call_b_no POSITION(12:29) CHAR
)
導(dǎo)入時(shí)跳過(guò)某些字段:
可用 POSTION(x:y) 來(lái)分隔數(shù)據(jù). 在Oracle8i中可以通過(guò)指定 FILLER 字段實(shí)現(xiàn)。FILLER 字段用來(lái)跳過(guò)、忽略導(dǎo)入數(shù)據(jù)文件中的字段.如:
LOAD DATA
TRUNCATE INTO TABLE T1
FIELDS TERMINATED BY ','
( field1,
field2 FILLER,
field3
)
導(dǎo)入多行記錄:
可以使用下面兩個(gè)選項(xiàng)之一來(lái)實(shí)現(xiàn)將多行數(shù)據(jù)導(dǎo)入為一個(gè)記錄:
CONCATENATE: - use when SQL*Loader should combine the same number of physical records together to form one logical record.
CONTINUEIF - use if a condition indicates that multiple records should be treated as one. Eg. by having a '#' character in column 1.
SQL*Loader 數(shù)據(jù)的提交:
一般情況下是在導(dǎo)入數(shù)據(jù)文件數(shù)據(jù)后提交的。
也可以通過(guò)指定 ROWS= 參數(shù)來(lái)指定每次提交記錄數(shù)。
提高 SQL*Loader 的性能:
1) 一個(gè)簡(jiǎn)單而容易忽略的問(wèn)題是,沒(méi)有對(duì)導(dǎo)入的表使用任何索引和/或約束(主鍵)。如果這樣做,甚至在使用ROWS=參數(shù)時(shí),會(huì)很明顯降低數(shù)據(jù)庫(kù)導(dǎo)入性能。
2) 可以添加 DIRECT=TRUE來(lái)提高導(dǎo)入數(shù)據(jù)的性能。當(dāng)然,在很多情況下,不能使用此參數(shù)。
3) 通過(guò)指定 UNRECOVERABLE選項(xiàng),可以關(guān)閉數(shù)據(jù)庫(kù)的日志。這個(gè)選項(xiàng)只能和 direct 一起使用。
4) 可以同時(shí)運(yùn)行多個(gè)導(dǎo)入任務(wù).
常規(guī)導(dǎo)入與direct導(dǎo)入方式的區(qū)別:
常規(guī)導(dǎo)入可以通過(guò)使用 INSERT語(yǔ)句來(lái)導(dǎo)入數(shù)據(jù)。Direct導(dǎo)入可以跳過(guò)數(shù)據(jù)庫(kù)的相關(guān)邏輯(DIRECT=TRUE),而直接將數(shù)據(jù)導(dǎo)入到數(shù)據(jù)文件中。
sqlldr使用例子說(shuō)明
先把Excel另存為.csv格式文件,如test.csv,再編寫(xiě)一個(gè)insert.ctl
用sqlldr進(jìn)行導(dǎo)入!
insert.ctl內(nèi)容如下:
load data --1、控制文件標(biāo)識(shí)
infile 'test.csv' --2、要輸入的數(shù)據(jù)文件名為test.csv
append into table table_name --3、向表table_name中追加記錄
fields terminated by ',' --4、字段終止于',',是一個(gè)逗號(hào)
(field1,
field2,
field3,
...
fieldn)-----定義列對(duì)應(yīng)順序
注意括號(hào)中field排列順序要與csv文件中相對(duì)應(yīng)
然后就可以執(zhí)行如下命令:
sqlldr user/password control=insert.ctl
