반응형

Recovery 원리

Oracle 시작 단계

 

NOMOUNT

· 서버 프로세스가 PFILE(SPFILE)에 지정된 대로 INSTANCE 생성

 

MOUNT

· CKPT 프로세스가 Control File을 읽고 일시 lock 설정

· Control File Header 정보 검증 (Control File 이상 여부 확인),

    -> MOUNTID 계산 값 Control File 저장

· “Successful mount of redo thread”

· “Database mounted...”

 

OPEN

· Data File Header 정보와 Control File Checkpoint SCN 정보 비교

 

Controlfile dump

- Control FileBinary File의 한 종류이므로 OS 명령어로 내용을 직접 확인할 수 없음

- dump 작업을 통해 Control File 내용 확인 가능

    * Control 파일은 Binary 파일 이므로 확인할 수 없어 dump 로 내려서 확인하기 위해 수행

 

SQL> show parameter user_dump_dest; ##dump 파일 위치 확인

SQL> alter session set tracefile_identifier='AAA'; ## 확장자 지정

SQL> oradebug setmypid; ## 현재 process id로 수행

SQL> oradebug dump controlf 3; ## control 파일 3dump

# vi/........./testdb_ora_45613110AAA.trc

     -> dump 내용 확인

 

 Checkpoint SCNStop SCN

- Checkpoint SCN은 현재까지 저장 완료된 SCN

- Stop SCN은 신규로 추가되는 데이터의 마지막 SCN을 의미

- DBopen 상태일 경우 마지막 SCN을 알 수 없으므로 무한대(0xffff.fffffff)로 설정

- DB가 정상 종료되거나 offline이 되는 경우 Checkpoint를 발생시켜 두 SCN을 일치시킴

 

 

Shutdown immediate

SQL> startup mount ## mount 단계

SQL> alter session set tracefile_identifier=BBB'; ## 확장자 지정

SQL> oradebug setmypid; ## 현재 process id로 수행

SQL> oradebug dump controlf 3; ## control 파일 3dump

 

 

 

Shutdown abort

SQL> startup mount ## mount 단계

SQL> alter session set tracefile_identifier=BBB'; ## 확장자 지정

SQL> oradebug setmypid; ## 현재 process id로 수행

SQL> oradebug dump controlf 3; ## control 파일 3dump

 

 SMONRedologfile을 이용해 Roll forward,backward를 이용해 scn을 맞춤

복구 과정 상세

1. Controlfile 내의 Checkpoint cntStop SCN 번호가 같은지 확인하고, 다르다면 Instance Crash로 판단,

Instance Recovery 수행 결정

 

2. Checkpoint cntStop SCN 번호가 같을 경우 실제 Datafileheader에 있는 Checkpoint SCNControl File 안에 있는

Stop SCN 번호와 같은지 비교

--> SCN정보가 같아도 control 파일과 datafilescn 정보가 다를 수 있어 바로 open 되지 않음

 

3. 복구가 필요하다고 판단되면 Datafile에 부족한 SCN중에 가장 낮은 SCN을 확인 후 Control File 안에 있는 Redo log file을 찾아감

 

4. 적당한 Redo log File을 찾게 되면 낮은 SCN 번호부터 순차적으로 Roll Forwared 시킴

 

5. Roll Forward가 끝나면 Undo 데이터를 뒤져서 commit 되지 않은 데이터는 다시 Roll Backward를 진행해서 복구를 완료합니다.

 

6. 마지막 SCN을 기록하면서 동기화 시키고 DB 정상 open

* checkpoint scn stop scn이 같다고 무조건 오픈되지 않음 ( datafile과도 비교해야함 )

 

'Study Note > Database' 카테고리의 다른 글

Cold Backup  (0) 2016.02.26
No Archive log / Archive log  (0) 2016.02.26
파티션 테이블(partition table) - 인덱스(index)  (0) 2016.02.25
SQL TUNNING - 1  (0) 2016.02.24
파티션 테이블(partition table)  (0) 2016.02.24
반응형

 파티션 테이블(partition table) - 인덱스(index)

 인덱스 유형 선택

<Partition Index Type>

 Local

 Partition Table의 대부분 속성을 같이하는 Equipartition된 형태

 - Partition 단위의 Index 생성/삭제/Rebuild 가능

 Gobal

 Partition Table과는 달리 별도의 컬럼과 Range로 Partition한 형태

 - Partition Table DDL 작업시 모든 Partition을 모두 Rebuild 해야 사용 가능함

 - 비트맵 인덱스는 Local에만 적용 가능

 Prefixed

 Index 컬럼(Leftmost)이 Partition Key (컬럼 set)를 포함

 Nonprefixed

 Index 컬럼(Leftmost)이 Partition Key (컬럼 set)을 포함하지 않음

 - Global Nonprefixed Index는 사용 불가

 

  - 한 파티션에서 조회하는 액세스 패스는 Local 인덱스를 사용하도록 함

  - 운용측면에서 Global Index보다는 Local Index 사용이 권장

  - Table Partition Key를 Index로 설정할 경우  Local Prefixed Index를 사용

  - PK 컬럼은 Table Partition Key를 첫번째 컬럼으로 하는 Local Prefixed Index를 사용

  - Non-partition 컬럼에 대한 빈번한 배치 작업 수행시 Local Nonprefixed Index를 사용

  - Non-partition 컬럼에 대한 Unique Index 설정시 Global Index를 사용 (OLTP)

 

테이블 전체 스캔의 경우 등 여러 파티션을 조회하는 경우는 비분할(Non-partitioned) 인덱스를 생서아여

이 인덱스를 통한 액세스가 가능하도록 한다.

 

 

예제 table create

 

CREATE TABLE ORDER_ITEMS_PT_RG_1
(
    ORDER_ID       VARCHAR2(17),
    PRODUCT_ID     VARCHAR2(7),
    ORDER_DATE     DATE,
    UNIT_PRICE     NUMBER,
    QUANTITY       NUMBER,
    NEW_ORDER_DATE VARCHAR2(10) GENERATED ALWAYS AS(TO_CHAR(ORDER_DATE,'YYYYMMDD'))
)
tablespace users
partition by range(new_order_date)(
partition p2007 values less than('20080101'),
partition p2008 values less than('20090101'),
partition p2009 values less than('20100101'),
partition p2010 values less than('20110101'),
partition p2011 values less than('20120101'),
partition p2012 values less than('20130101'),
partition pmax values less than(maxvalue));


--date insert
ALTER TABLE ORDER_ITEMS_PT_RG_1 NOLOGGING;
ALTER SESSION ENABLE PARALLEL DML;

INSERT /*+ PARALLEL (A 4) */
INTO ORDER_ITEMS_PT_RG_2 A
(ORDER_ID, PRODUCT_ID,ORDER_DATE,UNIT_PRICE,QUANTITY)
SELECT /*+ PARALLEL (B 4) */*
FROM TUNER.ORDER_ITEMS B;

commit;

ALTER TABLE ORDER_ITEMS_PT_RG_1 LOGGING;

select * from dba_tab_partitions
where table_name like 'ORDER_ITEMS_PT_RG_1';

 

* local과 global index를 구분하기 위해 ORDER_ITEMS_PT_RG_2 테이블도 똑같이 생성한다.

 

partition index 생성

-- partition global index

create index ORDER_ITEMS_PT_RG_1_date on order_items_pt_rg_1(new_order_date)
parallel 8;

alter index order_items_pt_rg_1_date noparallel;

 

-- partition local index
create index ORDER_ITEMS_PT_RG_2_date on order_items_pt_rg_2(new_order_date)
parallel 8
local;

alter index order_items_pt_rg_2_date noparallel;


-- index 조회해서 생성 확인
select * from dba_indexes
where table_name like 'ORDER_ITEMS_PT_RG%';

 

select * from dba_ind_partitions
where index_name like 'ORDER_ITEMS_PT_RG%';

 

global local index의 성능차이

select sum(QUANTITY)
  from ORDER_ITEMS_PT_RG_1 a
 where new_order_date between '20090601' and '20090610';

 

 

select sum(QUANTITY)
  from ORDER_ITEMS_PT_RG_2 a
 where new_order_date between '20090601' and '20090610';
 

 

 

global local 관리 차이

-- partition drop
alter table ORDER_ITEMS_PT_RG_1 drop partition p2009;  -- global
alter table ORDER_ITEMS_PT_RG_2 drop partition p2009;  -- local

 

-- index상태 조회
select table_name, index_name, status
  from dba_indexes
 where index_name like 'ORDER_ITEMS_PT_RG%';
 


select index_name ,status
  from dba_ind_partitions
 where index_name like 'ORDER_ITEMS_PT_RG%';

 

 

-- index rebuild 스크립트 작성
select 'alter index '||OWNER||'.'||INDEX_NAME||' rebuild;' as script
  from dba_indexes
 where status = 'UNUSABLE'
union
select 'ater index '||index_owner||'.'||index_name|| 'rebuild partition;' as script
  from dba_ind_partitions
 where status='UNUSABLE';
  
 -- index rebuild
alter index ORDER_ITEMS_PT_RG_1_DATE rebuild;

 

 

alter index ORDER_ITEMS_PT_RG_2_DATE rebuild;
-- ora-14086 분할영역된 인덱스는 전체를 다시 만들 수 없습니다

* local은 rebuild를 따로 해줄 필요가 없다.

'Study Note > Database' 카테고리의 다른 글

No Archive log / Archive log  (0) 2016.02.26
Recovery 원리  (0) 2016.02.26
SQL TUNNING - 1  (0) 2016.02.24
파티션 테이블(partition table)  (0) 2016.02.24
Index Organized Table (IOT)  (0) 2016.02.23
반응형

SELECT A.ORDER_ID,
       A.ORDER_DATE,
       A.ORDER_MODE ,
       C.FIRST_NAME EMPNAME,
       D.CUST_FIRST_NAME ,
       B.PRODUCT_ID,
       B.UNIT_PRICE,
       B.QUANTITY
  FROM ORDERS A,
       ORDER_ITEMS B,
       EMPLOYEES C,
       CUSTOMERS D
 WHERE A.ORDER_ID = B.ORDER_ID
   AND A.EMPLOYEE_ID = C.EMPLOYEE_ID
   AND A.CUSTOMER_ID = D.CUSTOMER_ID
   AND A.ORDER_DATE >= TO_DATE('20120101', 'YYYYMMDD')
   AND A.ORDER_DATE < TO_DATE('20120102', 'YYYYMMDD') ;


alter session set statistics_level=all;
select * from table(dbms_xplan.display_cursor(null, null, 'allstats last'));
select * from table(dbms_xplan.display_cursor(null, null, 'allstats last advanced'));

* ORDER_ITEM을보면 E-Rows가 29M으로 많이 조회된다


--사전 분석
select TABLE_NAME, COLUMN_NAME, DATA_TYPE, NUM_DISTINCT
  from dba_tab_columns
 where TABLE_NAME IN ('ORDER_ITEMS','ORDERS','CUSTOMERS','EMPLOYEES') 
   and NUM_DISTINCT > 0
 order by NUM_DISTINCT DESC;

create index IDX_ORDITEM_ORDID on order_items(ORDER_ID);

* A-Time이나 Buffer등 확 줄은 것을 확인할 수 있다.

-- 순서 지정
순서 힌트 지정 이유는 옵티마이저가 설정한 최적실행 경로 순서를 힌트로 줌으로써 혹시 나중에 실행 순서가 바뀌더라도 이전의 실행순서를 따르게 하기 위함
SELECT /*+ LEADING (A, C, D, B) */
       A.ORDER_ID,
       A.ORDER_DATE,
       A.ORDER_MODE ,
       C.FIRST_NAME EMPNAME,
       D.CUST_FIRST_NAME ,
       B.PRODUCT_ID,
       B.UNIT_PRICE,
       B.QUANTITY
  FROM ORDERS A,
       ORDER_ITEMS B,
       EMPLOYEES C,
       CUSTOMERS D
 WHERE A.ORDER_ID = B.ORDER_ID
   AND A.EMPLOYEE_ID = C.EMPLOYEE_ID
   AND A.CUSTOMER_ID = D.CUSTOMER_ID
   AND A.ORDER_DATE >= TO_DATE('20120101', 'YYYYMMDD')
   AND A.ORDER_DATE < TO_DATE('20120102', 'YYYYMMDD') ;

반응형

파티션 테이블(partition table)

 

파티션 테이블 설계

대용량 테이블의 성능저하를 방지하고 관리를 수월하게 하고자 파티션 테이블을 고려할 수 있는데, 서로 다른 파티션에 데이터를 저장함으로써 노드 간의 디스크 경합을 최소화하여 성능을 향상한다.

 

 파티션 테이블의 장단점

 장점

 - 디스크 장애시 해당 파티션만 영향을 받으므로 데이터의 훼손 가능성이 감소하고 가용성이 향상

 - 개별 Partition 단위의 관리가 가능 (DML, Load, Import, Export, Exchange 등)

 - 조인시 파티션 간의 병렬 처리 및 파티션 내에서의 병렬 처리를 수행  

 - 데이터 액세스 범위를 줄여 성능을 향상 시키고 테이블의 파티션 단위로 디스크의 I/O를 분산해 부하를 감소

 단점

 - 파티션 키 값 변경에 대한 별도 관리 필요 ( 관리가 불편 )

 - 파티션에 기준이 되는 것이 컬럼의 일부일 때 일부를 기준으로 파티션을 구성할 수 없으므로 이에 해당하는 오버헤드 컬럼이 있어야 함.

 

 파티션의 종류와 특징

파티션 종류 

내용 

 RANGE

 - 일, 월, 분기 등 특정 컬럼의 정렬 값을 기준으로 분할하는 방식으로 논리적인 범위의 분산에 효율적
 - 관리가 용이하며 이력 데이터에 적합
 - 파티션을 결정하는 컬럼을 명시하여야 하며 MAXVALUE값은 NULL값을 포함
 - 범위가 포함하는 데이터의 양이 일정하지 않은 경우 특정 파티션에 대해 데이터가 편중될 수 있음

 HASH

 - 데이터의 균등 분할을 통해 성능을 향상 시키고자 하는 경우에 효율적
 - 파티션 키에 해시함수를 적용한 결과 값이 같은 레코드를 같은 파티션 세그먼트에 저장해 두는 방식
 - Row와 파티션 간의 매핑을 사용자가 제어할 수 없음
 - 파티션 키의 해시 값에 의해 데이터가 다수의 파티션에 분배되며 균등한 분배를 위해서는 파티션 개수를

  명시하여야 하며 파티션의 수는 2의 거듭제곱의 수로 지정
 - NULL값은 첫 번째 파티션에 위치함
 - 고객ID처럼 변별력이 좋고 데이터 분포가 고른 컬럼을 파티션 키 컬럼으로 선정해야 효과적

 LIST

 -  파티션 컬럼을 명시, 키 컬럼 값을 기준으로 파티션하는 방식 컬럼의 구체적인 값들에 대해 파티션을 명확하게

   컨트롤하고자 할 때 효율적
 -  연관되지 않은 데이터, 순서에 맞지 않는 데이터의 그루핑을 쉽게 할 수 있음
 -  명시되지 않은 값을 가진 Row는 Insert가 불가능
 -  여러 컬럼으로 파티션 키를 생성할 수 없고 오직 하나의 컬럼만 가능
 -  각 파티션에 대해 모든 파티션 키는 반드시 문자로 LIST 되어야 하며 파티션값의 List는 4K까지 가능
 -  파티션 키의 값은 64K-1을 초과할 수 없고 NULL 값을 포함한 어떠한 값이라도 한 번만 명시 가능

 COMPOSITE

 - Range + List, Range + Hash 파티션 등의 조합으로 구성
 - 이력 데이터와 온라인 데이터의 복합적인 성격을 지닌 데이터의 분할에 용이하며 병렬 DML 작업에 뛰어난

  수행성능을 보장
 - 파티션 및 서브 파티션 단위의 관리 작업 수행이 가능
 - Hash 파티셔닝의 경우 스토리지 스트라이핑으로 인해 디스크 점핑이 발생할 수 있으므로 충분한 검토 후 적용

 INTERVAL

 - RANGE 파티셔닝과 유사하며 파티션이 추가되는 규칙을 지정하는 방식
 - 기존 파티션에 데이터가 있고 새로운 데이터가 입력될 때에만 새로운 파티션을 생성함
 - RANGE 파티션에서 MAXVALUE 파티션 없이 생성 후 데이터가 추가되면 지정된 INTERVAL 만큼 늘어난

   범위를 가지는 파티션이 생성됨

 REFERENCE

 - 자식 테이블 파티션이 부모 테이블 파티션과 일대일 관계인 환경에서 자식테이블을 파티션할 때 적용
 - 기본 키 – 외래 키 관계를 통해 자식 테이블의 파티셔닝을 부모 테이블로부터 상속
 - 파티셔닝 키는 자식 테이블의 실제 컬럼에 저장되지 않음

* RANGE > LIST > HASH 순으로 많이씀

 

 

 테이블 선정 조건

 - 일부 데이터가 손상되더라도 나머지 데이터 사용이 가능해야 하는 테이블

 - 복구를 최대한 빨리 적용해야 하는 테이블

 - 테이블을 크기가 큰 경우

 

 파티션 키 선정 조건

   데이터가 어떤 파티션에 저장되는지 알 수 있는 Range Partitioning을 사용하는 것이 Hash Partitioning을 사용하는 경우에 비해

   관리측면에서 유리한 점이 많다. Range Partitioning 에서의 Load Balancing은 파티션 키에 의존하므로 파티션 키 선정시 이를 고려해야 함.

   여러 파티션에 대한 조회는 한 테이블로 구성하였을 경우보다 떨어진다. 따라서 파티션으로 구성하였을 경우 파티션의 기준이되는 키를 잘 구성해야한다

 

   - Primary Key 혹은 Primary Key의 첫번째 컬럼  -- > * 파티셔닝 의미없음

   - 매일 생성되는 날짜 컬럼

   - 백업 기준이 되는 날짜 컬럼

   - 자주 조인이 일어나는 테이블의 Foreign Key

   - Partition간 이동이 없는 컬럼

   - OLTP에서 자주 SQL구문에서 사용되는 컬럼

   - I/O 병목을 줄일 수 있는 데이터 분포도가 양호한 컬럼

 

 파티션 개수 결정

  - 검색조건에서 Composite Primary Key의 일부분만을 사용할 경우 Partition의 개수가 적은 것이 속도가 더빠름

    그러나 Composite Primary Key의 전체를 사용할 경우는 Partition 의 개수가 많은 것이 속도가 더 빠름

  - Batch, OLAP 작업일 경우는 partition 개수가 적은 거이, OLTP작업일 경우는 Partition 개수가 많은 것이  Performance가 더 우수

  - 실제 테이블을 구성함에 있어 Partition의 개수가 너무 적을 경우 Partition효과를 볼수 없게 되고 너무 많을 경우 각 Partition의 value range를

   체크 하므로 parsing time이 길어지고 관리대상이 많아지는 단점이 있음.

 

 

RANGE PARTITION

--업무 쿼리(예를들어 업무때 사용하는 쿼리가 이렇다 치면)
select order_id, product_id
 from ORDER_ITEMS
where to_char(order_date,'yyyymm') between 200801 and 2000804;

* 결과가 너무 많이 나와 관리하기 불편하다.

이때 파티션을 나눠 관리하며 보통 월단위로 많이 나눈다.

 

select * from order_items;

select /*+ parallel(a 16) */ to_char(order_date, 'yyyy'), count(*)
  from order_items a
 group by to_char(order_date, 'yyyy')
 order by to_char(order_date, 'yyyy');

 

--가상컬럼 추가하여 테이블생성
 create table order_item_pt_rg (
    ORDER_ID    VARCHAR2(17),
    PRODUCT_ID  VARCHAR2(7),
    ORDER_DATE  DATE,
    UNIT_PRICE  NUMBER,
    QUANTITY    NUMBER,
    NEW_ORDER_DATE VARCHAR2(10) GENERATED ALWAYS AS (to_char(order_date, 'yyyymm'))
)
tablespace users
partition by range(NEW_ORDER_DATE) (
partition p2007 values less than('20080101'),
partition p2008 values less than('20090101'),
partition p2009 values less than('20100101'),
partition p2010 values less than('20110101'),
partition p2011 values less than('20120101'),
partition p2012 values less than('20130101'),
partition pmax  values less than(maxvalue)
);

 

-- DATA INSERT
ALTER TABLE order_item_pt_rg NOLOGGING; -- 빠른 INSERT를 위해 설정

INSERT INTO order_item_pt_rg
SELECT * FROM ORDER_ITEMS;
-- ORA - 00947 : 값의 수가 충분하지 않습니다. 발생
-- ( 컬럼 수가 맞지 않아서 발생 )

INSERT /*+ PARALLEL (A 4) APPEND */    -- NOLOGGING 일때 INSERT할때 APPEND하는게 좋음
  INTO order_item_pt_rg A (ORDER_ID,
                           PRODUCT_ID,
                           ORDER_DATE,
                           UNIT_PRICE,
                           QUANTITY)
SELECT /*+ PARALLEL (B 4) */ *
  FROM ORDER_ITEMS B;

 

-- 데이터 조회
desc order_items;

 

select /*+ PARALLEL (A 4) */ sum(QUANTITY)
  FROM ORDER_ITEMS A
 WHERE TO_CHAR(ORDER_DATE,'YYYY') BETWEEN '2008' AND '2009';

 

 

SELECT /*+ PARALLEL (A 4) */ sum(QUANTITY)
  FROM ORDER_ITEMS A
 WHERE NEW_ORDER_DATE BETWEEN TO_DATE(2008,'YYYY') AND TO_DATE(2009,'YYYY');
 
alter session set statistics_level=all;
select * from table(dbms_xplan.display_cursor(null,null,'allstats last'));
select * from table(dbms_xplan.display_cursor(null,null,'allstats last advanced'))

 

PARTITION ADMIN

-- 파티션 별 DML
SELECT * FROM order_item_pt_rg PARTITION (P2007);

INSERT INTO order_item_pt_rg PARTITION (PMAX)
(ORDER_ID,PRODUCT_ID,ORDER_DATE, UNIT_PRICE, QUANTITY)
VALUES ('C00150235','C084', SYSDATE, 999, 9);

 

-- PARTITION에 맞지 않는 데이터 INSERT
INSERT INTO ORDER_ITEM_PT_RG PARTITION (PMAX)
(ORDER_ID,PRODUCT_ID,ORDER_DATE, UNIT_PRICE, QUANTITY)
VALUES ('C00150235','C084', TO_DATE(201101,'YYYYMM'), 999, 9);
-- ORA-14401:삽입된 분할영역 키는 지정된 분할영역의 밖에 있습니다.
-- 키 값이 맞지 않아 INSERT 불가능

 

-- KEY COLUMN UPDATE
UPDATE order_item_pt_rg
   SET ORDER_DATE = SYSDATE
 WHERE PRODUCT_ID='P183';   -- 2008년 데이터
 -- ORA-14402 : 분할영역 키 열을 수정하는것은 분할영역 변경이 생깁니다.
 
SELECT TABLE_NAME,ROW_MOVEMENT
  FROM DBA_TABLES
 WHERE TABLE_NAME='ORDER_ITEM_PT_RG';

 

TABLE_NAME           ROW_MOVE
-------------------- --------
ORDER_ITEM_PT_RG  DISABLED

 

-- ROW MOVEMENT ENABLE
ALTER TABLE ORDER_ITEM_PT_RG ENABLE ROW MOVEMENT;
ALTER TABLE ORDER_ITEM_PT_RG DISABLE ROW MOVEMENT;

 

 

-- PARTITION DROP
ALTER TABLE ORDER_ITEM_PT_RG DROP partition p2007;

 

SELECT * FROM DBA_TAB_PARTITIONS
WHERE TABLE_NAME='ORDER_ITEM_PT_RG'

 

 

-- PARTITION SPLIT
ALTER TABLE ORDER_ITEM_PT_RG SPLIT partition PMAX
AT ('20140101')
INTO ( PARTITION P2013, PARTITION PMAX);

 

INSERT INTO ORDER_ITEM_PT_RG
(ORDER_ID, PRODUCT_ID, ORDER_DATE, UNIT_PRICE, QUANTITY)
VALUES ('AAAA','H111',TO_DATE(201311,'YYYYMM'),1,1);


commit;

 

SELECT * FROM ORDER_ITEM_PT_RG PARTITION(P2013);

 

 

 

 

-- PARTITION ADD
ALTER TABLE ORDER_ITEM_PT_RG ADD partition
p2013 values less than('20140101');
* ADD하는 FORM은 이게 맞지만 현재 구성은 PMAX로 해놓아서 추가가 되지 않음 --> SPLIT 해야함

 

-- PARTITION ADD
ALTER TABLE ORDER_ITEM_PT_RG ADD partition
p2013 values less than('20140101');

 

HASH PARTITION

SELECT * FROM DBA_DATA_FILES;

CREATE TABLESPACE TBS1 DATAFILE
'/oracle11/app/oradata/testdb/tbs1.dbf' SIZE 100M AUTOEXTEND ON;

CREATE TABLESPACE TBS2 DATAFILE
'/oracle11/app/oradata/testdb/tbs2.dbf' SIZE 100M AUTOEXTEND ON;

CREATE TABLESPACE TBS3 DATAFILE
'/oracle11/app/oradata/testdb/tbs3.dbf' SIZE 100M AUTOEXTEND ON;

CREATE TABLESPACE TBS4 DATAFILE
'/oracle11/app/oradata/testdb/tbs4.dbf' SIZE 100M AUTOEXTEND ON;

alter user system quota unlimited on tbs1;
alter user system quota unlimited on tbs2;
alter user system quota unlimited on tbs3;
alter user system quota unlimited on tbs4;

 

-- CRAETE TABLE PARTITION 이름이 랜덤 설정 ( 아래 그림 참조 )

CREATE TABLE CUSTOMERS_PT_HS
(
    CUSTOMER_ID     VARCHAR2(11),
    CUST_FIRST_NAME VARCHAR2(20) NOT NULL,
    CUST_LAST_NAME  VARCHAR2(20) NOT NULL,
    EMAIL           VARCHAR2(92),
    BIRTHDAY        DATE,
    PHONE_NUMBER    VARCHAR2(325),
    GENDER          VARCHAR2(1),
    WEDDING_TYPE    VARCHAR2(1),
    CUST_JOB_NAME   VARCHAR2(12)
)
PARTITION BY HASH(CUSTOMER_ID)
PARTITIONS 4
STORE IN (TBS1, TBS2, TBS3, TBS4);

 

-- 파티션 이름을 설정하면서 CRATE TABLE

CREATE TABLE CUSTOMERS_PT_HS2
(
    CUSTOMER_ID     VARCHAR2(11),
    CUST_FIRST_NAME VARCHAR2(20) NOT NULL,
    CUST_LAST_NAME  VARCHAR2(20) NOT NULL,
    EMAIL           VARCHAR2(92),
    BIRTHDAY        DATE,
    PHONE_NUMBER    VARCHAR2(325),
    GENDER          VARCHAR2(1),
    WEDDING_TYPE    VARCHAR2(1),
    CUST_JOB_NAME   VARCHAR2(12)
)
PARTITION BY HASH(CUSTOMER_ID)
(PARTITION P1 TABLESPACE TBS1,
 PARTITION P2 TABLESPACE TBS2,
 PARTITION P3 TABLESPACE TBS3,
 PARTITION P4 TABLESPACE TBS4
 );
 
 SELECT * FROM DBA_SEGMENTS
 WHERE SEGMENT_NAME LIKE 'CUSTOMERS_PT%'
   AND OWNER ='SYSTEM';
 


INSERT /*+ PARALLEL(A 4) APPEND */ INTO CUSTOMERS_PT_HS2 A
SELECT /*+ PARALLEL(B 4) */ * FROM CUSTOMERS B;

COMMIT;

SELECT * FROM CUSTOMERS_PT_HS2 PARTITION(P1);
-- 어떤 기준으로 나눠진지는 모르겠음

 

LIST PARTITION

-- list partition table 생성

CREATE TABLE LOCATIONS_PT_LI
(
    LOCATION_ID     NUMBER(4),
    STREET_ADDRESS  VARCHAR2(40),
    POSTAL_CODE     VARCHAR2(12),
    CITY            VARCHAR2(30) CONSTRAINT LOC_CITY_NN CHECK ("CITY" IS NOT NULL),
    STATE_PROVINCE  VARCHAR2(25),
    COUNTRY_ID      CHAR(2)
)
    PARTITION BY LIST (STATE_PROVINCE)
    (PARTITION REGION_EAST VALUES ('MA','NY','CT','NH','MD','VA','PA','NJ')
    TABLESPACE TBS1,
    PARTITION REGION_WEST VALUES ('CA','AZ','NM','OR','WA','UT','NV','CO')
    TABLESPACE TBS2,
    PARTITION REGION_SOUTH VALUES ('TX','KY','TN','LA','MS','AR','AL','GA')
    TABLESPACE TBS3,
    PARTITION REGION_CENTRAL VALUES ('OH','ND','SD','MO','IL','MI','IA',NULL)
    TABLESPACE TBS4,
    PARTITION EXTRA VALUES (DEFAULT) TABLESPACE USERS
    );

insert into LOCATIONS_PT_LI
select * from hr.LOCATIONS

 

COMMIT;

 

SELECT * FROM LOCATIONS_PT_LI PARTITION(EXTRA);

* 조건에 맞게 PARTITION이 나눠짐

'Study Note > Database' 카테고리의 다른 글

파티션 테이블(partition table) - 인덱스(index)  (0) 2016.02.25
SQL TUNNING - 1  (0) 2016.02.24
Index Organized Table (IOT)  (0) 2016.02.23
Index 생성 속도 향상 - parallel, nologging 옵션  (0) 2016.02.23
V$SQLAREA 자료 사전  (0) 2016.02.16
반응형

Index Organized Table (IOT)

□ Index Organized Table (IOT) 의 특성

  - B*Tree 구조에 전체 행 저장

    · 저장 공간 감소 (인덱스와 데이터 블록 공유)

  - Primary Key를 기준으로 테이블 데이터를 읽을 때 빠른 성능 제공

  - 논리적 ROWID 개념 지원

    · IOT내의 ROW를 지칭할 수 있는 논리적 ID

    · 2차 인덱스의 생성 및 사용이 가능

  - 읽기 전용 데이터에 적합

    · UPDATE가 자주 일어나는 경우, 인덱스 구조에 큰 변화 발생

 

 

-- IOT 테이블
CREATE TABLE TEST(
 NO NUMBER  CONSTRAINT TEST_NO_PK Primary Key,
 TITLE VARCHAR2(50),
 CONTNETS VARCHAR2(500)

)
 TABLESPACE USERS;
 
INSERT INTO TEST VALUES(3,'CCCC','CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC');
INSERT INTO TEST VALUES(1,'AAAA','AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA');
INSERT INTO TEST VALUES(5,'EEEE','EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE');
INSERT INTO TEST VALUES(2,'BBBB','BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB');
INSERT INTO TEST VALUES(4,'DDDD','DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD');
COMMIT;

 

CREATE TABLE IOTTEST (
NO NUMBER CONSTRAINT IOTTEST_PK_NO PRIMARY KEY,
TITLE VARCHAR2(50),
CONTENTS VARCHAR2(500)

)
ORGANIZATION INDEX TABLESPACE USERS
PCTTHRESHOLD 40 INCLUDING TITLE
OVERFLOW TABLESPACE USERS;

 
INSERT INTO IOTTEST VALUES(3,'CCCC','CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC');
INSERT INTO IOTTEST VALUES(1,'AAAA','AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA');
INSERT INTO IOTTEST VALUES(5,'EEEE','EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE');
INSERT INTO IOTTEST VALUES(2,'BBBB','BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB');
INSERT INTO IOTTEST VALUES(4,'DDDD','DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD');
COMMIT;


select no, title from test'


select no, title from iottest; 

 

--조회해보면 IOTTEST는 테이블이 없고 인덱스만 나온다.
select * from DBA_SEGMENTS
WHERE SEGMENT_NAME LIKE '%TEST%';.

select * from DBA_SEGMENTS
WHERE SEGMENT_NAME LIKE '%IOT%'
and TABLESPACE_NAME='USERS';

 

- ORGANIZATION INDEX TABLESPACE : IOT Data가 저장되는 Tablespace
- PCTTHRESHOLD(default : 50) : IOT를 위해서 예약된 공간의 백분율로,
  1블럭의 N% 비율보다 큰 데이터가 입력되면 키 열이 아닌 데이터는
  OVERFLOW TABLESPACE절에 정의된 테이블스페이스에 저장

- INCLUDING : IOT 행을 인덱스와 오버플로우 구역으로 나눌 열을 구분
  INCLUDING 뒤에 있는 컬럼만 제외하고 모두 오버플로우 세그먼트에 저장
  INCLUDING이 지정되지 않았는데 행 크기가 PCTTHRESHOLD를 초과하면
  기본 키 열을 제외한 모든 이 오버플로우 세그먼트에 저장
 
- OVERFLOW TABLESPACE : PCTTHRESHOLD를 초과하는 Data 행이 저장


 

'Study Note > Database' 카테고리의 다른 글

SQL TUNNING - 1  (0) 2016.02.24
파티션 테이블(partition table)  (0) 2016.02.24
Index 생성 속도 향상 - parallel, nologging 옵션  (0) 2016.02.23
V$SQLAREA 자료 사전  (0) 2016.02.16
SQL*TRACE  (0) 2016.02.16
반응형

Index 생성 속도 향상 - parallel, nologging 옵션

parallel processing을 적용함으로 써 인덱스 생성 속도를 올릴 수 있다.

또 인덱스 생성 시 log가 생기는데 이것은 시스템 부하를 발생시킬 우려가 있다. log를 안남기게 nologging 옵션을 주게 되면

index생성 속도를 더욱 향상시킬 수 있다.

 

SQL> create index emp_idx

      on emp(ename)

      nologging

      parallel 8;

 

주의

index 생성 후 logging mode와 parallel을 원상태로 돌려줘야함

 

SQL> alter index emp_idx logging;

SQL> alter index emp_idx parallel 1;

 

==> 이 설정을 무시하게 되면 이 index를 사용하는 쿼리는 조회시 parallel로 수행하게 되서

     시스템에 부하가 올 수 있다.

'Study Note > Database' 카테고리의 다른 글

파티션 테이블(partition table)  (0) 2016.02.24
Index Organized Table (IOT)  (0) 2016.02.23
V$SQLAREA 자료 사전  (0) 2016.02.16
SQL*TRACE  (0) 2016.02.16
DBMS_XPLAN.DISPLAY 다량데이터 조회시 참고사항  (0) 2016.02.16
반응형

V$SQLAREA 자료 사전

공유 - 폴 영역의 구문분석 결과를 제공

 ∙ 가장 많은 Disk-I/O가 발생한 SQL문을 제공

 ∙ 가장 많은 메모리를 사용한 SQL문을 제공

 ∙ 가장 많은 CPU 사용시간이 소요된 SQL문을 제공

 ∙ 사용자가 실행한 SQL문의 패턴 제공

 ∙ SORT 횟수, INVALIDATIONSQL문 제공

 

V$SQLAREA 결과 분석

SQL_TEXT

VERSION_COUNT

LOADS

INVALIDATIONS

PARSE_CALLS

SORT

SELECT * FROM DEPT

1

1

0

1

0

SELECT * FROM dept

1

1

1

1

0

SELECT * FROM DEPT ORDER BY 1

1

1

0

3

1

1) version_count : 같은 사용자가 실행하면 같은 version count 이지만 다른 사용자이면 count가 증가

2) load : Parsing SQL문이 library cache 영역에 저장된 횟수

3) invalidation : Parsing후 로더된 SQL문에서 참조된 테이블이 ALTER, DROP, ANALYZE되면

Parsing 정보를 재사용 할 수 없다

4) parse_call : 최초 Parsing후 재사용된 횟수

 

* 동일한 문장이 아닌 경우

1. 사용자 계정이 다르면 동일한 문장이 아님

2. SPACE의 개수가 틀리면 동일한 문장이 아님

3. 바인드 변수명 또는 변수의 데이터 타입이 틀려도 다른 문장

4. ,소문자가 틀려도 다른 문장

5. 라인, 들여쓰기 등이 틀려도 다른 문장

 

* 동일한 SQL문의 작성 지침

1. SQL문의 대문자 또는 소문자를 통일

2. 변수명은 SQL, 객체명, 변수명과 구분하기 위해 소문자로 작성

3. 다른 스키마의 테이블을 호출할 때는 "SCHEMA.테이블명작성

4. SQL문의 각 단어의 여백은 한 칸으로

5. SQL문의 내의 변수명은 변수 선언 기준 안에 따르며 해당 컬럼명을 접두어와 결합하여 사용

6. SQL문의 SELECT, FROM, WHERE절은 라인의 선두에 기술

'Study Note > Database' 카테고리의 다른 글

Index Organized Table (IOT)  (0) 2016.02.23
Index 생성 속도 향상 - parallel, nologging 옵션  (0) 2016.02.23
SQL*TRACE  (0) 2016.02.16
DBMS_XPLAN.DISPLAY 다량데이터 조회시 참고사항  (0) 2016.02.16
SQL TUNING - 기본  (0) 2016.02.15
반응형

SQL*TRACE

 

SQL*TRACE 기능

EXPLAIN PLAN 명령어와 함께 튜닝작업 시 자주 사용되는 기능

사용자가 실행한 SQL문에 대한 실행계획 만을 보여주는 EXPLAIN PLAN과는 달리 SQL*Trace 기능은

   SQL문의 실행계획과 더불어 실행 소요시간과 디스크 및 메모리부터 읽은 블록 수에 대한 정보도 포함

SQL*TRACE 기능에 의해 분석되는 결과는 운영체제 상에 생성

이 파일은 바이너리 형태이기 때문에 사용자가 직접 눈으로 확인할 수 없음

TKPROF 유틸리티를 사용하여 텍스트 파일형태로 변화하여 참조

init.ora 파일에 다음과 같은 파라미터 반드시 설정 필요

 

필요 파라미터

1) TIMED_STATISTICS : SQL문의 처리 시간 및 통계정보

2) SQL_TRACE : SQL문의 트레이스 기능을 사용 가능하게 해 주는 파라미터

3) USER_DUMP_DEST : SQL문의 분석된 결과가 저장될 경로를 지정하는 파라미터

4) MAX_DUMP_FILE_SIZE : 분석 결과가 저장될 트레이스 파일의 크기를 결정하는 파라미터

 

-- 파라미터 세팅

alter session set sql_trace=true;

 

-- sql 구문 실행

select * from dept;

 

--확인

select * from v$parameter

where name like 'user_dump%';

 

cd /oracle11/app/diag/rdbms/testdb/testdb/trace

 

$ls -rtl

 

 

가장 최신인 맨 아래 것

-rw-r----- 1 oracle oinstall 1761 Feb 16 14:36 testdb_ora_3913.trc

 

--분석

[oracle@localhost trace]$

tkprof testdb_ora_3913.trc T3913.tkf SYS=NO EXPLAIN=SYSTEM/MANAGER  

 

 

[oracle@localhost trace]$ cat T3913.tkf

 

SQL*TRACE 결과 분석

COUNT : SQL문이 처리될 때 분석, 실행, 인출을 각 몇 번씩 실행 했는지를 나타냄

CPU : SQL문의 처리 단계별로 CPU를 몇 초 사용했는지 나타냄

ELAPSED : SQL문의 처리 단계별로 처리된 소요시간

DISK : 테이블에 저장되어 있는 데이터 파일로부터 데이터를 읽어오기 위해 읽은 블록 수

CUTRRENT : 메모리에 저장된 데이터를 가져오기 위해 읽은 버퍼 블록 수

(현 세션에만 유효한 블록 수 ,주로 의 수행 시)

QUERY : 읽기 일관성을 만족하는 블록 수

 

'Study Note > Database' 카테고리의 다른 글

Index 생성 속도 향상 - parallel, nologging 옵션  (0) 2016.02.23
V$SQLAREA 자료 사전  (0) 2016.02.16
DBMS_XPLAN.DISPLAY 다량데이터 조회시 참고사항  (0) 2016.02.16
SQL TUNING - 기본  (0) 2016.02.15
DDL  (0) 2016.02.04
반응형

다량의 데이터를 조회하게 되면

select * from LARGE_EMP;

alter session set statistics_level=all;

select * from table(dbms_xplan.display_cursor(null,null, 'allstats last'));

 

 Orange Tool은

 

데이터의 일부만 표시하게 된다. 이때 Text Output을 확인하면 결과가 다 나오지 않고 나온 일부에 대해서만 분석한다. 

모든 작업의 계획을 보고싶다면  다음 작업을 수행하고 해야 한다.

 

'Study Note > Database' 카테고리의 다른 글

V$SQLAREA 자료 사전  (0) 2016.02.16
SQL*TRACE  (0) 2016.02.16
SQL TUNING - 기본  (0) 2016.02.15
DDL  (0) 2016.02.04
DML  (0) 2016.02.04
반응형

Shell Script

쉘 실행 b.sh

1) . ./b.sh -> login sh로 실행(bash)

2) ./test.sh -> test.sh에 명시된 sh로 실행 -> 실행권한 필요!!

3) sh test.sh ->본쉘(sh)로 실행

4) bash test.sh - >bash로 실행

5) ksh test.sh - > ksh로 실행

 

변수의 기본

변수를 사용하기 전에 미리 선언하지 않으며, 변수에 처음 값이 할당되면서 자동으로 변수가 생성

모든 변수는 문자열(String)’로 취급

변수 이름은 대소문자를 구분

변수를 대입할 때 ‘=’ 좌우에는 공백이 없어야 함

 

※ 변수의 입력과 출력

‘$’문자가 들어간 글자를 출력하려면 ‘’로 묶어주거나 앞에 ‘\’를 붙임

“”로 변수를 묶어줘도 된다.

 

(expr은 띄어쓰기 잘해야함 let은 띄어쓰기 상관없음) b.sh 참고

 

※ 파라미터(Parameter) 변수

파라미터 변수는 $0, $1, $2...의 형태를 가짐

전체 파라미터는 $*로 표현

)

명령어

yum

-y

install

gttp

파라미터 변수

$0

$1

$2

$3

 

기본 if

 형식

if [ 조건 ]

then

참일 경우 실행

fi

[조건에 문장이 올 때는 대괄호 x]

 

 

조건 문에 들어가는 비교 연산자

문자열비교

결과

문자열1”=“문자열2”

두 문자열이 같으면 참

문자열1”!=“문자열2”

두 문자열이 같지 않으면 참

-n "문자열

문자열이 null(빈 문자열)이 아니면 참

-z "문자열

문자열이 null(빈 문자열)이면 참

산술 비교

결과

수식1 -eq 수식2

두 수식 또는 변수가 같으면 참

수식1 -ne 수식2

두 수식 또는 변수가 같지 않으면 참

수식1 -gt 수식2

수식1이 크다면 참

수식1 -ge 수식2

수식1이 크거나 같으면 참

수식1 -lt 수식2

수식1이 작으면 참

수식1 -le 수식2

수식1이 작거나 같으면 참

!수식

수식이 거짓이라면 참

 

elif


 형식

if [조건]

then

참일 경우 실행

 

elif [조건]

then 참일 경우 실행

else 거짓일 경우 실행

fi

 

 형식

if [조건]

then

참일 경우 실행

else

 

if [ 조건 ]

then 참일 경우 실행

else 거짓일 경우 실행

fi

fi


 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

※ 파일과 관련된 조건

파일 조건

결과

-d 파일이름

파일이 디렉터리면 참

-e 파일이름

파일이 존재하면 참

-f 파일이름

파일이 일반 파일이면 참

-g 파일이름

파일이 set-group-id가 설정되면 참

-r 파일이름

파일이 읽기 가능이면 참

-s 파일이름

파일 크기가 0이 아니면 참

-u 파일이름

파일에 set-user-id가 설정되면 참

-w 파일이름

파일이 쓰기 가능 상태이면 참

-x 파일이름

파일이 실행 가능 상태이면 참

- 만 자주 씀 알아둘 것

 

case~esac (1)

if문은 참과 거짓의 두 경우만 사용 (2중분기)

여러 가지 경우의 수가 있다면 case(다중분기)

ex)

#!/bin/sh

case "$1" in

start|START|Start) &&&&& Yes|Y|Yes|YES)

echo "시작~~“;; &&&&& [nN]*) : n,N으로 시작하는 모든 문자

stop)

echo "중지~~“;;

restart)

echo "다시시작~~“;;

*)

echo "뭔지 모름~~“;;

esac

 

 

※ AND,OR 관계 연산자

and ‘-a' 또는 ’&&‘를 사용

or‘-o' 또는 ’||‘를 사용

 

ex )

#!/bin/sh

echo "보고 싶은 파일명을 입력하세요.“

read fname

if [ -f $fname && -s $fname ] <=> [ -f $fname -a -s $fname ] : 차이점 -a는 두구문에서만 사용

then

head -5 $fname

else

echo "파일이 없거나, 크기가 0입니다.“

fi

 

 

반복분 -for(1)

 

 형식

for 변수 in 1 2 3....

do

반복할 문장

done

 

ex)

#!/bin/sh

for pal in Tom Dick Harry Joe

do

echo "Hi $pal"

done

echo "Out of File"

 

반복문 -for(2)

현재 디렉터리에 있는 셸 스크립트 파일(*.sh)의 파일명과 앞 3줄을 출력하는 프로그램

 

ex)

#!/bin/sh

for fname in $(ls *.sh)

do

cat $fname >>

done

 

반복문 -while(1)

조건 식이 참인 동안 계속 반복

 

#!/bin/sh

while [ 1 ]

do

echo "CentOS 7"

done

 

반복문 -while(2)

비밀번호를 입력받고, 비밀번호가 맞을 때 까지 계속 입력받는 스크립트

 

#!/bin/sh

echo "비밀번호를 입력하세요.“

read mypass

while [ $mypass != "1234 ]

do

echo "틀렸음. 다시 입력하세요.“

read mypass

done

echo "통과~~“

 

until

while 문과 용도가 거의 같지만, until문은 조건식이 참일 때 까지 (=거짓인 동안) 계속 반복한다.

위 예 4행을 until [ $mypass = "1234" ]

 

사용자 정의 함수

 

 형식

함수이름 () {

-- 함수를 정의 내용들

}

 

함수이름 --함수를 호출

 

ex) #!/bin/sh

myFunction(){

echo "함수 안으로 들어 왔음

returu

}

echo "프로그램을 시작합니다.“

myFunction

echo "프로그램을 종료합니다.“

 

함수 파라미터 사용

 

ex) 

#!/bin/sh

hap(){

echo `expr $1 + $2`

}

echo "10더하기 20을 실행합니다

hap 10 20

 

eval

문자열을 명령문으로 인식하고 실행

 

#!/bin/sh

str="ls -l anaconda-ks.cfg"

echo $str

eval $str

 

set$(명령어)

리눅스 명령어를 결과로 사용하기 위해서는 $(명령어) 형식을 사용

결과를 위치변수로 사용하고자 할 때는 set과 함께 사용

 

#!/bin/sh

echo "오늘 날짜는 $(date)입니다,“

set $(date)

echo "오늘은 $4 요일 입니다.“

 

cut 명령어

cut 명령어는 텍스트 파일 내용 중 부분을 지정하여 출력하는 명령어이다.

옵션

-b : byte, 특정 자리만 출력

-c : character(자리수)로 구분하여 출력

-d : 인자로 받은 문자열을 기준으로 필드를 구분함

-f : -d 옵션과 함께 사용되며, 구분된 필드를 출력

 

-b옵션 사용방법

형식

의미

N

N자리

-b1

N,M,C

N자리,M자리,O자리

-b1,3,5

N-

N자리부터 마지막까지

-b10-

N-M

N자리부터 M자리까지

-b5-10

-M

처음부터 M자리까지

-b-10

 

tr 명령어

표준 입력을 표준 출력으로 내보낼 때, 선택한 문자들에 대해서 치환이나 삭제를 수행함

 

 형식

tr 'String1' 'String2' < filename

 

옵션

-d : 제거

-s : 반복된 문자에 대해서 한 번 치환 (반복된 문자를 하나의 문자로 인식)

 

tee 명령어

명령어의 결과를 화면과 파일로 동시에 출력하는 명령어

 

 문법

명령어 | tee [옵션] 파일명

옵션

-a : 파일에 내용 이어 쓰기

-i : interrupt 무시

ex)

#who | tee -a test.out

 

awk 명령어

자료 처리 및 리포트 생성에 사용하는 프로그래밍 언어

 

 문법

awk [옵션] [‘[‘/찾을문자열/’] { 명령어 }‘] 파일명 

 

필드값 변수

$0 -> 모든 필드 (행의 값 그대로)

$1 -> 첫 번째 필드

$2 -> 두 번째 필드...

$(NF-1) -> 마지막 전 필드

$NF -> 마지막 필드

 

산술연산

echo | awk '{print 3+2}'

 

grep과 같이 패턴 검색 (행 단위)

cat /etc/passwd | grep apache

cat /etc/passwd | awl /apache/

awk /apache/ /etc/passwd

 

마지막 필드의 출력

ls -l test.out | awk '{print $NF}'

 

구분자의 사용

문법

awk -F 구분자 ‘{print $위치순번}’ 파일

예제

find ~ -name "*.sh"|awk -F/'{print $NF}'

 

grepcut의 결합 사용

awk -F : '/user1/{print "username is " $1}' /etc/passwd

 

sed 명령어

비대화형 편집기

명령 행에서 직접 편집 명령어와 파일을 지정하여 작업한 후 결과를 화면으로 확인

원본을 손상하지 않는다.

 

 문법

sed [옵션] ‘명령어파일명

옵션

n : 해당 패턴 or 실행 결과만을 출력

(기본적으로 출력되는 모든 행을 막음)

명령어

p : print 명령 사용자가 지정한 행을 출력

 

ex) '1,3p' -> 1행부터 3행까지 출력

ex) '/yang/p' -> yang이 포함된 행 출력

d : delete명령 사용자가 지정한 행을 삭제

ex) ‘3d' -> 3번째 행을 삭제

ex) '3,$d' -> 3번째 행부터 마지막까지 삭제

r : read 명령 사용자가 지정한 행을 읽어온다

ex) '3r 읽어들일파일‘ [입력할파일]

---> 입력할파일의 3번째 행에 읽어들일 파일의 내용을 읽어와 출력

a\ : append 명령 검색된 패턴 아래 행에 내용을 덧붙인다.

ex) '/패턴/a\내용‘[파일명]

--> 패턴에 일치하는 행의 다음에 내용을 삽입하여 출력

i\ : insert명령 검색된 패턴 위에 내용을 덧붙인다. a\와 사용법은 동일

s : 검색패턴을 치환함

ex) 's/string1/string2/g' 파일명

유용한 표현식

sed '10,$s/^/#/' 파일명 : 10~마지막 줄 모두 주석처리

sed '/^#/d' 파일명 : 주석처리 줄 모두 삭제

sed 's/^/ /' 파일명 : 모든 라인에 1칸 들여쓰기

sed 'a\\' 파일명 : 모든 줄마다 공백라인 추가

sed '/^$/d' 파일명 : 공백라인 제거

 

배열

1차원 배열에 최대 1024개의 요소를 가질 수 있다.

배열의 요소에는 단어나 정수를 지정할 수 있다

배열 첨자는 0부터 시작한다

 

공통 쉘 배열선언

array[0]=tom

array[1]=dan

array[2]=bill

 

배열 호출

# echo ${array[0]}

tom

# echo ${array[*]}

tom dan bill

# echo ${#array[*]}

3

du :

 

※ 이외 유용한 명령어...

sort -k -n -r 5 : 5번째 열 정렬,숫자로인식,reverse

 

echo $? - > 이전 명령 오류가 없을시 0값 리턴 *********************

 

split -l 1000 test1.txt test1_ : 라인별로 나누기

-b 100m test1.txt test1_ : 용량별로 나누기

"   -d : 숫자로 구분 (파일명)

“ -d -a[n] : n자리 수로 파일명 숫자 구분

 

head -n : n만큼 앞에서 잘라서 출력

 

tail -n : n만큼 뒤에서 잘라서 출력

'Study Note > OS' 카테고리의 다른 글

[Linux] 리눅스 커널 컴파일 (fedora)  (0) 2016.03.07
[Linux] 리눅스 커널 구조  (0) 2016.03.07
[Linux] Shell & Shell 내장 명령어  (0) 2016.02.15
[Linux] Vi Editor  (0) 2016.02.15
[Linux] 기본 명령어  (0) 2016.02.15

+ Recent posts