EDW

개념
- RTE 환경에서 기업 리소스의 유기적 통합, 다원화된 관리 체계 정비, 데이터의 중복방지 등을 위 해 DW를 전사적으로 확장한 정보인프라

I. RTE실현을 위한 도구, EDW의 개요

가. EDW의 도입필요성

  • 전사차원의 경영 전략 수립 및 실행에 있어 데이터 분석을 통한 신속한 의사결정이 기업의 성장과 가치를 창출

 

나. EDW의 정의

  • RTE 환경에서 기업 리소스의 유기적 통합, 다원화된 관리 체계 정비, 데이터의 중복방지 등을 위해 DW를 전사적으로 확장한 정보인프라

 

다. EDW의 특징

단일 DATA View

사실의 단일 버전 제공

다양한 주제영역들

복수의 업무 영역들 지원

MixedWorkload의 최적화

사용자의 접근 허용과 Data Mart의 양육

동적인 환경에서 유연성과 성능 고려

명세/이력Data의 축적

적절한 요약 혹은 집계 data를 생성시킬 수 있는 분석 기반임

Data추적성과 동기화

항상 해당 운영 data를 추적, 동기화

선택이 아닌 필수

고가용성(no downtime), 업무지속성(장애 극복 및 복구)이 보장

확장성

필요한 확장성을 선형적으로 보장

 

II. EDW의 구성과 구성요소

가. EDW의 구성도와 구성요소

  • BI(Business Intelligence)애플리케이션을 위한 데이터 인프라 역할 강조

 

나. EDW 아키텍처

 

다. EDW 구성요소

구성 요소

설명

DW

(Data Warehouse)

- 기간계의 주요데이터를 주제별로 통합하여 현업 부서의 정보분석 요구를 신속히 충족시키는 시스템

- 기업의 정보기반이 되는 인프라를 구축과 IT부서 도움 없이 엑세스 하는 방법을 제공

ETL/ETT

- 데이터의 추출(Extract), 가공(Transformation,), Load/

Transportation(전송)

- 데이터를 소스 시스템에서 추출하여 Data Warehouse에 LOAD시켜 정제 작업까지의 전과정

ODS

- Operational Data Store

- 운영계 시스템에서 데이터를 추출하여 ODS에 저장

- 다차원 모델링이 아니라 ER모델링으로 되어있음

DM

(Data Mart)

- 소수의 사용자들이 제한된 주제를 가지고 소규모의 데이터를 추출하여 구축한 시스템

- 일반적으로 부서별 다양한 분석, 예측을 위해 만들어짐

OLAP

- Online Analytical Processing

- 최종 사용자가 DW의 다차원 정보에 접근하여 대화식 으로 정보 분석, 의사결정에 활용

- 복잡한 실세계를 다차원을 통하여 분석하고자 하는 새로운 데이터 질의 방법

Metadata

- EDW Repository에 저장될 Data의 요약 정보, 위치 등의 정보를 저장 관리 기능

 

III. EDW의 구축 절차 및 DW와 비교

가.EDW 구축절차

단계

프로세스

내용

1

업무분석,

운영계 시스템의 통계 정보, 업무 매뉴얼을 취합

하여 전반적인 업무 이해 및 가치있는 데이터 식별

2

운영계 reverse modeling

운영계 데이터베이스의 구조 정보, 시스템 분석, 설계 산출물을 근거로 하여 ERD를 도출

3

ODS모델링 및 ETT

이력데이터 관리, 전략정보로 쉽게 활용될 수 있는 구조로 ODS설계 이상과 같은 요건을 갖춘 ODS 모델의 설계 후 운영계 Database로부터 데이터를 추출, 가공, 이관하여 ODS 데이터화하기 위한 ETT 프로그램 작성 , 데이터 클렌징

4

DM설계

Dimension과 Measurement를 확정하고 이 둘간의 연관성을 결정

5

ODS 및 DM

성능개선

작성된 ODS 및 DM ETT 프로그램이 최적화된 성능

을 발휘할 수 있도록 옵티마이징 팩터 조정 및 SQL 튜닝

6

OLAP 큐브 설계 및 개발

DW 프로젝트 마지막 단계로서 DM으로로부터 데이터를 읽어서 큐브를 생성하고, OLAP툴로 조회

7

위험관리

RIsk 측정, Monitoring, Risk 분석 및 활용

8

EDW System 운영

BI

 

나. EDW와 DW의 비교

특징

EDW

DW

통합대상

기업 내/외부 데이터

주로 기업내부 데이터

처리

실시간 처리지향

Batch에 의존

기술

EAI와 같은 통합기술, DW기술

주로 분석 데이터

데이터

Transaction data, 분석 data

주로 분석 데이터

정보시스템

RTE 통합시스템

ERP, MIS, CRM

 

IV. EDW 도입시 고려사항

가. 프로세스 차원 통합

  • 단순한 데이터 통합이 아닌 정제되고 최적화된 프로세스 차원의 데이터 통합이 필요
  • 다양한 시스템간의 인터페이스를 통한 데이터 통합
  • 표준화된 데이터 통합을 기초로 하는 프로세스 개선기반의 DW확장모델

 

나. EDW 구축의 한계

  • 고용량의 서버에 단순히 DW를 크게 만들어 놓는 잘못된 구성방법
  • 대용량 데이터 분석 처리 기술의 성능문제(고급분석활용)
  • 각 시스템에서 비 표준화된 데이터의 통합 문제 이슈
  • 대용량 데이터의 백업과 복구 문제

 

다. EDW(Enterprise Data Warehouse) 시장 동향

  • 근래 들어 전 산업에 걸쳐 고르게 EDW 수요가 증가 하고 있으며,  도입 초기에는 금융권, 유통 쪽에서 시작을 하였지만, 근래에는 통신, 공공기관을 중심으로 구축을 완료했거나 진행중
  • 기존에 EDW를 구축한 기업에서는 고도화를 통해 새로운 활용처를 모색 하게 되었고, 보다 고급화되고 정밀한 분석을 위해 즉시성의 데이터 요구가 생기게 되었다

댓글