EDW
태그 :
- 개념
- - RTE 환경에서 기업 리소스의 유기적 통합, 다원화된 관리 체계 정비, 데이터의 중복방지 등을 위 해 DW를 전사적으로 확장한 정보인프라
I. RTE실현을 위한 도구, EDW의 개요
가. EDW의 도입필요성
- 전사차원의 경영 전략 수립 및 실행에 있어 데이터 분석을 통한 신속한 의사결정이 기업의 성장과 가치를 창출
나. EDW의 정의
- RTE 환경에서 기업 리소스의 유기적 통합, 다원화된 관리 체계 정비, 데이터의 중복방지 등을 위해 DW를 전사적으로 확장한 정보인프라
다. EDW의 특징
단일 DATA View |
사실의 단일 버전 제공 |
다양한 주제영역들 |
복수의 업무 영역들 지원 |
MixedWorkload의 최적화 |
사용자의 접근 허용과 Data Mart의 양육 동적인 환경에서 유연성과 성능 고려 |
명세/이력Data의 축적 |
적절한 요약 혹은 집계 data를 생성시킬 수 있는 분석 기반임 |
Data추적성과 동기화 |
항상 해당 운영 data를 추적, 동기화 |
선택이 아닌 필수 |
고가용성(no downtime), 업무지속성(장애 극복 및 복구)이 보장 |
확장성 |
필요한 확장성을 선형적으로 보장 |
II. EDW의 구성과 구성요소
가. EDW의 구성도와 구성요소
- BI(Business Intelligence)애플리케이션을 위한 데이터 인프라 역할 강조
나. EDW 아키텍처
다. EDW 구성요소
구성 요소 |
설명 |
DW (Data Warehouse) |
- 기간계의 주요데이터를 주제별로 통합하여 현업 부서의 정보분석 요구를 신속히 충족시키는 시스템 - 기업의 정보기반이 되는 인프라를 구축과 IT부서 도움 없이 엑세스 하는 방법을 제공 |
ETL/ETT |
- 데이터의 추출(Extract), 가공(Transformation,), Load/ Transportation(전송) - 데이터를 소스 시스템에서 추출하여 Data Warehouse에 LOAD시켜 정제 작업까지의 전과정 |
ODS |
- Operational Data Store - 운영계 시스템에서 데이터를 추출하여 ODS에 저장 - 다차원 모델링이 아니라 ER모델링으로 되어있음 |
DM (Data Mart) |
- 소수의 사용자들이 제한된 주제를 가지고 소규모의 데이터를 추출하여 구축한 시스템 - 일반적으로 부서별 다양한 분석, 예측을 위해 만들어짐 |
OLAP |
- Online Analytical Processing - 최종 사용자가 DW의 다차원 정보에 접근하여 대화식 으로 정보 분석, 의사결정에 활용 - 복잡한 실세계를 다차원을 통하여 분석하고자 하는 새로운 데이터 질의 방법 |
Metadata |
- EDW Repository에 저장될 Data의 요약 정보, 위치 등의 정보를 저장 관리 기능 |
III. EDW의 구축 절차 및 DW와 비교
가.EDW 구축절차
단계 |
프로세스 |
내용 |
1 |
업무분석, |
운영계 시스템의 통계 정보, 업무 매뉴얼을 취합 하여 전반적인 업무 이해 및 가치있는 데이터 식별 |
2 |
운영계 reverse modeling |
운영계 데이터베이스의 구조 정보, 시스템 분석, 설계 산출물을 근거로 하여 ERD를 도출 |
3 |
ODS모델링 및 ETT |
이력데이터 관리, 전략정보로 쉽게 활용될 수 있는 구조로 ODS설계 이상과 같은 요건을 갖춘 ODS 모델의 설계 후 운영계 Database로부터 데이터를 추출, 가공, 이관하여 ODS 데이터화하기 위한 ETT 프로그램 작성 , 데이터 클렌징 |
4 |
DM설계 |
Dimension과 Measurement를 확정하고 이 둘간의 연관성을 결정 |
5 |
ODS 및 DM 성능개선 |
작성된 ODS 및 DM ETT 프로그램이 최적화된 성능 을 발휘할 수 있도록 옵티마이징 팩터 조정 및 SQL 튜닝 |
6 |
OLAP 큐브 설계 및 개발 |
DW 프로젝트 마지막 단계로서 DM으로로부터 데이터를 읽어서 큐브를 생성하고, OLAP툴로 조회 |
7 |
위험관리 |
RIsk 측정, Monitoring, Risk 분석 및 활용 |
8 |
EDW System 운영 |
BI |
나. EDW와 DW의 비교
특징 |
EDW |
DW |
통합대상 |
기업 내/외부 데이터 |
주로 기업내부 데이터 |
처리 |
실시간 처리지향 |
Batch에 의존 |
기술 |
EAI와 같은 통합기술, DW기술 |
주로 분석 데이터 |
데이터 |
Transaction data, 분석 data |
주로 분석 데이터 |
정보시스템 |
RTE 통합시스템 |
ERP, MIS, CRM |
IV. EDW 도입시 고려사항
가. 프로세스 차원 통합
- 단순한 데이터 통합이 아닌 정제되고 최적화된 프로세스 차원의 데이터 통합이 필요
- 다양한 시스템간의 인터페이스를 통한 데이터 통합
- 표준화된 데이터 통합을 기초로 하는 프로세스 개선기반의 DW확장모델
나. EDW 구축의 한계
- 고용량의 서버에 단순히 DW를 크게 만들어 놓는 잘못된 구성방법
- 대용량 데이터 분석 처리 기술의 성능문제(고급분석활용)
- 각 시스템에서 비 표준화된 데이터의 통합 문제 이슈
- 대용량 데이터의 백업과 복구 문제
다. EDW(Enterprise Data Warehouse) 시장 동향
- 근래 들어 전 산업에 걸쳐 고르게 EDW 수요가 증가 하고 있으며, 도입 초기에는 금융권, 유통 쪽에서 시작을 하였지만, 근래에는 통신, 공공기관을 중심으로 구축을 완료했거나 진행중
- 기존에 EDW를 구축한 기업에서는 고도화를 통해 새로운 활용처를 모색 하게 되었고, 보다 고급화되고 정밀한 분석을 위해 즉시성의 데이터 요구가 생기게 되었다