DW 어플라이언스
태그 :
- 개념
- DW appliance의 정의 - 스토리지, 서버, OS, DBMS와 최적화된 소프트웨어로 통합, 일체형으로 구성된 데이터웨어하우징 솔루션 - 어플라이언스(Appliance)란 운영체제와 소프트웨어를 설치하거나 설정하지 않고 구입해서 전원만 접속하면 곧바로 사용할 수 있는 정보기기를 말함
I. 고성능 데이터웨어하우스 구현 DW Appliance의 개요
가. DW appliance의 정의
- 스토리지, 서버, OS, DBMS와 최적화된 소프트웨어로 통합, 일체형으로 구성된 데이터웨어하우징 솔루션
- 어플라이언스(Appliance)란 운영체제와 소프트웨어를 설치하거나 설정하지 않고 구입해서 전원만 접속하면 곧바로 사용할 수 있는 정보기기를 말함
나. DW Appliance의 도입 배경
- 기존 데이터웨어하우스가 증가하는 정보량을 따라가지 못하고 있음
- 개발ㆍ변경 과정이 복잡하고 현업의 다양한 요구사항을 신속하고 정확하게 반영할 수 없음
다. DW appliance 도입의 필요성
기존 DB의 문제점 |
아키텍처 방향 |
DW appliance의 요건 |
-Data 및 User수의 증가로 인한 시스템 성능저하 -신기술 접목에 대한 대처 능력 저하 -시스템 Resource Upgrade에 대한 한계 -DBMS Version Upgrade에 대한 한계 -장애 발생시Recovery에 많은 시간 소요 |
-IT 운영 통합 -유연하고 효율적인 인프라 스트럭처 개발
-폭발적인 데이터량 증가 및 급격한 성능저하 대응 방안
-IT 인프라 최적화와 비즈 니스 민첩성 동시 요구 |
-고정된HW 구성 -DW용으로 튜닝된 DBMS -고가용성을 위한 이중화
-서버, 스토리지–DBMS 등 모든 구성요소를 단일벤더가 제공 -어플라이언스에 로드되는 원시데이터의 총량을 기준으로 환경 구성 |
II. DW Appliance 개념도
가. DW Appliance의 개념
- 고성능 아키텍처 기반, 성능에 최적화된 DW용으로 설계된 DBMS 탑재
- 모든 구성요소가 단일벤더에서 제공하는 제품으로 구성됨
- 고성능 확장과 고가용성을 목표로 이중화 구성
나. DW Appliance 개념도
- DW Appliance는 기존 데이터웨어하우스의 Data증가, 사용량 증가 등 시스템 성능 저하에 대처하기 위해 DW에 최적화돼 개발된 일체형 Appliance
- 최근 IT 인프라의 최적화 요구에 따라 등장하여 IT 통합 운영 및 관리환경에 맞춤형 솔루션 제공
III. DW Appliance의 특장점 및 아키텍처
가. DW Appliance의 특장점
유형 |
설명 |
고성능 |
- 종래의 DW 시스템보다 최소 10-100배 더 빠른 쿼리 성능 제공 - 상세 데이터 혹은 대량 데이터(예: 명세 Fact 테이블, 구매이력 Fact 테이블)의 검색에 대한 초병렬 고속 처리 지원 - 실시간 분석을 위한 Query 실행화 데이터 적재 병행 - 데이터 집계(Summarization 또는 Aggregation)를 얻기 위한 불필요한 리소스(물리설계,집계성 테이블, ETL 처리, CPU/메모리/디스크 볼륨 등)제거 |
저비용 |
- 한 개의 벤더에서 Total 솔류션 제공 - 다양한 BI 어플리케이션과의 개방형 Interface 제공 - 관리비용의 절감 (SA/DBA/Consulting 인력 감소) |
간편성 |
- BI 어플리케이션과의 표준 인터페이스(ODBC, JDBC, OLE-DB)와 ANSI-SQL 제공 - 실제 사용 어플리케이션을 위한 최소의 확장 설치시간 - 간편한 시스템 확장 방안 제공 및 간편한 업그레이드와 패치 기능 제공 |
나. DW Appliance 아키텍처
- 대용량 데이터의 최적 성능을 실현하는 초병렬 처리 아키텍처 (AMPP: Asymmetric Massively Parallel Processing) 구현
- 일괄 데이터 로딩 및 성능 확장을 위한 확장 메커니즘 제공
- 초절전 소비전략과 공조 설비 요건 구비
다. 기존 데이터웨어하우스와 데이터웨어하우스 어플라이언스 비교
기존 데이터웨어하우스 |
|
데이터웨어하우스 어플라이언스 |
최대 수백만달러 단위 |
초기 비용 |
최대 백만달러 내외 |
필수 |
성능 튜닝 |
최소 혹은 필요 없음 |
필수 |
데이터 모델링 |
최소 |
수개월 |
구축 기간 |
기존 방식의 1/4~1/3 |
DBMS, OS, 서버, 스토리지 등 별도 업그레이드/추가 비용 발생 |
업그레이드 |
주로 유지보수 계약으로 한 번에 해결 |
DBMS, OS, 서버, 스토리지 등 별도 관리 인력 필요 |
관리/인력 |
관리 인력 최소 |
IV. DW appliance의 기능 및 성능 평가 위한 POC와 BMT
가. DW appliance 도입 위한 사전 기능 점검 위한 POC 수행 시나리오
POC 수행 배경 |
수행 목적 |
POC 수행 요소 |
DW 시스템에 대한 개선 필요성 |
-배치작업의 성능 저하로 인한 영업 부서의 업무 처리 지연 및 불만 -대량 데이터의 분석 성능 저하로 인한 비효율성 개선과 신규 분석 업무의 추가 |
-장시간 소요되는 배치작업 및 Query 선정 -현행 시스템의 성능 시간 제공 -DML의 병렬 처리 -불필요한 Index 삭제 -SQL Hint – FULL 사용 -Query는 수정 없이 실행 |
POC 목적 |
-기존 DW 시스템의 성능 개선과 업무 확장을 위한 DW appliance의 적합성 검토 -업무 로직의 최소한의 변경만을 통한 성능 극대화 |
나. 성능 점검 위한 BMT(Benchmarking Test) 시나리오
항목 |
내용 |
시나리오 |
평가방법 |
데이터적재성능 |
대량 데이터 초기적재 테스트 |
-적재1 : 대용량 테이블 1개를 단독으로 적재 -적재2 : 대용량 테이블 3개를 동시에 적재 |
적재 시간 측정 |
데이터 조회 위한 추가 데이터 적재 수행 |
-적재1 : 100개 테이블 동시 적재 |
적재 시간 측정 |
|
순차질의 |
순차적인 대용량 질의 수행 -정형 프로그램 수행 성능 평가 -비정형 조회 수행 성능 평가 |
-추출을 위한 절차적 프로그램 수행 후 파일 생성 -적재를 위한 배치성 프로그램 수행 -조회를 위한 비정형 쿼리 수행 |
수행 시간 및 데이터 정합성 |
OLTP 질의 |
동시에 단순 질의를 대량의 세션에서 반복적으로 수행 |
-500 개 OLTP SQL 동시 수행 (최소 50개 이상 세션 유지) -1000 개 OLTP SQL 동시 수행 (최소 50개 이상 세션 유지) |
총 수행시간 및 1초 이내 수행 SQL 수 |
Mixed Workload |
비정형 질의, 배치성 정형 쿼리, OLTP성 쿼리 및 CDC 작업을 동시 수행하여 Workload를 확인함. |
-추출을 위한 배치성 프로그램 쿼리를 동시에 수행 -적재를 위한 정형 프로그램 동시 수행 -조회를 위한 비정형 쿼리를 동시에 수행 -5개 테이블에 대한 Batch Update (총1300 만 건 Update ) CDC |
-개별 작업 소요 시간 및 총 소요시간 -CDC 작업 정합성 |
가용성 |
H/W 장애 대응 |
적재 작업 시 비정상 종료 수행 시 복구 후 성능 및 상태 확인 |
H/W 비 정상 종료 시의 영향도와 장애 후의 성능 평가 |
압축 |
지원하는 압축 기능 확인 후 해당 압축률과 압축 후 질의 성능을 확인
|
-압축 대상 Table 및 Query를 확인 -대상 table을 압축하여 압축률을 확인하고, 비정형 쿼리를 수행하여 소요시간을 확인 |
-압축률을 확인하여 압축 성능을 측정함. -압축된 테이블에 대한 질의 성능을응답시간으로 측정함. |
V. DW appliance 이관 절차 및 고려 사항
가. DW appliance 이관 프로세스
- 현행 여러DB원천 정보에서 DW appliance Migration 작업이 원활히 이루어질 수 있는 절차로 진행하며 작업완료 후 안정적인 운영 환경 구축이 되도록 연관작업에 대한 확인이 필요
나. DW appliance 이관 시 고려 사항
항목 |
주요내용 |
사전교육 |
전담인력 조직 구성 및 R&R 정의, 새로운 기능 및 시스템 구성에 대한 사전 교육 |
Data 신뢰성 |
Legacy system의 Data cleansing 작업 및 변환 시 데이터 정확성, 일관성 유지 |
통합테스트 |
Migration 사전 테스트 통한 에러 예방 |
현업의 협조 |
이관 대상 및 Mapping 과정에 대한 검증 위해 현업 담당자와의 업무 공조가 핵심 |
이행 방안 마련 |
별개의 동일 장비 구성 통한 지속적 test 수행 Test 자료 근거로 한 migration 방법 결정 |