빅데이터 분석기사) 분석 작업 계획
1. 데이터 확보 계획 : 빅데이터 분석 목적 달성을 위해 데이터 특성에 맞는 수집 방법을 선정한다.
(1) 데이터 획득 방안 수립
-내외부의 다양한 시스템으로부터 정형/비정형/반정형 데이터를 수집하기 위한 구체적인 방안을 수립한다.
-내부 데이터 획득에는 부서 간 업무협조와 개인정보보호 및 정보보안과 관련된 문제점을 사전에 점검하고,
외부 데이터 획득은 시스템 간 다양한 인터페이스와 법적인 문제점을 고려해 상세한 계획을 수립한다.
(2) 데이터 확보 계획 수립 절차
목표 정의 > 요구 사항 도출 > 예산안 수립 > 계획 수립
목표 정의 : 성과 목표 정의, 성과 지표 정의
내용 - 비즈니스 도메인 특성 적용, 구체적인 성과 목표 정의, 성과 측정을 위한 지표 도출
요구사항 도출 : 데이터 및 기술 지원 등과 관련된 요구사항 도출
내용 - 필요 데이터 확보 및 관리 계획, 데이터 정제 수준, 데이터 저장 형태, 기존 시스템 및 도구 활용 여부, 플랫폼 구축 여부
예산안 수립 : 자원 및 예산 수립
내용 - 데이터 확보 , 구축, 정비, 관리 예산
계획 수립 : 인력 투입 방안, 일정 관리, 위험 및 품질관리
내용 - 프로젝트 관리 계획 수립, 범위/일정/인력/의사소통 방안 수립
2. 분석 절차 및 작업 계획
(1) 빅데이터 분석 절차
문제인식 > 연구조사 > 모형화>자료 수집 > 자료 분석>분석결과 공유
-문제인식
비즈니스 문제와 기회를 인식하고 분석 목적을 정의
분석 주제 정의, 문제는 가설의 형태로 정의
-연구조사
목적 달성을 위한 각종 문헌 조사
조사 내용을 해결 방안에 적용
중요한 변화 요소 조사
-모형화
복잡한 문제를 분리하고 단순화하는 과정
많은 변수가 포함된 현실문제를 특징적 변수로 정의
문제를 변수간 관계로 정의
-자료 수집
데이터 수집, 변수 측정 과정
기존 데이터 수집, 분석이 가능한지 검토
기존 데이터 수집이 불가한 경우 추가 데이터 수집
-자료 분석
수집된 자료에서 의미 찾기
수집된 자료에서 변수들 간 관계 분석
기초 통계부터 데이터 마이닝 기법 활용
-분석결과 공유
변수 간의 관련성을 포함한 분석결과 제시
의사결정자와 결정 공유
표, 그림, 차트를 활용해 가시화
(3) 빅데이터 분석 작업 WBS 설정
데이터 분석 과제 정의
분석목표 정의서를 기준으로 프로젝트 전체 일정에 맞게 사전 준비를 하는 단계
단계별 필요 산출물, 주요 보고 시기 등으로 구분해 세부 단위별 일정과 전체 일정이 예측될 수 있도록 일정을 수립
데이터 준비 및 탐색
데이터 처리 엔지니어와 데이터 분석가의 역할을 구분해 세부 일정이 만들어지는 단계
분석목표 정의서에 기재된 내용을 중심으로 데이터 처리 엔지니어가 필요한 데이터를 수집하고 정리하는 일정을 수립
데이터 분석가가 분석에 필요한 데이터들로부터 변수 후보를 탐색하고 최종적으로 도출하는 일정 수립
데이터 분석 모델링 및 검증
데이터 준비 및 탐색이 완료된 이후 데이터 분석 가설이 증명된 내용을 중심으로 데이터 분석 모델링을 진행하는 단계
데이터 분석 모델링 과정에 대해서는 실험방법 및 절차를 구분
기획하고 검증하는 내용에 대해 자세한 일정을 수립
산출물 정리
데이터 분석단계별 산출물을 정리하고, 분석 모델링 과정에서 개발된 분석 스크립트 등을 정리해 최종 산출물로 정리