데이터 분석 프로세스

1. 오늘의 아티클

https://yozm.wishket.com/magazine/detail/1567/

데이터 분석이란 무엇일까? | 요즘IT

2. 아티클 정보 요약

데이터 분석가는 도구와 프로세스를 사용하여 데이터에서 의미를 도출하며
데이터의 수집, 수정, 조사, 분석, 인사이트 도출, 지식 내재화를 담당.

데이터의 의미와 정의
데이터는 특정 사실이나 정보의 집합을 의미.
데이터는 의사 결정과 계획 수립뿐만 아니라 스토리 텔링에도 매우 중요.

데이터의 유형

• 정성적 데이터:
  이미지, 비디오, 텍스트 문서 또는 오디오 등 (숫자가 아닌 데이터)
  측정하거나 계산할 수 없지만, 사람들이 특정한 대상을 어떻게 느끼는지 알려줌.
  이는 사람들의 감정, 동기, 의견, 인식뿐만 아니라 편견까지 포함.
  '무엇을', '왜', '어떻게'와 같은 질문에 답하는 것이 목적이며, 서술형으로 기록되는 데이터.
• 정량적 데이터:
  숫자로 표현. 주로 관찰, 설문 조사 또는 사용자 인터뷰를 통해 수집.
  셀 수 있고 측정 가능하며 비교 가능. 숫자의 크기에 관한 것이며, 수량과 평균 같은 수치를 포함함.
  '얼마나 많이', '얼마나 자주', '얼마나 오래'와 같은 질문에 답하는 것이 목적.
  정량적 데이터를 수집하고, 분석하고, 해석하는 행위를 통계 분석 수행이라고 함.
  통계 분석은 데이터의 기본 패턴과 추세를 파악하는 데 유용함.

데이터 분석이란?
데이터를 정리하고, 변환하고, 조작하고, 검사함으로써 지저분한 원시 데이터에서 유용한 인사이트를 도출하는 작업.
데이터에서 얻은 인사이트는 차트, 그래프 또는 대시보드와 같이 시각적인 형태로 표현됨.
이러한 통찰력은 기업이나 조직의 발전에 도움을 줄 수 있음.
예를 들어, 의사 결정권자는 실행 가능한 결론에 도달하고 올바른 비즈니스 결정을 내릴 수 있음.
또한, 원시 데이터에서 얻은 지식은 회사와 조직이 고객 기반을 확장하고 성과를 개선하면서 수익을 증대로 이어지는 조처를 하도록 도움을 줌
데이터 분석의 핵심은 트랜드를 식별하고 예측하며, 수집 가능한 모든 데이터로부터 패턴과 상관관계를 파악하며 복잡한 문제에 대한 해결책을 찾는 것.

데이터 분석이 중요한 이유
데이터는 지식으로 이어짐.
데이터 분석은 모든 기업에 필수적이며, 관리/회계/물류/마케팅/디자인/엔지니어링 등 모든 분야에서 매우 유용하게 활용 가능.

데이터 분석을 통한 고객 타겟팅 개선
경쟁업체를 이해하고, 제품 및 서비스를 현재 시장의 요구사항에 맞출 수 있음.
또한, 제품과 서비스에 가장 적합한 청중과 인구 통계를 도출하는 데 도움을 줌.
이를 통해 효과적인 가격 전략을 세우고 제품과 서비스의 수익성을 확보할 수 있음.
캠페인 타깃을 명확하게 지정하고, 청중에게 더 빠르고 효과적으로 도달하기 위해 어떤 광고와 콘텐츠를 사용해야 하는지도 알 수 있음.
제품이나 서비스에 적합한 잠재고객이 누구인지 안다는 것은 전반적인 전략 수립에 큰 도움이 됨.
즉, 보다 고객지향적이고 고객의 요구에 맞춘 솔루션을 제공할 수 있음.
기본적으로 적절한 정보와 도구를 사용하면 제품이나 서비스의 가치와 품질을 파악할 수 있음.
또한, 제품이나 서비스가 고객의 문제를 해결하는 데 도움이 되는지를 확신할 수 있음.
이는 결국 비용 절감과 시간 절약으로 이어지기 때문에 제품 개발 단계에서 특히 중요함.

데이터 분석은 성공과 성과를 측정한다
데이터를 분석하면 여러분의 제품과 서비스가 경쟁사와 비교하여 시장에서 얼마나 경쟁력이 있는지 측정할 수 있음.
먼저, 과거에 가장 큰 성공을 거두고 원하는 결과를 얻은 영역이 어디인지, 즉 나의 강점을 파악할 수 있음.
그리고 어려움에 부닥친 취약한 영역을 찾아낼 수 있음.

데이터 분석 프로세스

1단계: 답변이 필요한 질문 인식 및 식별

데이터 분석을 위해선 명확한 목표를 설정하여 분석을 수행하는 이유를 먼저 생각하는 것이 중요

• 해결하려는 문제
• 데이터 분석의 목적
• 이를 통해 무엇을 하려 하는가
• 무엇을 달성하고 싶나
• 최종 목표는?
• 분석을 통해 무엇을 얻고자 하나
• 데이터 분석이 왜 필요한가

이 단계에서는 비즈니스 목표에 대한 이해도와 인사이트가 가장 중요함.
답을 구하고자 하는 질문을 도출하고 장단기 비즈니스 목표를 정의하는 것으로 시작해야 함.
분석에 무엇이 필요한지, 어떤 종류의 데이터가 필요한지, 어떤 데이터를 추적하고 측정하고 싶은지 파악하고, 해결하고자 하는 문제가 무엇인지 생각해보기

2단계: 원시 데이터 수집

수집하려는 데이터 유형이 정성적 (비수치적, 설명적)인지 정량적 (숫자적)인지 분류.
데이터를 수집하는 방법과 수집하는 소스는 정성적인지 정량적인지에 따라 달라짐

아래와 같은 방법으로 관련성 있고 적절한 데이터를 수집할 수 있음

• 사용자 그룹, 설문 조사, 양식, 설문지, 내부 문서, 기억에서 이미 수행한 인터뷰 결과
• 고객 리뷰와 고객 만족도에 대한 피드백
• 거래 및 구매 내역 기록, 비즈니스 재무 또는 마케팅 부서에서 만든 자료 및 재무 수치 보고서
• 회사에서 사용하는 CRM (고객 관계 관리 시스템)
• 웹사이트 및 소셜 미디어 활동과 월간 방문자를 현황 모니터링
• 소셜 미디어 고객 참여를 모니터링
• 자주 검색되는 키워드와 검색어 추적하기
• 사람들이 어떤 광고가 자주 클릭하는지 확인하기
• 고객 전환율 확인하기
• 이메일 오픈율을 확인하기
• 타사 서비스를 사용하여 회사의 데이터를 경쟁업체와 비교하기
• 데이터베이스 쿼리
• 웹 스크래핑을 통한 공개 데이터셋 수집

3단계: 데이터 정제

하나 이상의 소스에서 데이터를 수집하는 것만이 아닌, 해당 데이터의 구조를 이해하고 있는 것이 중요.
필요한 데이터를 모두 수집했는지, 중요한 데이터가 누락되었는지 확인할 수 있어야 함.

다양한 소스에서 수집했다면 데이터가 구조화되어있지 않을 수 있음
데이터의 오류를 수정하고 데이터를 가다듬는 '데이터 정제' 작업이 필요함

• 아웃라이어 (비정상적으로 크거나 작은 값) 찾기
• 오타 수정
• 데이터 오류 제거
• 중복 데이터 제거
• 형식의 불일치 수정
• 누락된 값 확인
• 잘못된 데이터 수정
• 일관성이 떨어지는 데이터 수정
• 관련성이 없는 데이터와 분석에 유용하지 않는 데이터 제거

데이터 정제 과정을 통해 데이터의 품질을 높이고, 정확한 데이터에 초점을 맞추어 분석을 수행할 수 있음.
관련이 없거나 잘못된 데이터로는 잘못된 분석 결과 도출하게 되므로 신뢰할 수 없음.

4단계: 데이터 분석

1단계에서 정의한 질문과 목표에 따라 데이터를 분석하게 되며, 비즈니스의 목표와 방향성에 따라 4가지 다른 데이터 분석 기술이 사용됨.

• 기술적 분석 (Descriptive Analysis): 분석 프로세스의 기본이자 가장 첫 단계.
  수집된 데이터를 요약하며, "무슨 일이 일어났지?" 현재 상태를 분석하는 것이 목표.
  데이터의 핵심 포인트를 살피고, 이미 벌어진 일에 집중.
• 진단적 분석 (Diagnostic Analysis): 수집된 데이터로 당면한 문제의 원인을 이해하고 패턴을 찾아내는 단계.
  "왜 이런 일이 일어났지?" 원인을 분석하는 것이 목표
• 예측 분석 (Predictive Analysis): 미래 트랜드를 감지하고 예측하는 단계
  기업의 미래 성장에 중요한 인사이트를 도출해야 하므로, "앞으로 어떤 일이 벌어질까?" 를 파악하는 것이 목표.
• 처방적 분석 (Prescriptive Analysis): "무엇을 해야 할까?" 해결책을 찾아내는 것을 목표로 함.
  위 세 단계에서 얻은 모든 인사이트를 하나로 모아, 앞으로 다가올 일에 대한 대비책을 세우고 실행 가능한 계획을 수립하는 단계.

5단계: 결과 공유

데이터 분석 결과를 모두가 해석하기 용이하도록 정리하여 공유하는 단계.
이 단계는 의사 결정과 회사의 향후 비즈니스에 영향을 미치게 됨.
데이터 시각화 도구를 이용하여 보고서, 차트, 그래프, 대화형 대시보드를 생성하여 분석 결과를 해석하기 용이하게 정리할 수 있음.

데이터 분석가는 스토리텔러이며, 훌륭한 커뮤니케이션 스킬은 큰 도움이 됨.
데이터를 취합하고 내러티브를 만들어 명확하고 직관적이며 간결하게 결과를 제시해야 함.

[데이터 분석에 필요한 기술]

• 수학과 통계: 대학 대수학, 미적분, 통계, 프로그래머를 위한 수학 과정
• SQL 및 RDB에 대한 지식
• 프로그래밍 언어 지식 (Pandas/Numpy, R)
• 데이터 시각화 도구: Tableau, Apache Superset
• 엑셀

3. 인사이트

• 데이터 분석 과정은 단계마다 데이터를 깊이 생각하고 이해하는 과정이 필요
• 데이터를 분석하는 과정에서 최초의 목표를 잊지 않는 것이 중요
• 분석 방법을 다양하게 알수록 데이터를 더 넓은 시각으로 해석할 수 있음