탐색적 데이터 분석 완전 정복 — 현장 엔지니어가 써먹는 시각화 3단계

분석을 시작하기 전에 데이터를 먼저 눈으로 봐야 한다. 탐색적 데이터 분석(EDA, Exploratory Data Analysis)은 모델을 돌리기 전에 데이터가 어떻게 생겼는지 파악하는 과정이다. 분포를 확인하고, 이상값을 감지하고, 변수 간 관계를 읽어내는 이 단계 하나가 이후 의사결정의 방향을 결정한다.

이 글에서는 탐색적 데이터 분석의 핵심 도구 세 가지 — 히스토그램, 상자그림, 산점도 — 를 중심으로, 시각화가 의사결정에 어떻게 연결되는지를 정리한다.

탐색적 데이터 분석이란 무엇인가

탐색적 데이터 분석은 한 마디로 “데이터를 모델에 넣기 전에 먼저 대화하는 과정”이다. 평균이나 표준편차 같은 숫자 하나로는 보이지 않는 것들이 있다. 동일한 평균과 분산을 가진 데이터도 분포 모양이 완전히 다를 수 있다. 이를 시각화 없이 숫자만으로 잡으려 하면 반드시 놓치는 정보가 생긴다.

EDA의 목적은 세 가지다.

분석의 시작점은 항상 모집단과 표본의 구조를 이해하는 데에서 출발한다. 내가 가진 데이터가 전체를 얼마나 대표하는지 모른 채 EDA를 시작하면, 시각화 결과를 잘못 해석하게 된다.

분포를 읽는 3가지 시각화 도구

히스토그램 — 데이터가 어디에 몰려 있는가

히스토그램은 연속형 데이터를 구간(bin)으로 나눠 각 구간에 데이터가 얼마나 쌓이는지 막대로 보여준다. 분포의 중심이 어디에 있고, 왼쪽·오른쪽으로 얼마나 기울어져 있는지를 한눈에 파악할 수 있다.

※ 아래 수치는 개념 설명을 위한 임의의 수치입니다.

F1 레이스에서 이런 상황을 상상해보자.

피트 스톱 작업 시간 100회를 히스토그램으로 그렸더니, 대부분이 2.3~2.7초에 몰려 있는데 유독 5초가 넘는 구간에 몇 개의 막대가 올라와 있다. 숫자로만 보면 평균이 2.5초로 정상범위처럼 보이지만, 히스토그램은 그 몇 번의 이상 케이스를 시각적으로 잡아낸다.

※ 이 시나리오는 개념 설명을 위한 가상의 상황입니다. 실제 F1 팀의 전략과 다를 수 있습니다.

히스토그램에서 눈여겨볼 포인트는 세 가지다.

상자그림(Box Plot) — 이상값이 어디에 숨어 있는가

상자그림은 데이터의 중앙값, 사분위수, 이상값을 한 장에 담는다. 5개의 숫자 요약(5-number summary)이 시각적으로 그려진 것이다.

상자의 세로 길이(IQR, Interquartile Range)가 좁으면 데이터가 촘촘하게 모여 있고, 넓으면 데이터가 넓게 퍼져 있다는 뜻이다. 히스토그램이 분포의 모양을 보여준다면, 상자그림은 분포의 대칭성과 이상값을 더 명확하게 잡아낸다.

여러 조건이나 그룹을 비교할 때 상자그림이 특히 유용하다. 조건 A, B, C를 나란히 놓고 비교하면 어느 조건에서 데이터가 더 흩어져 있는지, 이상값이 어느 조건에서 자주 나오는지를 한눈에 볼 수 있다.

기술통계 요약값 — 시각화 전에 숫자를 먼저 확인하라

히스토그램과 상자그림을 보기 전에 기술통계 요약값을 먼저 확인하는 것이 순서다. 평균, 중앙값, 표준편차, 최솟값, 최댓값을 함께 보면 시각화 결과를 훨씬 정확하게 해석할 수 있다.

기술통계 수치는 분포의 요약이고, 히스토그램과 상자그림은 그 요약의 시각적 번역이다. 둘을 함께 봐야 전체 그림이 보인다.

산점도로 두 변수의 관계를 읽는 법

선형관계를 먼저 눈으로 확인한다

탐색적 데이터 분석의 마지막 단계는 두 변수 사이의 관계를 파악하는 것이다. 산점도(Scatter Plot)는 X축에 한 변수, Y축에 다른 변수를 놓고 각 데이터 포인트를 점으로 찍는다. 점들이 어떤 방향으로 모여 있는지를 보면 두 변수가 함께 움직이는지 아닌지를 즉시 확인할 수 있다.

현장에서는 산점도를 그린 뒤 추세선(line-fit)을 함께 그리는 방식을 많이 쓴다. 점들이 직선 주변에 얼마나 촘촘하게 모여 있는지가 선형관계의 강도를 나타낸다. 선 주변에 촘촘하게 모이면 관계가 강하고, 점들이 사방으로 흩어져 있으면 관계가 약하다.

산점도에서 눈여겨볼 패턴은 다음과 같다.

상관계수 — 관계의 방향과 강도를 숫자로 읽는다

산점도가 눈으로 보는 관계라면, 상관계수(r)는 그 관계를 -1에서 +1 사이의 숫자로 표현한 것이다. 현장에서 두 변수가 서로 얼마나 영향을 주고받는지를 빠르게 스크리닝할 때 상관계수를 많이 쓴다.

실무에서는 여러 변수 조합을 한꺼번에 나열한 상관계수 행렬(Correlation Matrix)을 활용해 관련성 있는 변수 쌍을 빠르게 추려내는 방식을 쓴다. 변수가 10개라면 조합이 45개나 된다. 모든 조합을 산점도로 하나씩 확인하기 전에 상관계수 값으로 먼저 스크리닝하면 분석 범위를 효율적으로 좁힐 수 있다.

한 가지 주의할 점이 있다. 상관계수가 높다고 인과관계가 있는 것은 아니다. 두 변수가 함께 움직인다는 사실과, 한 변수가 다른 변수의 원인이라는 사실은 다른 이야기다. 인과관계와 상관관계의 차이를 혼동하는 순간, 데이터 분석의 결론이 현장에서 반대 방향의 의사결정으로 이어질 수 있다.

시각화가 의사결정을 바꾸는 순간

EDA에서 시각화가 중요한 이유는 단순히 “예쁜 그래프”를 위해서가 아니다. 숫자 요약이 감추고 있는 정보를 꺼내기 위해서다.

같은 평균과 표준편차를 가진 두 데이터셋이 있다고 하자. 하나는 정규분포에 가깝고, 다른 하나는 한쪽으로 크게 치우쳐 있다. 숫자만 보면 두 데이터는 동일해 보인다. 히스토그램을 그리는 순간, 그 차이가 즉시 드러난다.

시각화 단계에서 걸러내지 못한 이상값은 모델 학습에 그대로 들어가 결과를 왜곡시킨다. 분포의 치우침을 모른 채 평균값으로 기준을 잡으면 판단 기준 자체가 틀려진다. 산점도에서 보이는 비선형 패턴을 무시하고 선형 모델을 적용하면 설명력이 처음부터 낮다.

탐색적 데이터 분석은 분석의 준비 과정이 아니다. 분석 그 자체다.

핵심 요약

시각화 순서는 단변량(히스토그램·상자그림) → 이변량(산점도·상관계수) 순으로 진행하는 것이 자연스럽다. 먼저 각 변수의 분포를 파악하고, 그 다음 변수 간 관계를 탐색한다.

링크 제안

회귀분석으로 넘어가기 전에, 산점도에서 선형 패턴을 확인한 다음 단계가 궁금하다면:

• 회귀분석이란 — 도메인 지식이 머신러닝의 출발점인 3가지 이유

시각화로 찾아낸 상관관계를 인과관계로 오해하는 순간 분석이 틀어진다. 이 차이를 정확히 짚고 싶다면:

• 인과관계 상관관계 차이 — 데이터 분석에서 절대 혼동하면 안 되는 3가지 이유

통계 시각화 라이브러리를 직접 써보고 싶다면 seaborn 공식 문서에서 히스토그램, 상자그림, 산점도 예제를 바로 확인할 수 있다.

FAQ