🫀심혈관질환 분석 03-데이터 전처리

---

🚨 저번 업로드 내용에서 데이터를 불러오고, 앞으로 프로젝트를 진행할 방향을 알아보았다. 이번 포스팅에서는 데이터를 전처리해서 사용할 만한 데이터로 만드는 과정을 다룰 것이다.

🚨 먼저 데이터가 어떻게 생겼었는지 한번 더 살펴보도록 하자!!

🫀 Data Info

🚨 데이터는 위와 같이 생겼다. 이 데이터가 어떤 정보들을 가지고 있는지 알아보자.

cardio.info()

>>
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 70000 entries, 0 to 69999
Data columns (total 13 columns):
 #   Column       Non-Null Count  Dtype  
---  ------       --------------  -----  
 0   id           70000 non-null  int64  
 1   age          70000 non-null  int64  
 2   gender       70000 non-null  int64  
 3   height       70000 non-null  int64  
 4   weight       70000 non-null  float64
 5   ap_hi        70000 non-null  int64  
 6   ap_lo        70000 non-null  int64  
 7   cholesterol  70000 non-null  int64  
 8   gluc         70000 non-null  int64  
 9   smoke        70000 non-null  int64  
 10  alco         70000 non-null  int64   
 11  active       70000 non-null  int64  
 12  cardio       70000 non-null  int64  
dtypes: float64(1), int64(12)
memory usage: 6.9 MB

🚨 위에서 봤듯이 데이터는 70000명에 대한 정보를 담고 있으며, weight 를 제외한 각각의 attribute는 int64 의 자료형을 가지고 있으며, 다행히도 결측값은 하나도 없는 것을 알 수 있다.

🫀 Data adjustment

🚨 위의 데이터에서 weight와 height attribute가 있는 이유는 각 피험자들의 비만율을 알아보기 위해서라고 생각했기 때문에, 이를 좀 더 보편적인 수치로 바꿔주기 위해서 BMI 라는 수치를 사용하기로 했다.

🚨 또한 위의 데이터에서 age가 상당히 큰 수임을 확인 할 수 있었다. 아마 살아온 날짜로 나이를 표현한 것 같아, 각각을 365로 나누고 소수점 첫째자리에서 반올림해주었다.

🚨 그리고 나서 사용하지 않을 attribute인 id, height, weight를 모두 삭제했다. 코드는 아래와 같다.

cardio['age'] = cardio['age'] / 365
cardio['age'] = round(cardio['age'], 0).astype('int64').copy()
cardio['height'] = cardio['height'] / 100
cardio['BMI'] = cardio['weight'] / (cardio['height']**2)
cardio['BMI'] = round(cardio['BMI'], 2).copy()
cardio = cardio.drop(['id','height','weight'], axis = 1)
cardio.head()

🫀 Blood pressure preprocessing

🚨 일반적으로 우리가 생각하기에 심혈관 질환에 가장 큰 영향을 미치는 것은 혈압이라고 생각했기 때문에, 데이터에서 혈압에 대한 부분은 한번 짚어봐애겠다고 생각했다. 따라서 ap_hi(수축기혈압)와 ap_lo(이완기혈압) attribute 각각의 info를 확인했다.

pd.DataFrame({'ap_hi' : cardio['ap_hi'].describe(), 'ap_lo' : cardio['ap_lo'].describe()})  

>>  
	         ap_hi	         ap_lo
count	  70000.000000	  70000.000000
mean	  128.817286	  96.630414
std	  154.011419	  188.472530
min	  -150.000000	  -70.000000
25%	  120.000000	  80.000000
50%	  120.000000	  80.000000
75%	  140.000000	  90.000000
max	  16020.000000	  11000.000000

🚨 분명히 혈압에 대한 attribute 임에도 음수 또는 max 값이 10,000 이 넘는 경우가 있음을 확인할 수 있었다. 이러한 값들이 얼마나 퍼져있는지 알아보기 위해서 ap_hi, ap_lo 에 대한 box plot을 그려보았다.

# plotly library를 사용해서 Box plot 생성
fig = go.Figure()
fig.add_trace(go.Box(y=cardio['ap_hi'], name = 'ap_hi'))
fig.add_trace(go.Box(y=cardio['ap_lo'], name = 'ap_lo'))

fig.show()

🚨 본 글에 있는 box plot은 출력된 그래프를 캡처한 것이라 보이지 않지만, iplot을 사용해서 그래프를 그리면 사용자의 마우스 커서에 반응하여 각 box plot의 upper fence / lower fence를 알 수 있다. 이때 각각을 정리하면 아래와 같다.

• ap_hi : upper_fence = 170 / lower_fence = 90
• ap_lo : upper_fence = 105 / lower_fence = 65
  

🚨 이제 이 값들의 이상 / 이하에 속하는 값들을 outlier로 생각해서 없애주는 방법으로 전처리할 것이다. 또한, 일반적으로 혈압이 수축할 때가 이완할 때 보다 높아야 할 것이기 때문에 ap_hi가 ap_lo보다 낮은 행 역시 삭제해 줄 것이다.

# ap_hi (수축혈압)가 ap_lo (이완혈압)보다 낮은 행 삭제
# 조건을 만족하는 row의 index를 받아서 삭제할 인덱스로 저장 - Index 자료형
# .drop() 함수를 사용해서 삭제 진행 - 저장한 인덱스를 parameter로 받아 row 삭제

low_drop_index = cardio[(cardio['ap_hi'] < cardio['ap_lo'])].index
cardio = cardio.drop(low_drop_index).copy()

# Ap_hi Preprocessing
# 전자와 동일

drop_index_sys = cardio[(cardio['ap_hi'] < 90) | (cardio['ap_hi'] > 170)].index
cardio = cardio.drop(drop_index_sys).copy()

# Ap_lo Preprocessing
# 전자와 동일

drop_index_dias = cardio[(cardio['ap_lo'] < 65) | (cardio['ap_lo'] > 105)].index
cardio = cardio.drop(drop_index_dias).copy()
len(cardio)

64500

🚨 이렇게 혈압에 대한 전처리 결과 70000개의 행 중에서 64500개의 행만 남은 것을 확인할 수 있다. 전처리된 데이터에 대한 box plot을 그려보도록 하자.

# plotly library를 사용해서 Box plot 생성
fig = go.Figure()
fig.add_trace(go.Box(y=cardio['ap_hi'], name = 'ap_hi'))
fig.add_trace(go.Box(y=cardio['ap_lo'], name = 'ap_lo'))
fig.show()

---

🚨 이렇게 해서 주요 attribute의 전처리를 완료했다. 다음 글에서는 다른 attribute의 경우에는 이런 noisy data나 case에 해당하지 않는 경우가 있는지 확인해보도록 하자.

---