🏆🏆 1. 미국의 state 별 면적 당 인구수 구하기(2)

---

🏆 저번 포스팅에 이어 이번에는 전처리한 데이터를 가지고 우리가 원하는 형태로 변경해보자.

3. area / abb 병합

🏆 area 데이터의 state를 약어로 나타내기 위해 둘을 병합하여 정리해준다.
🏆 우선 두 데이터를 간단히 살펴보자.

area.head()

>>
        state	  area(sq. mi)
0	Alabama	     52423
1	Alaska	     656425
2	Arizona	     114006
3	Arkansas     53182
4	California   163707

abb.head()

>>
        state	   abbreviation
0	Alabama	        AL
1	Alaska	        AK
2	Arizona	        AZ
3	Arkansas	AR
4	California	CA

두 데이터에 공통으로 있는 state 열을 기준으로 병합해주고, 모든 데이터를 가져오기 위해 outer join 해준다.
병합 후에 두 데이터 중 하나의 데이터에만 있는 정보는 NaN 값이 될 가능성이 있기 떄문에 null 값 유무도 확인해야한다.

area_abb = pd.merge(area, abb, on = 'state', how = 'outer')
area_abb.head()

>>
        state	  area (sq. mi)	abbreviation
0	Alabama	      52423	    AL
1	Alaska	      656425	    AK
2	Arizona	      114006	    AZ
3	Arkansas      53182	    AR
4	California    163707	    CA

area_abb.isnull().sum()

>>
state            0
area (sq. mi)    0
abbreviation     1
dtype: int64

abbreviation 열에 NaN 값이 있다. 어디서 나온 건지 확인해보자.

area_abb[area_abb['abbreviation'].isnull()]

>>
	state	      area (sq. mi)	abbreviation
51	Puerto Rico	  3515	            NaN

Puetro Rico 의 약어가 정해지지 않은 걸 볼 수 있다.
fillna() 함수를 통해 NaN 값을 PR로 채워주자.

area_abb = area_abb.fillna("PR")
area_abb[area_abb['state'] == 'Puerto Rico']

>>
	state	      area (sq. mi)	abbreviation
51	Puerto Rico	  3515	            PR

🏆 이렇게 area 데이터와 abbreviation 데이터를 병합한 area_abb 데이터를 완성했다.
🏆 이제 원하는 인구수 정보를 가지고 있는 population 데이터와 병합해보자.

4.population과 병합

4.1. pop_tot 과 병합

---

pop_tot.head()

	abbreviation	ages	year	population
1	     AL	        total	2012	4817528.0
3	     AL	        total	2010	4785570.0
5	     AL	        total	2011	4801627.0
6	     AL	        total	2009	4757938.0
9	     AL	        total	2013	4833722.0

area_abb.head()

>>
        state	  area (sq. mi)	abbreviation
0	Alabama	      52423	    AL
1	Alaska	      656425	    AK
2	Arizona	      114006	    AZ
3	Arkansas      53182	    AR
4	California    163707	    CA

pop_tot 데이터와 area_abb 데이터에 공통으로 들어가있는 abbreviation 을 기준으로 병합하고, outer join 해주자.
이 경우도 NaN 값이 있는지 확인해야한다.

final_tot = pd.merge(pop_tot, area_abb, on = 'abbreviation', how = 'outer')
final_tot

>>

    abbreviation    ages	year	population	state	    area (sq. mi)
0	AL	    total	2012	4817528.0	Alabama	    52423.0
1	AL	    total	2010	4785570.0	Alabama	    52423.0
2	AL	    total	2011	4801627.0	Alabama	    52423.0
3	AL	    total	2009	4757938.0	Alabama	    52423.0
4	AL	    total	2013	4833722.0	Alabama	    52423.0
        ...	...	...	...	...	...	...
1257	USA	    total	2013	316128839.0	NaN	    NaN
1258	USA	    total	2009	306771529.0	NaN	    NaN
1259	USA	    total	2010	309326295.0	NaN	    NaN
1260	USA	    total	2011	311582564.0	NaN	    NaN
1261	USA	    total	2012	313873685.0	NaN	    NaN

1262 rows × 6 columns

final_tot.isnull().sum()

>>
abbreviation      0
ages              0
year              0
population        0
state            24
area (sq. mi)    24
dtype: int64

NaN 값이 있기 때문에 어디서 나온 값인지 확인하자.

final_tot[final_tot['state'].isnull()]

>>
	abbreviation	ages	year	population	state	area (sq. mi)
1238	    USA	        total	1990	249622814.0	NaN	NaN
1239	    USA	        total	1991	252980942.0	NaN	NaN
1240	    USA	        total	1992	256514231.0	NaN	NaN
1241	    USA	        total	1993	259918595.0	NaN	NaN
1242	    USA	        total	1994	263125826.0	NaN	NaN
1243	    USA	        total	1995	266278403.0	NaN	NaN
1244	    USA	        total	1996	269394291.0	NaN	NaN
1245	    USA	        total	1997	272646932.0	NaN	NaN
1246	    USA	        total	1998	275854116.0	NaN	NaN
1247	    USA	        total	2000	282162411.0	NaN	NaN
1248	    USA	        total	1999	279040181.0	NaN	NaN
1249	    USA	        total	2001	284968955.0	NaN	NaN
1250	    USA	        total	2002	287625193.0	NaN	NaN
1251	    USA	        total	2003	290107933.0	NaN	NaN
1252	    USA	        total	2004	292805298.0	NaN	NaN
1253	    USA	        total	2005	295516599.0	NaN	NaN
1254	    USA	        total	2006	298379912.0	NaN	NaN
1255	    USA	        total	2007	301231207.0	NaN	NaN
1256	    USA	        total	2008	304093966.0	NaN	NaN
1257	    USA	        total	2013	316128839.0	NaN	NaN
1258	    USA	        total	2009	306771529.0	NaN	NaN
1259	    USA	         total	2010	309326295.0	NaN	NaN
1260	    USA	        total	2011	311582564.0	NaN	NaN
1261	    USA	        total	2012	313873685.0	NaN	NaN

확인 결과 USA에서 NaN 값이 나온 것을 확인할 수 있다
하지만 우리가 구하려는 state 별 면적대비 인구수와는 관계가 없는 내용이므로 그냥 dropna()를 해서 없애주도록 하자.

final_tot = final_tot.dropna()
final_tot.head()

>>
	abbreviation	ages	year	population	state	    area (sq. mi)
0	    AL	        total	2012	4817528.0	Alabama	    52423.0
1	    AL	        total	2010	4785570.0	Alabama	    52423.0
2	    AL	        total	2011	4801627.0	Alabama	    52423.0
3	    AL	        total	2009	4757938.0	Alabama	    52423.0
4	    AL	        total	2013	4833722.0	Alabama	    52423.0

final_tot.shape

>> (1238, 6)

원래의 1262행에서 24행의 NaN값이 제거되어 1238행이 된 것도 확인하자.

final_tot.isnull().sum()

>>
abbreviation     0
ages             0
year             0
population       0
state            0
area (sq. mi)    0
dtype: int64

final_tot.duplicated().sum()

>> 0

확인 결과 NaN 값과 중복값이 없는 깔끔한 데이터가 되었다.

4.2. pop_18 과 병합

---

이 경우 역시 USA 값이 NaN 이 나올 것이다.
dropna() 를 해서 정리해주자.

final_18 = pd.merge(pop_18, area_abb, on = 'abbreviation', how = 'outer')
final_18 = final_18.dropna()
final_18.head()

>>
	abbreviation	ages	year	population	state	    area (sq. mi)
0	    AL	       under18	2012	1117489.0	Alabama	    52423.0
1	    AL	       under18	2010	1130966.0	Alabama	    52423.0
2	    AL	       under18	2011	1125763.0	Alabama	    52423.0
3	    AL	       under18	2009	1134192.0	Alabama	    52423.0
4	    AL	       under18	2013	1111481.0	Alabama	    52423.0

5. 면적 당 인구수

🏆 pop/area 라는 새로운 열을 만들어서 해당 내용을 넣어준다.

🏆 1. final_tot 생성

final_tot['pop/area'] = final_tot['population']/final_tot['area (sq. mi)']
final_tot.head()

>>
    abbreviation	ages	year	population	state	    area (sq. mi)	pop/area
0	AL	        total	2012	4817528.0	Alabama	    52423.0	        91.897221
1	AL	        total	2010	4785570.0	Alabama	    52423.0	        91.287603
2	AL	        total	2011	4801627.0	Alabama	    52423.0	        91.593900
3	AL	        total	2009	4757938.0	Alabama	    52423.0	        90.760506
4	AL	        total	2013	4833722.0	Alabama	    52423.0	        92.206131

🏆 2. fianl_18 생성

final_18['pop/area'] = final_18['population']/final_18['area (sq. mi)']
final_18.head()

>>
    abbreviation	ages	    year	population	state	    area (sq. mi)	pop/area
0	AL	        under18	    2012	1117489.0	Alabama	    52423.0	        21.316769
1	AL	        under18	    2010	1130966.0	Alabama	    52423.0	        21.573851
2	AL	        under18	    2011	1125763.0	Alabama	    52423.0	        21.474601
3	AL	        under18	    2009	1134192.0	Alabama	    52423.0	        21.635389
4	AL	        under18	    2013	1111481.0	Alabama	    52423.0	        21.202163

모든 전처리가 끝났다!! 이제부터는 필요한 부분만 가져와서 시각화를 하거나 분석하면 된다.

6. 2013년 / total에서 면적 당 인구수

🏆 면적당 인구수가 많은 순서대로 정렬해주자.

density_2013_tot = final_tot[final_tot['year']== 2013]
density_2013_tot = density_2013_tot.sort_values('pop/area', ascending=False)
density_2013_tot.head()

>>
    abbreviation  ages	year	population	state	                area (sq. mi)	    pop/area
195	DC	  total	2013	646449.0	District of Columbia	68.0	            9506.602941
1233	PR	  total	2013	3615086.0	Puerto Rico	        3515.0	            1028.473969
723	NJ	  total	2013	8899339.0	New Jersey	        8722.0	            1020.332378
955	RI	  total	2013	1051511.0	Rhode Island	        1545.0	            680.589644
147	CT	  total	2013	3596080.0	Connecticut	        5544.0	            648.643579

이제 density_2013_tot 데이터에서 상위 10개의 지역만 가져오자.

density_2013_tot_top10 = density_2013_tot[['abbreviation', 'pop/area']][:10]
density_2013_tot_top10

>>	
    abbreviation    pop/area
195	DC	    9506.602941
1233	PR	    1028.473969
723	NJ	    1020.332378
955	RI	    680.589644
147	CT	    648.643579
524	MA	    634.090384
483	MD	    477.860401
187	DE	    473.771238
772	NY	    360.736613
236	FL	    297.345722

---

🏆 저번 포스트와 이번 포스트를 거쳐 드디어 원하는 데이터를 얻었다!! 이제 다음 포스트에서는 이 데이터를 시각화해보자.

---

💡파이썬 데이터 사이언스 핸드북(위키북스,2020)의 저자 Jake VanderPlas 분의 깃허브에서 데이터를 가져왔음을 밝힙니다.