🏆🏆 1. 미국의 state 별 면적 당 인구수 구하기(1)

1. 데이터 살펴보기

🏆 데이터는 다음 url에서 가져왔다.

https://raw.githubusercontent.com/jakevdp/data-USstates/master/state-population.csv

https://raw.githubusercontent.com/jakevdp/data-USstates/master/state-areas.csv

https://raw.githubusercontent.com/jakevdp/data-USstates/master/state-abbrevs.csv

1.1 population data

---

🏆 지역, 연령대(total / under18), 데이터수집년도, 인구수를 보여주는 데이터

population = pd.read_csv("Data/state-population.csv", encoding = 'utf-8-sig')
population.head()

>>
	state/region	ages	year	population
0	AL	       under18	2012	 1117489.0
1	AL	       total	2012	 4817528.0
2	AL	       under18	2010	 1130966.0
3	AL	       total	2010	 4785570.0
4	AL	       under18	2011	 1125763.0

1.2 areas data

---

🏆 각 state 별 면적을 보여주는 데이터

areas = pd.read_csv("Data/state-areas.csv", encoding = 'utf-8-sig')
areas.head()

>>
	state	    area (sq. mi)
0	Alabama	      52423
1	Alaska	      656425
2	Arizona	      114006
3	Arkansas      53182
4	California    163707

1.3 abbrevs data

---

🏆 각 state의 약어(abbreviation)를 보여주는 데이터

abbrevs = pd.read_csv("Data/state-abbrevs.csv", encoding = 'utf-8-sig')
abbrevs.head()

>>
	state	   abbreviation
0	Alabama	        AL
1	Alaska	        AK
2	Arizona	        AZ
3	Arkansas	AR
4	California	CA

2. 데이터 전처리

2.1.population data

---

pop = pd.read_csv("Data/state-population.csv", encoding = 'utf-8-sig')
pop.head()

>>
	state/region	ages	year	population
0	AL	       under18	2012	 1117489.0
1	AL	       total	2012	 4817528.0
2	AL	       under18	2010	 1130966.0
3	AL	       total	2010	 4785570.0
4	AL	       under18	2011	 1125763.0

2.1.1. null 값 처리

---

pop.isnull().sum()

>>
state/region     0
ages             0
year             0
population      20
dtype: int64

population column에 NaN값이 있음을 알 수 있다.
따라서 population 열에서 NaN 값을 가지는 행을 가져와보면 다음과 같다.

pop[pop['population'].isnull()]

>>
	state/region	ages	year	population
2448	     PR	      under18	1990	   NaN
2449	     PR	      total	1990	   NaN
2450	     PR	      total	1991	   NaN
2451	     PR	      under18	1991	   NaN
2452	     PR	      total	1993	   NaN
2453	     PR	      under18	1993	   NaN
2454	     PR	      under18	1992	   NaN
2455	     PR	      total	1992	   NaN
2456	     PR	      under18	1994	   NaN
2457	     PR	      total	1994	   NaN
2458	     PR	      total	1995	   NaN
2459	     PR	      under18	1995	   NaN
2460	     PR	      under18	1996	   NaN
2461	     PR	      total	1996	   NaN
2462	     PR	      under18	1998	   NaN
2463	     PR	      total	1998	   NaN
2464	     PR	      total	1997	   NaN
2465	     PR	      under18	1997	   NaN
2466	     PR	      total	1999	   NaN
2467	     PR	      under18	1999	   NaN

state/region 이 PR인 행에서 모든 NaN 값이 발생함을 알 수 있다.
그러면 이 NaN 값을 처리해줘야 하는데, 그 전에 PR의 정보를 알기 위해서 state/region 이 PR인 행에서 NaN이 아닌 데이터를 확인해보자.

PR = pop[pop['state/region']=='PR']
PR = PR[PR['population'].notnull()]

PR.head()

>>
	state/region	ages	year	population
2468	     PR	        total	2000	3810605.0
2469	     PR	       under18	2000	1089063.0
2470	     PR	        total	2001	3818774.0
2471	     PR	       under18	2001	1077566.0
2472	     PR	        total	2002	3823701.0

PR.tail()

>>
	state/region	ages	year	population
2491	     PR	       under18	2010	896945.0
2492	     PR	       under18	2011	869327.0
2493	     PR	        total	2011	3686580.0
2494	     PR	       under18	2012	841740.0
2495	     PR	        total	2012	3651545.0

이를 보면 PR 지역은 2000년부터 집계가 시작되었음을 알 수 있다.
또한 위의 NaN데이터를 보면 1990~1999 까지는 NaN 값이고, 2000년부터는 중간에 끊긴 부분이 없기 때문에 PR에서는 그냥 NaN 값을 drop시키면 될것같다.

pop = pop.dropna()
pop.isnull().sum()

>>
state/region    0
ages            0
year            0
population      0
dtype: int64

dropna 결과를 확인해보니 이제 NaN 값이 없는 것을 확인할 수 있다.
이제는 뒤에 있을 전처리 과정을 위해 열의 이름을 바꿔주자.
abbrevs data 의 abbreviation 열에 지역의 약어가 들어가 있기 떄문에 population 데이터의 state/region 열을 맞춰주면 될것 같다.
population 데이터의 열을 리스트로 받아오고, 그 리스트에 접근하는 방법으로 열의 이름을 바꿔주었다.

cols = pop.columns.to_list()
cols[0] = 'abbreviation'
pop.columns = cols
pop.columns

>> Index(['abbreviation', 'ages', 'year', 'population'], dtype='object')

잘 변형된 것을 확인할 수 있다.
NaN 값을 없애줬으니, 이제는 중복값이 있는지도 확인해보자.
duplicated() 와 value_counts를 이용한다.

pop.duplicated().sum()

>> 0

pop.value_counts().max()

>> 1

중복값이 없다는 결과를 확인할 수 있다.

2.1.2. total / under18 분류하기

---

🏆 연령대별로 지표를 알아보기 위해 분류

pop_tot = pop[pop['ages'] == 'total']
pop_tot.head()

>>
	abbreviation	ages	year	population
1	     AL	        total	2012	4817528.0
3	     AL	        total	2010	4785570.0
5	     AL	        total	2011	4801627.0
6	     AL	        total	2009	4757938.0
9	     AL	        total	2013	4833722.0

pop_18 = pop[pop['ages'] == 'under18']
pop_18.head()

>>
	abbreviation	ages	year	population
0	     AL	       under18	2012	1117489.0
2	     AL	       under18	2010	1130966.0
4	     AL	       under18	2011	1125763.0
7	     AL	       under18	2009	1134192.0
8	     AL	       under18	2013	1111481.0

2.2. areas Data

---

area = pd.read_csv("Data/state-areas.csv", encoding = 'utf-8-sig')
area.head()

>>
	state	    area (sq. mi)
0	Alabama	        52423
1	Alaska	        656425
2	Arizona	        114006
3	Arkansas	53182
4	California	163707

area.shape

>> (52, 2)

2.2.1. null값/ 중복값 처리하기

---

area.isnull().sum()

>>
state            0
area (sq. mi)    0
dtype: int64

area.duplicated().sum()

>> 0

NaN 값과 중복값 모두 없음을 확인할 수 있다. 기분이 좋다.

2.3. abbreves data

---

abb = pd.read_csv("Data/state-abbrevs.csv", encoding = 'utf-8-sig')
abb.head()

>>
	state	   abbreviation
0	Alabama	        AL
1	Alaska	        AK
2	Arizona	        AZ
3	Arkansas	AR
4	California	CA

abb.shape

>> (51, 2)

2.3.1. null값/ 중복값 처리하기

---

abb.isnull().sum()

>>
state           0
abbreviation    0
dtype: int64

abb.duplicated().sum()

>> 0

abbreves 데이터도 NaN 값과 중복값이 없는 깔끔한 데이터이다.

---

🏆 이렇게 세 가지 데이터의 NaN 값, 중복값을 확인하고 처리했다.
🏆 다음 포스트에서는 이 데이터들을 병합하고 필터링해서 원하는 데이터 형태를 만드는 과정을 다룰것이다.

---

💡파이썬 데이터 사이언스 핸드북(위키북스,2020)의 저자 Jake VanderPlas 분의 깃허브에서 데이터를 가져왔음을 밝힙니다.