๋ฐ์ดํฐ ์์ง๋์ด๋ก ์ด์๋จ๊ธฐ - ๋น ๋ฐ์ดํฐ์ ๊ด๋ฆฌ์ ์ฒ๋ฆฌ๋ฅผ ์ํ ์ ๋ฐ์ ์ธ ๊ธฐ์
๋ฐ์ดํฐ ์์ง๋์ด๋ก์ ํ์ํ ๊ธฐ์ ์ ๋ํด ์ฐจ๊ทผ์ฐจ๊ทผ, ์ง๋ํ๊ฒ ๊ณต๋ถํด๋ณด๋ ค ํฉ๋๋ค.
์ ๋ฆฌ๋ ๋ด์ฉ์ [๋น ๋ฐ์ดํฐ๋ฅผ ์งํฑํ๋ ๊ธฐ์ ] ๋์๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํฉ๋๋ค.
1-3. ์คํฌ๋ฆฝํธ ์ธ์ด์ ์ํ ํน๋ณ ๋ถ์๊ณผ ๋ฐ์ดํฐ ํ๋ ์
๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ์คํฌ๋ฆฝํธ ์ธ์ด
์์ฒ ๋ฐ์ดํฐ๋ ํ์ผ ์๋ฒ, API ๋ฑ ๋ค์ํ ๋ฐฉ๋ฒ์ผ๋ก ์์งํ๊ฒ๋จ. ์ด๋ฌํ ๋ค์ํ ์ ์ฒ๋ฆฌ, ETL ๊ณผ์ ์ ์ฒ๋ฆฌํ๊ธฐ ์ํด ์คํฌ๋ฆฝํธ ์ธ์ด๋ฅผ ์ฌ์ฉํจ. ๋ํ์ ์ธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์คํฌ๋ฆฝํธ ์ธ์ด๋ก๋ R, Python ๋ฑ์ด ์์.
Python์ ์ฐ์ํ ํน์ง
- ๋ค์ํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ง์ : API ํธ์ถ, ๋ฌธ์์ด ์ฒ๋ฆฌ
- ๋ค์ํ ํ๋ ์์ํฌ ์ง์ : ์์น ๊ณ์ฐ, ๋จธ์ ๋ฌ๋(NumPy, SciPy), ๋ฐ์ดํฐ ํ๋ ์ ์ฒ๋ฆฌ(pandas)
1. ๊ธฐ์ด ๋ฐ์ดํฐ ํ๋ ์
- ํ ํ์์ ๋ฐ์ดํฐ๋ฅผ ์ถ์ํํ ๊ฐ์ฒด. ์คํ๋ ๋์ํธ์ ์ํธ ํน์ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ํ ์ด๋ธ์ ๊ฐ์ฒดํํ ๊ฒ.
- ํ, ์ด์ 2์ฐจ์ ๋ฐฐ์ด ํํ. ์ฆ,
๋ฐฐ์ด ์์ ๋ฐฐ์ด
ํํ.
2. ๋ก๊ทธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ
- ์ ๊ทํํ์ ์ฌ์ฉํ๊ธฐ
- ex) ํ์ด์
re
๋ชจ๋ - ์๊ฐ, ๋ ์ง ํํ์ ๋ฌธ์์ด ๋ฐ์ดํฐ ์ฒ๋ฆฌํ๊ธฐ
- ex)
to_timedate()
ํจ์
3. ์๊ณ์ด ๋ฐ์ดํฐ๋ฅผ ๋ํ์์ผ๋ก ์ง๊ณํ๊ธฐ
- ์๊ณ์ด ๋ฐ์ดํฐ๋?
- ์ผ์ ํ ์๊ฐ ๊ฐ๊ฒฉ์ผ๋ก ์ธก์ ํน์ ์์ง๋ ๋ฐ์ดํฐ์
- ์๊ณ์ด ๋ฐ์ดํฐ์ ํน์ง : ์์๊ฐ ์๋ ๋ฐ์ดํฐ(์๊ฐ ์์)์ด๋ฉฐ, ์ฐ์ํ ๊ด์ธก์น๋ ์๋ก ์๊ด๊ด๊ณ๊ฐ ์์
- ์๊ฐ ๋ฐ์ดํฐ๋ฅผ ๋ฐ์ดํฐ ํ๋ ์ ๊ฐ์ฒด์ ์ธ๋ฑ์ค ๋ก ์ค์ ํ์ฌ ์ง๊ณํ๋ค.
4. SQL๊ณผ ๋ฐ์ดํฐ ํ๋ ์ ์ฒ๋ฆฌ
- SQL ์์ง
sqlalchemy1
๋ชจ๋์ ์ด์ฉํด SQL ์์ง์ ์์ฑํ๋ค.- SQL ์์ง์์ ์์ฑํ ์ฟผ๋ฆฌ๋ฌธ์ ์คํํ๋ค.
- ์ฟผ๋ฆฌ๋ฌธ ๊ฒฐ๊ณผ๋ ๋ฐ์ดํฐ ํ๋ ์ ๊ฐ์ฒด์ ๋ฐ์๋๋ค.
SQL ์์ง์ด๋?
- ๋ฐ์ดํฐ ๋ฒ ์ด์ค๋ฑ์์ SQL ์ฟผ๋ฆฌ๋ฌธ์ ์ฒ๋ฆฌํ๋ ์ํํธ์จ์ด ์ปดํฌ๋ํธ. ๋ฐ์ดํฐ ๋ฒ ์ด์ค์์ ์ธํฐํ์ด์ค(API)๋ฅผ ํฌํจํ๋ค.
1-4. BI ๋๊ตฌ์ ๋ชจ๋ํฐ๋ง
1. ๋ฐ์ดํฐ์ ๊ทผ๊ฑฐํ ์์ฌ ๊ฒฐ์
-
Data-Driven ์์ฌ๊ฒฐ์
- Data-Informed
- ์ฃผํ ์งํ์ ๋ํด ์ดํดํ๊ณ ํ์ ํ ๋ฅ๋ ฅ์ ๊ฐ์ถ ๊ฒ
- Data-Inspired
- ๋ฐ์ดํฐ๋ฅผ ํ์์ ์ผ๋ก ๋ถ์ํ๋ฉด์ ์๋ก์ด ํจํด์ด๋ ์๋ฏธ๋ฅผ ๋ฐ๊ฒฌํ๋ ๊ฒ
- Data-Driven
- ์ ํ๊ณผ ์ก์ ์ ๋ฐ์ดํฐ๋ฅผ ํตํด ๊ฒฐ์ ํ๋ ๊ฒ
- ๋น์ฆ๋์ค ์งํ ๋ชจ๋ํฐ๋ง
- ์งํ ๊ฐ ๊ณ์ฐ : ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์์ ๋ฐฐ์น ์ฒ๋ฆฌ. ์ํฌํ๋ก์ฐ๋ฅผ ํตํด ์๋ํ ์ฒ๋ฆฌ.
- ํญ๋ชฉ ๋ณ ์์ธ ๋ด์ญ ์กฐํ : BI ๋๊ตฌ ํ์ฉ(ex. Tableau)
2. BI ๋๊ตฌ๋ก ๋ชจ๋ํฐ๋งํ๊ธฐ
- ๋ณํ๋ฅผ ํ์ ํ๊ณ ์ธ๋ถ ์ฌํญ์ ์ดํดํ๊ธฐ
- ๋ณํ ํ์ : ์ ๊ธฐ์ ์ธ ๋ณด๊ณ ๋ฅผ ํตํด ๋ณํ ์ถ์ด ์ดํด
- ์ธ๋ถ ์์ธ ํ์ : ์์ธ์ด ๋๋ ๋ฐ์ดํฐ๋ฅผ ์ฌ์ง๊ณํ๊ธฐ
- ์์์ ๊ณผ ์๋ํํด์ผ ํ ๊ฒ์ ๊ฒฝ๊ณ ํ๋ณํ๊ธฐ
- ์์์
- ๋ฐ์ดํฐ ์ฒ๋ฆฌ๊ฐ ๋น์ ๊ธฐ์ ์ผ๋ก ํ์ํ ๊ฒฝ์ฐ, ์๋์ ๋ฐ์ดํฐ ๋ฑ
- ์๋ํ
- ๋ฐ์ดํฐ ์ฑ๊ฒฉ : ์ ๋ฐ์ดํธ๊ฐ ๋น๋ฒํ ๋ฐ์ดํฐ, ๊ณต์ ๊ฐ ์ฆ์ ๋ฐ์ดํฐ ๋ฑ
-
๋ฐฉ๋ฒ
- (1) BI ๋๊ตฌ์์ ์ง์ ๋ฐ์ดํฐ ์์ค์ ์ ์ : BI ๋๊ตฌ์์ ์ง์ํ์ง ์๋ ๋ฐ์ดํฐ ์์ค์๋ ์ ๊ทผ์ด ์ด๋ ต๋ค๋ ๋จ์ ์กด์ฌ
- (2) ๋ฐ์ดํฐ ๋งํธ ๊ตฌ์ถ : ์กฐ์ธ ํ ์ด๋ธ ๊ตฌ์ฑ์ด ์์ ๋ก์ ๊ฐ์ฅ ๋ง์ด ์ฌ์ฉ๋จ
- (3) ์น ๋ฐฉ์์ BI๋๊ตฌ๋ฅผ ์ฌ์ฉํด CSV ํ์ผ ๋ฐ์ดํฐ๋ง ์ฒ๋ฆฌ : ์คํฌ๋ฆผํธ๋ก ๋ฐ์ดํฐ ์ฒ๋ฆฌ๊ฐ ๊ฐ๋ฅํ๋ ์ ์ฒ๋ฆฌ ํ์ฒ๋ฆฌ ํ๋ก๊ทธ๋๋ฐ ๊ณต์๊ฐ ๋ง์ด ๋ฆ