๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋กœ ์‚ด์•„๋‚จ๊ธฐ - ๋น…๋ฐ์ดํ„ฐ์— ๊ด€๋ฆฌ์™€ ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ ์ „๋ฐ˜์ ์ธ ๊ธฐ์ˆ 

๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋กœ์„œ ํ•„์š”ํ•œ ๊ธฐ์ˆ ์— ๋Œ€ํ•ด ์ฐจ๊ทผ์ฐจ๊ทผ, ์ง„๋“ํ•˜๊ฒŒ ๊ณต๋ถ€ํ•ด๋ณด๋ ค ํ•ฉ๋‹ˆ๋‹ค.

์ •๋ฆฌ๋œ ๋‚ด์šฉ์€ [๋น…๋ฐ์ดํ„ฐ๋ฅผ ์ง€ํƒฑํ•˜๋Š” ๊ธฐ์ˆ ] ๋„์„œ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•ฉ๋‹ˆ๋‹ค.

1-3. ์Šคํฌ๋ฆฝํŠธ ์–ธ์–ด์— ์˜ํ•œ ํŠน๋ณ„ ๋ถ„์„๊ณผ ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„

๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ์™€ ์Šคํฌ๋ฆฝํŠธ ์–ธ์–ด

์›์ฒœ ๋ฐ์ดํ„ฐ๋Š” ํŒŒ์ผ ์„œ๋ฒ„, API ๋“ฑ ๋‹ค์–‘ํ•œ ๋ฐฉ๋ฒ•์œผ๋กœ ์ˆ˜์ง‘ํ•˜๊ฒŒ๋จ. ์ด๋Ÿฌํ•œ ๋‹ค์–‘ํ•œ ์ „์ฒ˜๋ฆฌ, ETL ๊ณผ์ •์„ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์œ„ํ•ด ์Šคํฌ๋ฆฝํŠธ ์–ธ์–ด๋ฅผ ์‚ฌ์šฉํ•จ. ๋Œ€ํ‘œ์ ์ธ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ ์Šคํฌ๋ฆฝํŠธ ์–ธ์–ด๋กœ๋Š” R, Python ๋“ฑ์ด ์žˆ์Œ.

Python์˜ ์šฐ์ˆ˜ํ•œ ํŠน์ง•

  • ๋‹ค์–‘ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์ง€์› : API ํ˜ธ์ถœ, ๋ฌธ์ž์—ด ์ฒ˜๋ฆฌ
  • ๋‹ค์–‘ํ•œ ํ”„๋ ˆ์ž„์›Œํฌ ์ง€์› : ์ˆ˜์น˜ ๊ณ„์‚ฐ, ๋จธ์‹ ๋Ÿฌ๋‹(NumPy, SciPy), ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„ ์ฒ˜๋ฆฌ(pandas)

1. ๊ธฐ์ดˆ ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„

  • ํ‘œ ํ˜•์‹์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ƒํ™”ํ•œ ๊ฐ์ฒด. ์Šคํ”„๋ ˆ๋“œ์‹œํŠธ์˜ ์‹œํŠธ ํ˜น์€ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์˜ ํ…Œ์ด๋ธ”์„ ๊ฐ์ฒดํ™”ํ•œ ๊ฒƒ.
  • ํ–‰, ์—ด์˜ 2์ฐจ์› ๋ฐฐ์—ด ํ˜•ํƒœ. ์ฆ‰, ๋ฐฐ์—ด ์•ˆ์˜ ๋ฐฐ์—ด ํ˜•ํƒœ.

2. ๋กœ๊ทธ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ

  1. ์ •๊ทœํ‘œํ˜„์‹ ์‚ฌ์šฉํ•˜๊ธฐ
  2. ex) ํŒŒ์ด์„  re ๋ชจ๋“ˆ
  3. ์‹œ๊ฐ„, ๋‚ ์งœ ํ˜•ํƒœ์˜ ๋ฌธ์ž์—ด ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌํ•˜๊ธฐ
  4. ex) to_timedate() ํ•จ์ˆ˜

3. ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ๋ฅผ ๋Œ€ํ™”์‹์œผ๋กœ ์ง‘๊ณ„ํ•˜๊ธฐ

  1. ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ๋ž€?
  2. ์ผ์ •ํ•œ ์‹œ๊ฐ„ ๊ฐ„๊ฒฉ์œผ๋กœ ์ธก์ • ํ˜น์€ ์ˆ˜์ง‘๋œ ๋ฐ์ดํ„ฐ์…‹
  3. ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ์˜ ํŠน์ง• : ์ˆœ์„œ๊ฐ€ ์žˆ๋Š” ๋ฐ์ดํ„ฐ(์‹œ๊ฐ„ ์ˆœ์„œ)์ด๋ฉฐ, ์—ฐ์†ํ•œ ๊ด€์ธก์น˜๋Š” ์„œ๋กœ ์ƒ๊ด€๊ด€๊ณ„๊ฐ€ ์žˆ์Œ
  4. ์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„ ๊ฐ์ฒด์˜ ์ธ๋ฑ์Šค ๋กœ ์„ค์ •ํ•˜์—ฌ ์ง‘๊ณ„ํ•œ๋‹ค.

4. SQL๊ณผ ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„ ์ฒ˜๋ฆฌ

  1. SQL ์—”์ง„
  2. sqlalchemy1 ๋ชจ๋“ˆ์„ ์ด์šฉํ•ด SQL ์—”์ง„์„ ์ƒ์„ฑํ•œ๋‹ค.
  3. SQL ์—”์ง„์—์„œ ์ž‘์„ฑํ•œ ์ฟผ๋ฆฌ๋ฌธ์„ ์‹คํ–‰ํ•œ๋‹ค.
  4. ์ฟผ๋ฆฌ๋ฌธ ๊ฒฐ๊ณผ๋Š” ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„ ๊ฐ์ฒด์— ๋ฐ˜์˜๋œ๋‹ค.

SQL ์—”์ง„์ด๋ž€?

  • ๋ฐ์ดํ„ฐ ๋ฒ ์ด์Šค๋“ฑ์—์„œ SQL ์ฟผ๋ฆฌ๋ฌธ์„ ์ฒ˜๋ฆฌํ•˜๋Š” ์†Œํ”„ํŠธ์›จ์–ด ์ปดํฌ๋„ŒํŠธ. ๋ฐ์ดํ„ฐ ๋ฒ ์ด์Šค์™€์˜ ์ธํ„ฐํŽ˜์ด์Šค(API)๋ฅผ ํฌํ•จํ•œ๋‹ค.

1-4. BI ๋„๊ตฌ์™€ ๋ชจ๋‹ˆํ„ฐ๋ง

1. ๋ฐ์ดํ„ฐ์— ๊ทผ๊ฑฐํ•œ ์˜์‚ฌ ๊ฒฐ์ •

  1. Data-Driven ์˜์‚ฌ๊ฒฐ์ •

    1. Data-Informed
    2. ์ฃผํ‘œ ์ง€ํ‘œ์— ๋Œ€ํ•ด ์ดํ•ดํ•˜๊ณ  ํŒŒ์•…ํ•  ๋Šฅ๋ ฅ์„ ๊ฐ–์ถ˜ ๊ฒƒ
    3. Data-Inspired
    4. ๋ฐ์ดํ„ฐ๋ฅผ ํƒ์ƒ‰์ ์œผ๋กœ ๋ถ„์„ํ•˜๋ฉด์„œ ์ƒˆ๋กœ์šด ํŒจํ„ด์ด๋‚˜ ์˜๋ฏธ๋ฅผ ๋ฐœ๊ฒฌํ•˜๋Š” ๊ฒƒ
    5. Data-Driven
    6. ์„ ํƒ๊ณผ ์•ก์…˜์„ ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•ด ๊ฒฐ์ •ํ•˜๋Š” ๊ฒƒ
  2. ๋น„์ฆˆ๋‹ˆ์Šค ์ง€ํ‘œ ๋ชจ๋‹ˆํ„ฐ๋ง
  3. ์ง€ํ‘œ ๊ฐ’ ๊ณ„์‚ฐ : ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šค์—์„œ ๋ฐฐ์น˜ ์ฒ˜๋ฆฌ. ์›Œํฌํ”Œ๋กœ์šฐ๋ฅผ ํ†ตํ•ด ์ž๋™ํ™” ์ฒ˜๋ฆฌ.
  4. ํ•ญ๋ชฉ ๋ณ„ ์ƒ์„ธ ๋‚ด์—ญ ์กฐํšŒ : BI ๋„๊ตฌ ํ™œ์šฉ(ex. Tableau)

2. BI ๋„๊ตฌ๋กœ ๋ชจ๋‹ˆํ„ฐ๋งํ•˜๊ธฐ

  1. ๋ณ€ํ™”๋ฅผ ํŒŒ์•…ํ•˜๊ณ  ์„ธ๋ถ€ ์‚ฌํ•ญ์„ ์ดํ•ดํ•˜๊ธฐ
  2. ๋ณ€ํ™” ํŒŒ์•… : ์ •๊ธฐ์ ์ธ ๋ณด๊ณ ๋ฅผ ํ†ตํ•ด ๋ณ€ํ™” ์ถ”์ด ์ดํ•ด
  3. ์„ธ๋ถ€ ์›์ธ ํŒŒ์•… : ์›์ธ์ด ๋˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์žฌ์ง‘๊ณ„ํ•˜๊ธฐ
  4. ์ˆ˜์ž‘์—…๊ณผ ์ž๋™ํ™”ํ•ด์•ผ ํ•  ๊ฒƒ์˜ ๊ฒฝ๊ณ„ ํŒ๋ณ„ํ•˜๊ธฐ
  5. ์ˆ˜์ž‘์—…
  6. ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๊ฐ€ ๋น„์ •๊ธฐ์ ์œผ๋กœ ํ•„์š”ํ•œ ๊ฒฝ์šฐ, ์†Œ๋Ÿ‰์˜ ๋ฐ์ดํ„ฐ ๋“ฑ
  7. ์ž๋™ํ™”
  8. ๋ฐ์ดํ„ฐ ์„ฑ๊ฒฉ : ์—…๋ฐ์ดํŠธ๊ฐ€ ๋นˆ๋ฒˆํ•œ ๋ฐ์ดํ„ฐ, ๊ณต์œ ๊ฐ€ ์žฆ์€ ๋ฐ์ดํ„ฐ ๋“ฑ
  9. ๋ฐฉ๋ฒ•

    • (1) BI ๋„๊ตฌ์—์„œ ์ง์ ‘ ๋ฐ์ดํ„ฐ ์†Œ์Šค์— ์ ‘์† : BI ๋„๊ตฌ์—์„œ ์ง€์›ํ•˜์ง€ ์•Š๋Š” ๋ฐ์ดํ„ฐ ์†Œ์Šค์—๋Š” ์ ‘๊ทผ์ด ์–ด๋ ต๋‹ค๋Š” ๋‹จ์  ์กด์žฌ
    • (2) ๋ฐ์ดํ„ฐ ๋งˆํŠธ ๊ตฌ์ถ• : ์กฐ์ธ ํ…Œ์ด๋ธ” ๊ตฌ์„ฑ์ด ์ž์œ ๋กœ์›Œ ๊ฐ€์žฅ ๋งŽ์ด ์‚ฌ์šฉ๋จ
    • (3) ์›น ๋ฐฉ์‹์˜ BI๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•ด CSV ํŒŒ์ผ ๋ฐ์ดํ„ฐ๋งŒ ์ฒ˜๋ฆฌ : ์Šคํฌ๋ฆผํŠธ๋กœ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๊ฐ€ ๊ฐ€๋Šฅํ•˜๋‚˜ ์ „์ฒ˜๋ฆฌ ํ›„์ฒ˜๋ฆฌ ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๊ณต์ˆ˜๊ฐ€ ๋งŽ์ด ๋“ฆ