๋ฐ์ดํฐ ๊ด๋ฆฌ
๋ฐ์ดํฐ ๊ด๋ฆฌ ํญ๊ณผ ์์คํ ๊ด๋ฆฌ ํญ์ ์ด์ ๋ฐฉ๋ฒ์ ์ค๋ช ํฉ๋๋ค. UBIST ๋ฐ์ดํฐ ์ ๋ก๋, ์บ์ ์ํ ํ์ธ, ์ฌ์ฉ์ ๊ถํ ๊ด๋ฆฌ, ๋งค์ถ ๋ชฉํ ์ค์ ์ ๋ค๋ฃน๋๋ค.
๋ฐ์ดํฐ ๊ด๋ฆฌ ํญ
๋ฐ์ดํฐ ๊ด๋ฆฌ ํญ์์๋ ์บ์ ์ํ์ ํ์ฌ๋ช ๋งคํ ํํฉ์ ํ์ธํ ์ ์์ต๋๋ค. ์ด ํญ์ ์์ ๊ด๋ฆฌ์ ์ญํ ์๊ฒ๋ง ํ์๋ฉ๋๋ค.
์บ์ ์ํ ํ์ธ
์บ์ ์ํ ํ ์ด๋ธ์ ๊ฐ ์บ์ ํ ์ด๋ธ์ ๋ง์ง๋ง ๊ฐฑ์ ์๊ฐ, ์ํ, ํ ์๋ฅผ ํ์ํฉ๋๋ค.
| ์ปฌ๋ผ | ์ค๋ช |
|---|---|
| ์บ์ ํ ์ด๋ธ | ์บ์ ํ ์ด๋ธ๋ช (cache_sales_monthly ๋ฑ) |
| ๋ง์ง๋ง ๊ฐฑ์ | ๋ง์ง๋ง ๊ฐฑ์ ์๋ฃ ์ผ์ |
| ์ํ | completed / running / failed |
| ํ ์ | ์บ์ ํ ์ด๋ธ์ ํ์ฌ ํ ์ |
| ํธ๋ฆฌ๊ฑฐ | ๊ฐฑ์ ์ ์ ๋ฐํ ์ด๋ฒคํธ (ubist_upload / manual ๋ฑ) |
์ํ๋ณ ์๋ฏธ
| ์ํ | ์๋ฏธ | ์กฐ์น |
|---|---|---|
| completed | ์ ์ ๊ฐฑ์ ์๋ฃ | ์ ์ ์ํ |
| running | ๊ฐฑ์ ์งํ ์ค | ๋๊ธฐ (๋์ฉ๋ ๋ฐ์ดํฐ ์ ์ ๋ถ ์์ ๊ฐ๋ฅ) |
| failed | ๊ฐฑ์ ์คํจ | ๋ฌธ์ ํด๊ฒฐ ์ฐธ์กฐ |
ํ์ฌ๋ช ๋งคํ ํํฉ
UBIST ๋ฐ์ดํฐ์ ์ ์กฐ์ฌ๋ช ๊ณผ ์์ฌ ์์คํ ์ ํ์ฌ๋ช ์ด ์ผ์นํ๋์ง ํ์ธํฉ๋๋ค. ๋งคํ์ด ๋๋ฝ๋๋ฉด ์์ฅ์ ์ ์จ ๊ณ์ฐ์์ ์์ฌ ๋ฐ์ดํฐ๊ฐ ๋น ์ง ์ ์์ต๋๋ค.
๋ฐ์ดํฐ ์ ๋ก๋
UBIST ๋ฐ์ดํฐ ์ ๋ก๋
UBIST ์ฒ๋ฐฉ์กฐ์ ๋ฐ์ดํฐ๋ ๋์ฉ๋ ์์ ํ์ผ(์ฝ 96MB)์ด๋ฏ๋ก, CLI(Command Line Interface)๋ฅผ ํตํด ์ ๋ก๋ํฉ๋๋ค.
| ํญ๋ชฉ | ๋ด์ฉ |
|---|---|
| ํ์ผ ํ์ | UBIST_D1 Sales.xlsx (Excel) |
| ํ์ผ ํฌ๊ธฐ | ์ฝ 96MB |
| ํ ์ | ์ฝ 110,000ํ |
| ์ปฌ๋ผ ์ | 191๊ฐ (10๊ฐ ์ฐจ์ + 3๊ฐ ์งํ x 60๊ฐ์) |
| ์ ๋ก๋ ๋ฐฉ์ | CLI ์คํฌ๋ฆฝํธ (scripts/ubist_import.py) |
| ๊ฐฑ์ ์ฃผ๊ธฐ | ๋ถ๊ธฐ 1ํ (UBIST ๋ฐ์ดํฐ ์ ์ ์) |
์์ธํ ETL ์คํ ๋ฐฉ๋ฒ์ ETL ํ์ดํ๋ผ์ธ ๋ฌธ์๋ฅผ ์ฐธ์กฐํ์ธ์.
๋ฐ์ดํฐ ์ญ์
ํน์ ์ฐ๋์ UBIST ๋ฐ์ดํฐ๋ฅผ ์ญ์ ํด์ผ ํ๋ ๊ฒฝ์ฐ CLI์์ ์คํํฉ๋๋ค.
python3 scripts/ubist_import.py --delete-year 2021์ฃผ์: ๋ฐ์ดํฐ ์ญ์ ํ ๋ฐ๋์ ์บ์๋ฅผ ๊ฐฑ์ ํด์ผ ํฉ๋๋ค. ์ญ์ ๋ง ํ๊ณ ์บ์๋ฅผ ๊ฐฑ์ ํ์ง ์์ผ๋ฉด ๋์๋ณด๋์ ์ด์ ๋ฐ์ดํฐ๊ฐ ํ์๋ฉ๋๋ค.
์์คํ ๊ด๋ฆฌ ํญ
์์คํ ๊ด๋ฆฌ ํญ์์๋ ์ฌ์ฉ์ ์น์ธ, ์ญํ ๊ด๋ฆฌ, ๋งค์ถ ๋ชฉํ ์ค์ ์ ํ ์ ์์ต๋๋ค. ์์ ๊ด๋ฆฌ์ ์ญํ ์๊ฒ๋ง ํธ์ง ๊ถํ์ด ์์ต๋๋ค.
์ฌ์ฉ์ ์น์ธ
Google OAuth๋ก ์ต์ด ๋ก๊ทธ์ธํ ์ฌ์ฉ์๋ ์น์ธ ๋๊ธฐ ์ํ๊ฐ ๋ฉ๋๋ค.
- ์์คํ ๊ด๋ฆฌ ํญ์ ์ฌ์ฉ์ ๋ชฉ๋ก ํ ์ด๋ธ์์ ๋๊ธฐ ์ค์ธ ์ฌ์ฉ์๋ฅผ ํ์ธํฉ๋๋ค.
- ์ฌ์ฉ์์ ์์๊ณผ ์ญํ ์ ํ์ธํ ํ ์ ์ ํ ์ญํ ์ ๋ถ์ฌํฉ๋๋ค.
- ์น์ธ์ด ์๋ฃ๋๋ฉด ํด๋น ์ฌ์ฉ์์๊ฒ ์ด๋ฉ์ผ ์๋ฆผ์ด ๋ฐ์ก๋ฉ๋๋ค.
์ญํ ๊ด๋ฆฌ
์ฌ์ฉ์์๊ฒ ๋ถ์ฌํ ์ ์๋ ์ญํ ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
| ์ญํ | ์ค๋ช | ๋ฐ์ดํฐ ๋ฒ์ |
|---|---|---|
| ๊ฒฝ์์ง | ์ ์ฌ ์ค์ ์กฐํ | ์ ์ฒด ๋ฐ์ดํฐ ์ฝ๊ธฐ |
| ์์ ๊ด๋ฆฌ์ | ์ ์ฒด ๊ด๋ฆฌ ๊ถํ | ์ ์ฒด ๋ฐ์ดํฐ ์ฝ๊ธฐ/์ฐ๊ธฐ |
| ์์ ์ฌ์ | ๋ณธ์ธ ์์ ์ ์ค์ | ์์ ๋ถ์ ๋ฐ์ดํฐ๋ง |
| CSO | ๋ณธ์ธ CSO ์ฑ๊ณผ | ์์ CSO ๋ฐ์ดํฐ๋ง |
๋งค์ถ ๋ชฉํ ์ค์
์ฐ๊ฐ ๋งค์ถ ๋ชฉํ๋ฅผ ์ค์ ํ์ฌ ๋ฌ์ฑ๋ฅ ์ ๋ชจ๋ํฐ๋งํ ์ ์์ต๋๋ค.
- ์์คํ ๊ด๋ฆฌ ํญ์ ๋งค์ถ ๋ชฉํ ํ ์ด๋ธ์์ ํ์ฌ ์ค์ ๋ ๋ชฉํ๋ฅผ ํ์ธํฉ๋๋ค.
- ์ ํ๋ณ, ๊ธฐ๊ฐ๋ณ ๋ชฉํ ๊ธ์ก์ ์ ๋ ฅํฉ๋๋ค.
- ๋ชฉํ๊ฐ ์ค์ ๋๋ฉด ๊ฒฝ์ ์์ฝ ํญ๊ณผ ์ ํ ์ฑ๊ณผ ํญ์์ ๋ฌ์ฑ๋ฅ (AC/PL)์ด ์๋ ๊ณ์ฐ๋ฉ๋๋ค.
์ฃผ์: ๋งค์ถ ๋ชฉํ๋ฅผ ๋ณ๊ฒฝํ๋ฉด ๊ด๋ จ๋ ๋ชจ๋ ๋ฌ์ฑ๋ฅ ์งํ์ ์ฆ์ ๋ฐ์๋ฉ๋๋ค. ์ฐ๋ ์ค ๋ชฉํ ๋ณ๊ฒฝ ์ ์ด๋ ฅ ๊ด๋ฆฌ์ ์ ์ํ์ธ์.
๋ฐ์ดํฐ ๊ฐฑ์ ์ฃผ๊ธฐ ์์ฝ
| ๋ฐ์ดํฐ | ๊ฐฑ์ ์ฃผ๊ธฐ | ๋ฐฉ๋ฒ | ๋ด๋น |
|---|---|---|---|
| ERP ์ฃผ๋ฌธ์ | ์ 1ํ | import_erp_orders.py ์คํ | ์ด์์ |
| ๊ฐ์ง ๊ณต๊ธ๋ด์ญ | ์ค์๊ฐ ๋๊ธฐํ | KPIS ์ฌ์ดํธ ์๋ ๋๊ธฐํ | ์๋ |
| UBIST ์ฒ๋ฐฉ | ๋ถ๊ธฐ 1ํ | ubist_import.py ์คํ | ์ด์์ |
| CSO ์ ์ฐ | ์ 1ํ | CSO Web ์ฌ์ดํธ ์๋ ๋๊ธฐํ | ์๋ |
| ์บ์ ํ ์ด๋ธ | ๋ฐ์ดํฐ ๋ณ๊ฒฝ ์ | refresh_all_kpi_cache() ์๋/์๋ | ์๋/์ด์์ |
๋ค์ ๋จ๊ณ
- ETL ํ์ดํ๋ผ์ธ โ UBIST ETL ์คํฌ๋ฆฝํธ ์์ธ ์ฌ์ฉ๋ฒ
- ์บ์ ๊ด๋ฆฌ โ KPI ์บ์ ๊ฐฑ์ ์ ๋ต๊ณผ ์ฑ๋ฅ