데이터 엔지니어

[SQL] 데이터 레이크란? (Data Lake)

- 정형, 반정형, 비정형 데이터를 원시 형태로 저장 - 이로 인한 데이터 활용성이 높아지고, 머신러닝 딥러닝 모델 만들기 용이함 - 기업에서 얻은 아무런 정제되지 않은 데이터가 저장돼 있다. - Hadoop - RDBMS - 클라우드 기반 스토리지

[SQL] 데이터웨어하우스(DW), 데이터마트 란?

- 데이터 저장소 - 데이터의 양은 데이터 마트보다 많음 - 기본적으로 기업의 정보와 의사결정을 도와주는 데이터를 모으는 데이터베이스 - 데이터 저장소 - 데이터의 양은 데이터 웨어하우스보다 적음 - 위의 데이터 웨어하우스보다 작은 데이터 웨어하우스라고 생각하면 됨 - 데이터 웨어하우스의 하위 집합 정도 - 범위가 제한적인 데이터 웨어하우스 - 데이터의 양이 데이터 웨어하우스보다 적어서 쿼리가 가벼움 - 데이터 웨어하우스보다 쿼리의 복잡성이 낮음 (왜냐면 분석에 용이하게 구축된 데이터이기 때문에) - 시간과 돈을 아낄 수 있음 - 효율성을 추구해서 너무 많..

[Docker] 도커 네트워크 종류 정리

- 도커는 컨테이너를 만들 때 내부 IP를 순차적으로 할당한다. 1. bridge 네트워크 2. host 네트워크 3. none 네트워크 4. container 네트워크 5. overlay 네트워크 1. bridge 네트워크 - docker0 네트워크와 같은 말 - 같은 브릿지에 있는 컨테이너끼리는 통신이 가능하게 해주고, 다른 브릿지는 통신할 수 없도록 함 - 컨테이너를 생성하면 디폴트로 bridge 네트워크로 연결됨 2. host 네트워크 - 호스트의 네트워크 환경을 그대로 사용 - 주로 컨테이너가 한개일 때 유용 - 호스트의 네트워크를 그대로 사용하기 때문에 포트포워딩이 필요 없음 - 포트포워딩은 docker-compose...

2022년 8월 26일 금요일 주식

2022년 8월 25일 목요일 주식

2022년 8월 24일 수요일 주식

2022년 8월 23일 화요일 주식

2022년 8월 22일 월요일 주식

[Python] 파이썬으로 주식 수 불러오는 방법 FinanceDataReader

라이브러리 설치 pip install -U finance-datareader 코드 입력 import FinanceDataReader as fdr df_krx = fdr.StockListing('KRX') df_kospi = fdr.StockListing('KOSPI') df_kosdoq = fdr.StockListing('KOSDAQ') df_konex = fdr.StockListing('KONEX') print('krx count :', df_krx['Symbol'].count()) print('kospi count :', df_kospi['Symbol'].count()) print('kosdoq count :', df_kosdoq['Symbol'].count()) print('konex count :..

[Golang] 고랭 go test 명령어로 코드 실행 방법

go.mod module main_module go 1.19 main_module.go package main_module func PrintText() string { return "메인 함수" } main_module_test.go package main_module_test import ( "main_module" "fmt" "testing" ) func TestFunction(t *testing.T) { fmt.Println("테스트모듈 입니다.") s := main_module.PrintText() fmt.Println(s) }