ML, DL Workflow

* 본 내용은 패스트캠퍼스 김기현 강사님의 '처음부터 시작하는 딥러닝 유치원 Online'을 수강하면서 정리하기 위해 작성한 글입니다.

 

머신러닝과 딥러닝의 목표:

최종 목표는 결국 x(독립변수), y(종속변수)간의 관계를 제일 잘 설명하는 함수 y = f(x)를 도출하는 것이다.

'관계를 제일 잘 설명한다'는 것은 오차를 최소화하는 optimal parameters를 찾는다는 말과 동일한 의미를 가진다.

 

WORKFLOW:

 

1. 문제 정의

- 신경망을 사용한 함수에 사용할 x(독립변수)는 무엇인지, 그리고 도출할 최종값 y(종속변수)가 무엇인지 정의한다.

 

2. 데이터 수집

- 풀고자 하는 문제가 무엇인지에 따라 crawling, 실제 데이터 수집 등으로 수집 방법이 상이할 수 있다.

- 필요에 따라 구한 데이터들에 대해 정답값(혹은 label)을 매기는 labeling 작업이 필요할 수 있다.

 

3. 데이터 전처리 및 분석

- 데이터를 수집했다면, 신경망 함수에 넣어줄 최종 input 형태를 만들기 위해 가공작업이 필요하다.

(필요없는 독립변수, noise 등이 섞여있을 수 있기 때문)

- EDA(feature 간의 correlation 분석, standardization 등), data augmentation(CV: rotation, flipping 등)

 

4. 알고리즘 적용

- 데이터에 대한 가설 수립을 통해 알고리즘(모델) 적용

 

5. Evaluation

- train, test set을 구성하고 정량적(extrinsic), 정성적(intrinsic) 평가를 진행

 

6. 배포

- restful API 등