CODENAVY

https://wikidocs.net/book/2155 * 퍼셉트론(Perceptron) 다수의 입력을 받아 하나의 출력을 내보내는 초기 형태의 인공 신경망 * 단층 퍼셉트론(Single-Layer Perceptron) 입력층(input layer), 출력층(output layer)으로만 이루어져 있는 인공 신경망. XOR 게이트 문제를 해결할 수 없다는 문제를 가지고 있었고, 이에 대한 문제를 해결하기 위해 다층 퍼셉트론 개념이 탄생했다. * 다층 퍼셉트론(Multi-Layer Perceptron, MLP) 입력층과 출력층 사이에 은닉층(hidden layer)을 1개 이상 포함하는 인공 신경망. 은닉층이 2개 이상이면 심층 신경망(DNN: Deep Neural Network..

LSTM의 미분 연산에 대해 공부하다가, 'Hadamard Product'이라는 단어를 듣게 되어 찾아보았다. Hadamard Product는 Element-wise Product라는 이름으로도 잘 알려져 있다. 즉, 크기가 같은 행렬 A와 B가 있다고 했을 때, 동일한 (i, j) 위치의 원소끼리 곱해 A, B와 동일한 크기의 행렬 C를 만들어내는 연산이다. Numpy에서는 a*b는 Hadamard 곱을, a@b는 matrix 곱을 return하게 된다.

* 본 내용은 패스트캠퍼스 김기현 강사님의 '처음부터 시작하는 딥러닝 유치원 Online'을 수강하면서 정리하기 위해 작성한 글입니다. 머신러닝과 딥러닝의 목표: 최종 목표는 결국 x(독립변수), y(종속변수)간의 관계를 제일 잘 설명하는 함수 y = f(x)를 도출하는 것이다. '관계를 제일 잘 설명한다'는 것은 오차를 최소화하는 optimal parameters를 찾는다는 말과 동일한 의미를 가진다. WORKFLOW: 1. 문제 정의 - 신경망을 사용한 함수에 사용할 x(독립변수)는 무엇인지, 그리고 도출할 최종값 y(종속변수)가 무엇인지 정의한다. 2. 데이터 수집 - 풀고자 하는 문제가 무엇인지에 따라 crawling, 실제 데이터 수집 등으로 수집 방법이 상이할 수 있다. - 필요에 따라 구한 ..