Hadamard Product(Hadamard 곱)란?

LSTM의 미분 연산에 대해 공부하다가, 'Hadamard Product'이라는 단어를 듣게 되어 찾아보았다.

 

Hadamard Product는 Element-wise Product라는 이름으로도 잘 알려져 있다.

즉, 크기가 같은 행렬 A와 B가 있다고 했을 때, 동일한 (i, j) 위치의 원소끼리 곱해 A, B와 동일한 크기의 행렬 C를 만들어내는 연산이다.

(출처: https://en.wikipedia.org/wiki/Hadamard_product_(matrices))

 

Numpy에서는 a*b는 Hadamard 곱을, a@b는 matrix 곱을 return하게 된다.