[math]: Dell operator, Tensor (기호 설명)

CS231N의 수식이 본격적으로 등장하기 시작한 Lecture 4. Backpropagation and Neural Networks

(최초 멘탈 붕괴의 현장 아아...)

convergence : 수렴

divergence : 발산 

출처 : http://www.ktword.co.kr/abbr_view.php?m_temp1=4659

발산 또는 gradient, 델 연산자 (Dell operator , Vector differential operator) 라고 한다. 벡터 미분 연산자라고도 하며, 이것 자체는 벡터가 아니지만 스칼라 함수에 사용되면 벡터가 된다. (scalar 는 단일값을 뜻한다.). 기본 벡터 i, j, k에 각각 x, y, z에 관한 편미분이 붙은 벡터이다. 

3차원 공간 ( , 큰 R 이다. 여기 수학 연산자에 기호가 없어서 부득이하게 이렇게 씀)애서 Dell operator는 아래와 같고

(x, y, z는 스칼라 값이다.)

위의 공식에서 아래와 같은 녀석들을 스칼라 미분 연산자 (scalar differential operator) 또는 그냥 미분 연산자 (differentiation operator)라고 한다.

y'	라그랑주의 표기법 (Lagrange's notation),  y = f(x)의 도함수를 이렇게 ' (prime) 기호를 함수에 붙여서 나타내는 방법. 간단하지만 독립변수 x를 설명하지 못해서 어떤 변수로 미분되었는지 알 수 없다.
f' (x)	이것도 라그랑주의 표기법이다. 마찬가지로 간단하지만 종속변수 y를 설명하지 못하며, 어떤 변수로 미분되었는지 알 수 없다.
dy -----  dx	독립변수와 종속변수를 모두 설명한다.
df(x)            d -------    ,   ------ f(x)  dx              dx	함수를 강조할 수 있지만 종속변수 y를 설명하지 못한다.

y = f(x)의 도함수를 dy/dx 와 같이 나타내는 것을 라이프니츠의 표기법 (Leibniz's notation)이라고 한다. 이때 기호는 분수꼴이나 분수가 아니다. 

y = f(x)의 도함수를 y' 또는 f'(x)와 같이 ' (prime) 기호를 함수에 붙여서 나타내는 방법을 라그랑주의 표기법 (Lagrange's notation) 이라고 한다.

n차원 공간 ()에서의 Dell operator는 아래와 같다.  (  기호는 편미분, partial derivative을 뜻한다. derivative는 도함수, differential 은 미분)

사용예시) 

	스칼라 의 Gradient 연산 (스칼라 함수와의 곱)
	벡터 A 의 Divergence - 내적이라고도 함
	벡터 A 의 Curl (회전)  - 외적이라고도 함
	스칼라 의 Laplacian

라플라스 연산자 (Laplacian, Laplace operator)

2차 미분 연산자이며, 기울기의 발산  표기법은 (delta) 또는 (nabla, 나블라) 로 표기 위키피디아의 라플라시안 설명

Tensor , 텐서

출처 : http://www.ktword.co.kr/abbr_view.php?m_temp1=4588

Scalar, Vector를 일반화 시킨 것 (좌표계와 무관한 독립성을 부여), 외부에서 가해진 힘과 이로 인해 물질 내에서 생기는 유발 효과 관계를 나타내는 물리량을 표현하는데 유리하다. 물리 벡터량간의 계수로서 표기한다.

텐서 차수 (Order, Rank)

- 0차 텐서 : Scalar, V0  

3차원 직교 카트시안 좌표계에서 1개의 성분을 가진다.

- 1차 텐서 : Vector, V1

3차원 직교 카트시안 좌표계에서 3개의 성분 (v1, v2, v3)을 가진다.

- 2차 텐서 : ij    (시그마, , 이거 3녀석 모두 시그마라고 부른다. capital sigma, small sigma, small final sigma 순서)

Capital Sigma	수학 : 수열의 합 (sum)
Small Sigma	통계학 : Standard Deviation, 표준 편차 수학 : 약수 함수 물리학 : 슈테판-볼츠만 법칙 비례 상수

3 x 3 = 9 개의 성분을 가진다. 

- 고차 텐서

일반적으로 3의 n 승개의 성분을 가진다.

직교 좌표계 (rectangular coordinate system, 좌표 평면, 데카르트 좌표계, Cartesian coordinate system)

임의의 차원의 유클리드 공간 (일반적으로 내적 공간)을 나타내는 좌표계의 하나이다.  극좌표계 등 다른 좌표계와 달리, 임의의 차원으로 쉽게 일반화를 할 수 있다. 직교 좌표계는 나타내는 대상이 평행 이동(translation)에 대한 대칭을 가질 때 유용하나, 회전 대칭 등 다른꼴의 대칭은 쉽게 나타내지 못한다. 일반적으로 주어진 유클리드 공간에 기저 (basis)와 원점 (0,0)이 주어지면 이를 이용하여 직교 좌표계를 정의할 수 있다.  3차원의 경우 직교 좌표를 통상적으로 x, y, z로 적는다. 4차원인 경우, w나 (물리학에서 시공을 다루는 경우) t를 쓴다. 임의의 차원의 경우에는 첨자로 Xn의 꼴로

basis (기저) : 선형대수학에서 어떤 벡터 공간의 기저는 그 벡터 공간을 선형생성하는 선형독립인 벡터들이다. 달리 말해서 벡터 공간의 임의의 벡터에게 선형결합으로 유일한 표현을 부여하는 벡터들이다. 

유클리드 공간 의 벡터 e1=(1,0) , e2=(0,1)은 의 기저이다. 일반적으로 n차 단위행렬의 열벡터 e1, ... ... ,en은 의 basis이며,  이를 의 표준기저 (standard basis)라고 한다. 벡터 공간의 기저는 일반적으로 유일하지 않다.  출처 : https://ko.wikipedia.org/wiki/%EA%B8%B0%EC%A0%80_(%EC%84%A0%ED%98%95%EB%8C%80%EC%88%98%ED%95%99)