계산 그래프

역 전파는 텐서 플로우,토치,테아 노 등과 같은 딥 러닝 프레임 워크에서 구현됩니다.,계산 그래프를 사용하여. 더 중요한 것은 계산 그래프에서 역 전파를 이해하는 것은 여러 가지 알고리즘과 시간을 통한 백 프롭 및 백 프롭과 같은 변형을 공유 가중치와 결합합니다. 모든 것이 계산 그래프로 변환되면,그들은 여전히 같은 알고리즘입니다−계산 그래프에 단지 다시 전파.

연산 그래프란 무엇인가

연산 그래프는 노드가 수학 연산에 대응하는 방향 그래프로 정의된다. 계산 그래프는 수학적 표현을 표현하고 평가하는 방법입니다.

예를 들어,여기에 간단한 수학 방정식이 있습니다−

$$피=엑스+와이$$

우리는 다음과 같이 위의 방정식의 계산 그래프를 그릴 수 있습니다.

위의 계산 그래프에는 두 개의 입력 변수가있는 추가 노드(“+”기호가있는 노드)가 있습니다. 우리는 다음과 같은 방정식을 가지고 있습니다.위의 방정식은 다음과 같은 계산 그래프로 표시됩니다.

연산 그래프와 역전파

연산 그래프와 역전파 모두 신경망 훈련을 위한 딥러닝의 중요한 핵심 개념이다.

순방향 패스

순방향 패스는 계산 그래프로 표시되는 수학 표현식의 값을 평가하는 절차입니다. 앞으로 패스를한다는 것은 우리가 출력이 오른쪽으로 왼쪽(입력)에서 앞으로 방향으로 변수의 값을 전달하는 것을 의미합니다.

모든 입력에 일부 값을 부여하여 예제를 살펴 보겠습니다. 모든 입력에 다음 값이 제공된다고 가정합니다.

$$엑스=1,와이=3,지=-3$$

입력이 값을 제공함으로써,우리는 앞으로 패스를 수행하고 각 노드의 출력에 대해 다음과 같은 값을 얻을 수 있습니다.이 경우,우리는 두 가지 방법을 사용합니다.그 후,우리는 두 가지 방법을 사용합니다. 우리는 왼쪽에서 오른쪽으로,앞으로 이동합니다.

역방향 패스의 목표

역방향 패스에서 우리의 의도는 최종 출력과 관련하여 각 입력에 대한 그라디언트를 계산하는 것입니다. 이러한 그라디언트는 그라디언트 디센트를 사용하여 신경망을 훈련하는 데 필수적입니다.

예를 들어 다음과 같은 그라디언트를 원합니다.4372>

우리는 최종 출력과 관련하여 최종 출력의 도함수를 찾아 역 패스를 시작합니다(그 자체!). 따라서,그것은 신원 유도 귀 착될 것 이다 하 고 값은 1 과 같습니다.

$$} = 1$$

아래 그림과 같이 우리의 계산 그래프는 이제 보인다-

다음으로,우리는”*”작업을 통해 뒤로 패스를 할 것입니다. 우리는 그라디언트를 계산할 것입니다 피 과 지.이후 지=피*지,우리는 알고 있습니다−

$$\(2018-10-15)$$

$$\4339>

우리는 이미 값을 알고 지 과 피 앞으로 패스에서. 따라서 우리는−

$$\(2018-10-15)= 4$$

$$= -3$$

그래디언트를 계산하려면 엑스 과 와이−

$$\그러나 우리는 이것을 효율적으로 수행하기를 원합니다(비록 엑스 과 지 이 그래프에서 두 홉 밖에 떨어져 있지 않지만 서로 정말 멀리 떨어져 있다고 상상해보십시오). 이 값을 효율적으로 계산하기 위해 우리는 분화의 사슬 규칙을 사용할 것입니다. 체인 규칙에서 우리는−

$$\[1][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2][2]}$$

$$\4339>

그러나 우리는 이미 알 수 있습니다./ 이 경우,우리는 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게 그(것)들에게} = 1$$

따라서 우리는−

$$\왼쪽(-3)은 오른쪽입니다.1 = -3$$

또한,에 대한 입력 와이−

$$\왼쪽(-3)은 오른쪽입니다.1 = -3$$

이 작업을 거꾸로 수행하는 주된 이유는 그라디언트를 계산해야 할 때 엑스,우리는 이미 계산 된 값만 사용하고 디큐/디엑스(동일한 노드의 입력에 대한 노드 출력의 파생물). 우리는 지역 정보를 사용하여 전역 값을 계산했습니다.

신경망 훈련 단계

신경망을 훈련하려면 다음 단계를 따르세요−

• 에 대한 데이터 포인트 엑스 에 데이터 세트,우리는 함께 전달 패스 엑스 입력으로,비용을 계산 씨 출력으로.

• 우리는 뒤로 패스 시작 씨,그래프의 모든 노드에 대한 그라디언트를 계산합니다. 여기에는 신경망 가중치를 나타내는 노드가 포함됩니다.

• 그런 다음 학습 속도*그라디언트를 수행하여 가중치를 업데이트합니다.

• 정지 기준이 충족 될 때까지이 과정을 반복합니다.