|
14 | 14 |
|
15 | 15 | * 정적 툴킷을 쓸 때는 계산 그래프를 한 번만 정의하고, 컴파일 한 후, |
16 | 16 | 데이터를 계산 그래프에 넘깁니다. |
17 | | -* 동적 툴킷에서는 *각 데이터*의 계산 그래프를 정의하며 컴파일하지 |
| 17 | +* 동적 툴킷에서는 *각 데이터* 의 계산 그래프를 정의하며 컴파일하지 |
18 | 18 | 않고 즉각 실행됩니다. |
19 | 19 |
|
20 | 20 | 경험이 많지 않다면 두 방식의 차이를 알기 어렵습니다. 딥 러닝 기반의 |
|
60 | 60 | (힌트 : 로그-합-지수승) |
61 | 61 |
|
62 | 62 | 위의 세가지를 할 수 있다면, 아래의 코드를 이해할 수 있을 것입니다. |
63 | | -CRF는 조건부 확률을 계산한다는 점을 기억하세요. :math:`y`를 연속된 |
64 | | -태그라 하고, :math:`x`를 연속된 입력 단어라 하겠습니다. 그러면 아래의 |
| 63 | +CRF는 조건부 확률을 계산한다는 점을 기억하세요. :math:`y` 를 연속된 |
| 64 | +태그라 하고, :math:`x` 를 연속된 입력 단어라 하겠습니다. 그러면 아래의 |
65 | 65 | 식을 계산할 수 있습니다. |
66 | 66 |
|
67 | 67 | .. math:: P(y|x) = \frac{\exp{(\text{Score}(x, y)})}{\sum_{y'} \exp{(\text{Score}(x, y')})} |
|
75 | 75 | 특징들만 반영한다고 하겠습니다. |
76 | 76 |
|
77 | 77 | Bi-LSTM CRF 안에 배출(emission), 전이(transition) 두 종류의 포텐셜을 |
78 | | -정의합니다. :math:`i`번째 단어에 대한 배출 포텐셜은 Bi-LSTM의 |
79 | | -:math:`i`번째 시점의 은닉 상태가 결정합니다. 전이 점수는 :math:`|T|x|T|` |
80 | | -형태인 행렬 :math:`\textbf{P}`에 저장되어 있습니다. :math:`T`는 |
81 | | -태그의 집합입니다. 이 구현에서, :math:`\textbf{P}_{j,k}`는 tag :math:`j`에서 |
82 | | -tag :math:`k`로의 전이 점수를 의미합니다. 따라서: |
| 78 | +정의합니다. :math:`i` 번째 단어에 대한 배출 포텐셜은 Bi-LSTM의 |
| 79 | +:math:`i` 번째 시점의 은닉 상태가 결정합니다. 전이 점수는 :math:`|T|x|T|` |
| 80 | +형태인 행렬 :math:`\textbf{P}` 에 저장되어 있습니다. :math:`T` 는 |
| 81 | +태그의 집합입니다. 이 구현에서, :math:`\textbf{P}_{j,k}` 는 tag :math:`j` 에서 |
| 82 | +tag :math:`k` 로의 전이 점수를 의미합니다. 따라서: |
83 | 83 |
|
84 | 84 | .. math:: \text{Score}(x,y) = \sum_i \log \psi_\text{EMIT}(y_i \rightarrow x_i) + \log \psi_\text{TRANS}(y_{i-1} \rightarrow y_i) |
85 | 85 |
|
@@ -350,7 +350,7 @@ def forward(self, sentence): # 이 함수와 위의 _forward_alg를 헷갈리 |
350 | 350 | # 점수와 실제 정답 경로 점수의 차이를 손실 함수로 사용해서 태거를 |
351 | 351 | # 학습시켜 보세요. 손실 함수의 값은 음수가 아니어야 하며, 예측된 태그 |
352 | 352 | # 순열이 정답이라면 손실 함수의 값은 0이어야 합니다. 이것은 본질적으로 |
353 | | -# *구조화된 퍼셉트론*입니다. |
| 353 | +# *구조화된 퍼셉트론* 입니다. |
354 | 354 | # |
355 | 355 | # 이미 비터비와 score_sentence 함수가 구현되어 있기 때문에 간단히 수정할 |
356 | 356 | # 수 있습니다. 이 모델은 *학습 데이터에 따라 변하는* 계산 그래프의 한 |
|
0 commit comments