Skip to content

Commit 06bed20

Browse files
authored
docs: update optimizer_zero_grad order, and the backward pass. (#21144)
1 parent da7f2f9 commit 06bed20

File tree

1 file changed

+11
-10
lines changed

1 file changed

+11
-10
lines changed

docs/source-pytorch/common/hooks.rst

Lines changed: 11 additions & 10 deletions
Original file line numberDiff line numberDiff line change
@@ -143,23 +143,24 @@ with the source of each hook indicated:
143143
│ │ │ ├── [LightningModule]
144144
│ │ │ └── [Strategy]
145145
│ │ │
146-
│ │ ├── on_before_zero_grad()
147-
│ │ │ ├── [Callbacks]
148-
│ │ │ └── [LightningModule]
149-
│ │ │
150146
│ │ ├── [Forward Pass - training_step()]
151147
│ │ │ └── [Strategy only]
152148
│ │ │
153-
│ │ ├── on_before_backward()
149+
│ │ ├── on_before_zero_grad()
154150
│ │ │ ├── [Callbacks]
155151
│ │ │ └── [LightningModule]
156152
│ │ │
157-
│ │ ├── [Backward Pass]
158-
│ │ │ └── [Strategy only]
153+
│ │ ├── optimizer_zero_grad()
154+
│ │ │ └── [LightningModule only - optimizer_zero_grad()]
159155
│ │ │
160-
│ │ ├── on_after_backward()
161-
│ │ │ ├── [Callbacks]
162-
│ │ │ └── [LightningModule]
156+
│ │ ├── [Backward Pass - Strategy.backward()]
157+
│ │ │ ├── on_before_backward()
158+
│ │ │ │ ├── [Callbacks]
159+
│ │ │ │ └── [LightningModule]
160+
│ │ │ ├── LightningModule.backward()
161+
│ │ │ └── on_after_backward()
162+
│ │ │ ├── [Callbacks]
163+
│ │ │ └── [LightningModule]
163164
│ │ │
164165
│ │ ├── on_before_optimizer_step()
165166
│ │ │ ├── [Callbacks]

0 commit comments

Comments
 (0)