File tree Expand file tree Collapse file tree 1 file changed +16
-1
lines changed
Expand file tree Collapse file tree 1 file changed +16
-1
lines changed Original file line number Diff line number Diff line change @@ -104,7 +104,13 @@ LPPL 的核心洞见在于,复杂系统的突变,从来不是随机漫步(
104104
105105> 稳定极限环以及相应的庞加莱映射 作者 User: XaosBits at English Wikipedia,CC BY 2.5,https://commons.wikimedia.org/w/index.php?curid=732841
106106
107- 现实世界不是封闭的。
107+ 从流形的角度来说,在传统的时间序列流形(仅由历史负荷 $X_ {hist}$ 构成)上,距离通常被定义为时间步的邻近度。
108+
109+ $$ d(x_t, x_{t+k}) \approx f(k) $$
110+
111+ 在这个流形上,测地线(Geodesic)代表着系统的惯性或平滑演化。相空间的极限环对应的是流形的测地线。
112+
113+ 但,现实世界不是封闭的。
108114
109115当黑天鹅事件来袭,系统不再遵循简单的周期运动。它进入了一种混沌状态。在这个状态下,两个极其微小的协变量初始差异(比如气温 35°C 和 35.5°C),随着时间的推移,会导致电力负荷曲线的轨迹在远期来看发生巨大变化。如果只有单变量数据去预测一个非常长期的窗口,模型可能直接退化成了一个随机游走的状态,因为没有足够多的信息让模型学习。
110116
@@ -123,6 +129,15 @@ LPPL 的核心洞见在于,复杂系统的突变,从来不是随机漫步(
123129> 流形的一种突变
124130
125131也就是为什么,让模型理解造成这个状态的因素很重要,例如模型能通过Cross Attention查询到历史上的任何征兆并且显式学习到,至少比瞎猜好用。
132+ 在 Attention 机制中,两个状态 $i$ 和 $j$ 之间的“距离”不再取决于它们在时间轴上离得有多近,而是取决于它们的 Query (未来协变量) 和 Key (历史协变量) 有多像:
133+
134+ $$ Similarity(Q_{fut}, K_{hist}) \propto \exp(-\|W_{fut} - W_{hist}\|^2) $$
135+
136+ 这在几何上等价于引入了一个新的度量张量 $g_ {new}$:$$ ds^2 = \underbrace{\alpha \cdot dt^2}_{\text{时间距离}} + \underbrace{\beta \cdot d\mathcal{W}^2}_{\text{特征距离}} $$
137+
138+ $d\mathcal{W}^2$ (协变量部分): 由 Cross-Attention 引入。这是关键的修正。
139+
140+ 这种新的度量距离可以修正测地线上的插值依赖,在类似图上的突变点找到新的演化方向。
126141
127142### 四、超越Transformer?
128143
You can’t perform that action at this time.
0 commit comments