Skip to content

Commit 2220dd2

Browse files
committed
blog update 2026-02-19
1 parent a32c84c commit 2220dd2

File tree

1 file changed

+16
-1
lines changed

1 file changed

+16
-1
lines changed

src/content/posts/adds.md

Lines changed: 16 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -104,7 +104,13 @@ LPPL 的核心洞见在于,复杂系统的突变,从来不是随机漫步(
104104

105105
> 稳定极限环以及相应的庞加莱映射 作者 User:XaosBits at English Wikipedia,CC BY 2.5,https://commons.wikimedia.org/w/index.php?curid=732841
106106
107-
现实世界不是封闭的。
107+
从流形的角度来说,在传统的时间序列流形(仅由历史负荷 $X_{hist}$ 构成)上,距离通常被定义为时间步的邻近度。
108+
109+
$$d(x_t, x_{t+k}) \approx f(k)$$
110+
111+
在这个流形上,测地线(Geodesic)代表着系统的惯性或平滑演化。相空间的极限环对应的是流形的测地线。
112+
113+
但,现实世界不是封闭的。
108114

109115
当黑天鹅事件来袭,系统不再遵循简单的周期运动。它进入了一种​混沌状态。在这个状态下,两个极其微小的协变量初始差异(比如气温 35°C 和 35.5°C),随着时间的推移,会导致电力负荷曲线的轨迹在远期来看发生巨大变化。如果只有单变量数据去预测一个非常长期的窗口,模型可能直接退化成了一个随机游走的状态,因为没有足够多的信息让模型学习。
110116

@@ -123,6 +129,15 @@ LPPL 的核心洞见在于,复杂系统的突变,从来不是随机漫步(
123129
> 流形的一种突变
124130
125131
也就是为什么,让模型理解造成这个状态的因素很重要,例如模型能通过Cross Attention查询到历史上的任何征兆并且显式学习到,至少比瞎猜好用。
132+
在 Attention 机制中,两个状态 $i$ 和 $j$ 之间的“距离”不再取决于它们在时间轴上离得有多近,而是取决于它们的 Query (未来协变量) 和 Key (历史协变量) 有多像:
133+
134+
$$Similarity(Q_{fut}, K_{hist}) \propto \exp(-\|W_{fut} - W_{hist}\|^2)$$
135+
136+
这在几何上等价于引入了一个新的度量张量 $g_{new}$:$$ds^2 = \underbrace{\alpha \cdot dt^2}_{\text{时间距离}} + \underbrace{\beta \cdot d\mathcal{W}^2}_{\text{特征距离}}$$
137+
138+
$d\mathcal{W}^2$ (协变量部分): 由 Cross-Attention 引入。这是关键的修正。
139+
140+
这种新的度量距离可以修正测地线上的插值依赖,在类似图上的突变点找到新的演化方向。
126141

127142
### 四、超越Transformer?
128143

0 commit comments

Comments
 (0)