我们来玩一个游戏：

扔硬币，如果扔出的是正面则重复扔硬币，直到扔出反面为止，一次游戏结束。一次游戏的奖金是根据扔硬币的次数决定的，即：
如果第 1 次就扔出反面，奖金 2 块；
如果第 2 次才扔出反面，奖金 4 块；
...
如果第 n 次才扔出反面，奖金 2^n；

问：你最多愿意每次花多少钱玩这个游戏？

很显然，这个游戏的期望是

E = 2*(1/2) + 4*(1/2)(1/2) + ... + 2^n(1/2)^n + ...
= 1 + 1 + 1 + ...
= ∞

所以理论上我们花费任意有限的价格去参与游戏应该都是划算的。但是，这个结论明显与人们的直觉相悖。事实上，现实中几乎没有人愿意花费 20 以上的价格去玩这个游戏，更不用说花费任意有限的价格了。

然而，在现实中人们精力有限、生命有限，只能进行有限次游戏。这时，使用基于“无限次”游戏假设计算出的“期望值”来进行决策，是否会存在问题呢？

我们再仔细观察一下游戏的规则，发现无穷大的期望，来自于在时间的无穷远方，将一个高阶无穷大的奖励压缩进了一个无穷小的概率。对任何现实中的人来说，高阶无穷大和无穷大没有什么区别，因此没有人能够拿到最终的这个所谓无穷大的收益。

这使我们不得不反思，延迟满足是否总是那么行之有效？如果把一个超级巨大的奖励放在一个非常漫长的延时之后，真的会有人实现吗？延迟满足在此时真的还有意义吗？

我又想到了强化学习中的 Q-learning，距离当前时刻越近，所得到的 reward 越高（我没有仔细研究过 RL，不清楚是否大部分的 reward 都是这么设置的）。这看起来也很有道理：在实现一个目标的开始阶段，你得到的 reward 越高，你越可能保持在正确的道路上。而如果是越往后 reward 越高，你更有可能在开始阶段走了一条奇怪的路子摆烂，直到最后一步，虽然 reward 奇大无比，但是你因为开始偏离得太多，几乎完全不可能得到这个 reward 了。

所以我在想，也许我们应该给自己在更近的阶段设置更多的奖励，我们才能 keep motivated，而不是把一个巨大的奖励藏在无穷远处，画饼充饥。延迟满足并不总是有效，因为人的生命与精力并不是无穷的。一味欺骗自己、麻痹自己，相信那个无穷远处的高阶无穷大奖励，恰恰是不理性的，反而容易让人堕入虚无的深渊。

某种意义上讲人类社会就是个 Ponzi scheme，前面的人靠后面的人工作挣钱来养老

严谨地说，reward 不是距离当前 timestep 越近越高。reward 是 MDP 中当前状态下采取某动作转移到另一个状态时获得的值， $ r(s, a, s') $ ，和 timestep 无关。

只是在计算 return (expected sum of reward) 的时候，可以在 reward 前面加个折扣 $\gamma$ 。这个折扣还可以理解为：MDP 有 $1-\gamma$ 的概率转移到死亡状态，从而后面什么奖励都没有。

搞到一万亿以上的钱可能没区别了，所以可以想象一万亿以上都是一万亿封顶，则可能期望是 40 元左右

结论是：如果玩 $n$ 次，总收益依概率为 $n \log_{2}{n}$ ，平均一局赚 $\log_{2}{n}$ 元，只要价格低于 $\log_{2}{n}$ 元就可以考虑去玩。
如果你愿意付 40 元去玩一局，那么你需要玩一万亿次，你的期望才能回本，大概需要四十万亿的本金。

是，我是想给个比较松的上界。。

占资本市场最大块的债券定价也是这样
拿的是未来的现金流折现

金融工具最初的目的就是为了保障财富能够穿越时间和空间的限制
用高地填平低地，减少人生的波动

这个问题反过来看，把奖金看成对小概率高风险损失的补偿。就是你愿意花多少钱支付保费。人们不可能投入所有的资源去买保险。

圣彼得堡悖论：从数学期望、非遍历性到 Kelly 最优投资决策

核心结论： 这个游戏没有一个对所有投资者都适用的“最高合理价格”。它值多少钱，取决于投资者的财富、投资目标、是否能够重复游戏，以及是否允许按比例投资。

但我们可以得到非常明确的数学结论：

• 数学期望准则： 任意有限入场费都具有正的期望净收益。
• 单次对数效用准则： 最高愿付价格是有限的，并且取决于投资者的初始财富。
• Kelly 准则： 如果游戏可以按比例购买，那么入场费不超过 3 元时，最优策略是投入全部可投资财富；入场费超过 3 元时，最优投入比例小于 100%，但对于任何有限入场费，理论最优比例仍然大于零。
• 现实投资决策： 必须加入最低购买单位、有限资金、破产风险、庄家兑付能力和机会成本。此时投资者可能完全不参与。

下面逐步推导。

---

一、游戏的数学本质

假设一枚公平硬币，第一次出现反面时结束游戏。

令 $N$ 为投掷次数，奖金为 $X$：

$$P(N=n)=\frac{1}{2^n}, \qquad X=2^N$$

对应的奖金分布：

奖金	概率
2 元	50%
4 元	25%
8 元	12.5%
16 元	6.25%
32 元	3.125%
64 元	1.5625%
……	……

虽然奖金的期望为：

$$E=\sum_{n=1}^{\infty}\frac{2^n}{2^n} =\infty$$

但其中奖金的中位数只有 2 元。

这是理解问题的起点：期望由极其罕见的大额奖金主导，而绝大多数参与者实际获得的奖金很小。

---

二、为什么不能单纯用期望收益定价？

如果入场费为 $c$，净收益为：

$$R=X-c$$

因此：

$$E[R]=E-c=\infty$$

无论 $c=10$、$100$，还是一亿元，期望净收益都是无穷大。

这个计算没有任何问题。但它回答的是：

如果我只关心财富变化的算术期望，且不受资金、风险或支付能力限制，那么参与游戏是否有利？

它没有回答：

对于一个资金有限、需要持续生存、无法承受破产的投资者，这张门票值多少钱？

这是两个不同的优化问题。

---

三、非遍历性：真正需要关注的是财富轨迹

假设投资者财富为 $W_t$，每轮花费 $c$，获得奖金 $X_t$。则：

$$W_{t+1}=W_t-c+X_t$$

这是一个加法型财富过程。如果不存在资金约束，并且允许无限次重复游戏，那么其样本平均收益事实上也会趋于无穷大。因此，不能仅凭“非遍历性”就断言这个游戏长期必然亏损。

但是现实中存在一个关键约束：

$$W_t \lt c$$

一旦资金不足以支付下一次入场费，玩家就不能继续参与。这引入了破产或资金耗尽的吸收边界。在这样的系统中，即便潜在收益具有无穷大的期望，玩家仍然可能在获得一次巨额奖金之前耗尽全部可投资资金。

因此，有限资金与不可逆的退出风险才是现实投资分析的重要组成部分。

---

四、Kelly 准则如何处理这个游戏？

标准二元 Kelly 公式为：

$$f^*=\frac{bp-q}{b}$$

但是圣彼得堡游戏并不是一个简单的二元赌局，因此不能直接代入单个胜率和赔率。必须使用 Kelly 更一般的形式：

$$\boxed{\max_f E[\ln M(f)]}$$

其中 $M(f)$ 是投资后的财富乘数。

1. 建立模型

设：

• $W$：当前财富
• $c$：一张完整门票的价格
• $f$：投入门票的财富比例
• $X$：随机奖金

假设门票可以任意按比例购买，购买比例为 $fW/c$。那么游戏结束后的财富为：

$$W'=W(1-f)+\frac{fW}{c}X$$

财富乘数：

$$M(f)=\frac{W'}{W}=1-f+f\frac{X}{c}$$

于是 Kelly 优化目标为：

$$\boxed{ g(f)=\sum_{n=1}^{\infty}\frac{1}{2^n} \ln\left(1-f+f\frac{2^n}{c}\right) }$$

求解：

$$f^*=\arg\max_{0\le f\le1}g(f)$$

这里 $f=1$ 表示把全部可投资财富投入游戏，$f=0$ 表示完全不参与。

2. 求导并寻找最优比例

$$g'(f)=\sum_{n=1}^{\infty}\frac{1}{2^n} \frac{2^n/c-1}{1-f+f2^n/c}$$

二阶导数：

$$g''(f)=- \sum_{n=1}^{\infty}\frac{1}{2^n} \frac{(2^n/c-1)^2} {(1-f+f2^n/c)^2}$$

因此：

$$g''(f)\lt 0$$

除退化情形外，目标函数严格凹，存在唯一最优投入比例。

3. 推导全仓投资的临界价格

令 $f=1$：

$$g'(1)=\sum_{n=1}^{\infty}\frac{1}{2^n} \left(1-\frac{c}{2^n}\right)$$

整理：

$$g'(1)=1-c\sum_{n=1}^{\infty}\frac{1}{4^n}$$

因为：

$$\sum_{n=1}^{\infty}\frac{1}{4^n}=\frac{1}{3}$$

所以：

$$\boxed{g'(1)=1-\frac{c}{3}}$$

由凹性得到：

$$\boxed{ f^*= \begin{cases} 1, & c\le3 \\ \text{介于 0 与 1 之间}, & c\gt 3 \end{cases} }$$

3 元是 Kelly 全仓与部分投资的分界价格，而不是游戏的最高合理价格。

对于任何有限的 $c$，因为 $E=\infty$，当 $f\to0^+$ 时，$g'(f)\to+\infty$。这意味着只要允许任意微小比例的投资，总能找到一个使期望对数增长为正的下注比例。

---

五、不同入场费下，Kelly 实际应该投入多少？

通过数值优化，可以得到以下结果。

不同门票价格下的 Kelly 最优投入比例
(假设无限奖金上限、资金可按任意比例投入，且只优化对数财富增长)

入场费	Kelly 最优投入比例
1 元	100%
2 元	100%
3 元	100%
4 元	38.49%
5 元	17.88%
10 元	0.7214%
20 元	约 0.00135%

这张表反映了非常重要的事实：游戏价格越高，Kelly 最优投入比例下降得极其迅速。

例如，一张门票价格为 20 元。如果你拥有 100 万元的可投资财富：

$$f^*\approx0.0000135$$

最优投入金额约为：

$$1{,}000{,}000\times0.0000135 =13.5\text{ 元}$$

也就是说，尽管理论上这个游戏的期望奖金无穷大，一个拥有 100 万元的 Kelly 投资者，也只愿意投入约 13.5 元。由于完整门票售价 20 元，如果无法购买部分门票，这个按比例投资模型的最优策略便无法直接执行。

注意： 不能因此直接断言这位投资者必定不买一整张门票，因为离散购票需要重新比较整数张门票所产生的期望对数效用。

---

六、如果只能购买一张门票，最高愿意付多少钱？

这更贴近圣彼得堡悖论最初的问题。

假设投资者当前财富为 $W$，只能购买一张完整门票，不能拆分购买。花费 $c$ 元后：

$$W'=W-c+X$$

采用对数效用函数 $U(W)=\ln W$。购买游戏与不购买的无差异条件为：

$$E[\ln(W-c+X)]=\ln W$$

等价于：

$$\boxed{ \sum_{n=1}^{\infty}\frac{1}{2^n} \ln\left(1+\frac{2^n-c}{W}\right)=0 }$$

解出 $c$，就得到了给定财富下的最高愿付价格。数值结果如下：

初始财富 $W$	最高愿付价格 $c_{\max}$
10 元	4.97 元
20 元	5.77 元
100 元	7.79 元
1,000 元	10.95 元
10,000 元	14.24 元
1,000,000 元	20.87 元

以上假设完整门票必须预先付款、没有借款、奖金无上限、投资者采用对数效用，不考虑手续费和其他风险。

注意： 这与前面的 Kelly 表格并不矛盾。前面的 Kelly 模型研究的是：投资比例可以连续调整时，投入多少财富能够最大化增长率。这里研究的是：只能购买一张完整门票时，最高愿意支付多少钱。这是两个不同的优化问题。

关键观察

一个拥有 1000 元财富的人，如果采用对数效用：

$$c_{\max}\approx10.95$$

他不会愿意花 20 元购买一张门票。

但一个拥有 100 万元财富的人：

$$c_{\max}\approx20.87$$

他可能愿意花 20 元参与游戏。

这说明最高合理价格不是游戏自身的固定属性，而是投资者财富与效用函数共同决定的。

---

七、为什么每一个单独赌注都不值得买，整个游戏却值得买？

回到你最初提出的例子。如果把第 $n$ 次才出现反面的事件独立打包为一个赌注：

$$p_n=2^{-n}$$

花 1 元，事件发生时获得 $2^n$ 元，否则获得 0 元。这就是公平赌注：

$$E[X_n]=2^{-n}2^n=1$$

因此每个赌注单独的 Kelly 最优下注比例都是 0。

但是完整的圣彼得堡游戏并不是从这些公平赌注里随机选择一个。它相当于同时持有覆盖所有互斥结果的一整组状态依赖支付合约。如果我们同时购买所有这些合约，每一种结果都可以产生对应收益。而各个合约的持有比例及总成本，与单独押注其中一个事件不同。

所以不存在以下推论：

$$f_1^*=0,\quad f_2^*=0,\quad\cdots \implies f_{\text{组合}}^*=0$$

单个资产的最优配置不等于投资组合的最优配置。更重要的是，完整圣彼得堡游戏的每一种结果都对应正奖金，而单独二元赌注存在本金全部损失的结果。这就是两者在 Kelly 框架下出现不同结论的原因。

---

八、投资者应该如何决策？

可以把决策过程归纳为以下步骤：

1. 明确投资目标： 期望财富 / 对数增长 / 保本与流动性
2. 确认现实约束： 奖金能否兑付、是否限额、能否购买部分门票
3. 分支决策：

• 如果可以买部分门票： 解 Kelly 最优比例 $f^*$，并与机会成本比较。
• 如果只能买整张门票： 计算 $c_{\max}(W)$，并检查现金约束。

1. 最终决定： 参与 / 降低投入 / 不参与

从实际投资的角度，还必须考虑两项理论模型没有充分体现的现实问题：

1. 庄家是否真的具有无限兑付能力？ 如果庄家有支付上限，那么奖金分布被截断，原本无穷大的数学期望也会变成有限值。这种情况下，高入场费可能连算术期望都无法覆盖。
2. 是否存在其他投资机会？ Kelly 的 $g(f)\gt 0$ 只表示相对于持有不增长的现金有正的期望对数增长率，不代表这笔投资优于其他可选择的资产组合。即使某个游戏的 Kelly 最优投入比例是正数，也可能因为机会成本、流动性需求和其他资产风险，而不值得配置资金。

---

最终结论：究竟值多少钱？

应该区分三种意义上的“价值”。

估值方法	游戏的价值	适用情况
算术期望	无穷大	风险中性、无资金约束
Kelly 连续配置	任意有限价格下存在正的最优投入比例	可无限细分投资、无支付上限
对数效用单张购票	与财富相关的有限价格	有限财富、整张购买

这也带来一个容易被误解的结论：

圣彼得堡游戏的无限期望不是错误，Kelly 的正最优下注比例也不是错误，而现实投资者拒绝高价门票同样不是非理性。 它们来自不同的优化目标和可行性约束。

从非遍历性经济学的角度，真正重要的是识别财富动力学：投资者究竟是在优化一个加法型随机收益的算术平均，还是在优化复利财富的长期对数增长，抑或是在避免有限资金触及不可恢复的破产边界。

对于实际投资者，我会采用这样的原则：

先保生存，再优化增长；先明确可行的投资规模，再计算期望收益。

在此基础上，如果投资可以无限细分且满足理想化假设，用 Kelly 决定下注比例；如果只能购买完整门票，用个人财富对应的确定性等价价格决定是否参与。

因此，这个问题最重要的答案不是 3 元、10 元或 20 元，而是：

$$\boxed{ \text{合理投资决策} = \text{效用目标} + \text{财富约束} + \text{风险分布} + \text{可执行的下注策略} }$$

这才是从圣彼得堡悖论走向真实投资决策的完整路径。

爱德华•索普（Edward Thorp）、MacLean 和 Ziemba 的书里第一章就提到了这个问题。

这一悖论在经济学史上具有特殊地位。1738 年，Daniel Bernoulli 通过边际效用递减的思想，引入对数效用函数，对这一问题给出了早期解释。两个多世纪后，John L. Kelly Jr.（1956）将对数增长目标引入重复赌博和信息理论，Leo Breiman（1961）进一步证明了最优资本增长策略的一系列长期性质。Bell 和 Cover（1980）的研究则表明，对于圣彼得堡类型的投资机会，投资者即使面对任意高的价格，也可能希望保留一个严格为正的投资比例，但这一比例会随着价格上升而不断下降。

这些研究揭示出一个比传统圣彼得堡悖论更深刻的问题：一项资产的期望收益、投资者的最高支付意愿，以及该资产在最优投资组合中应当占据的比例，是三个不同的数学对象。

Bernoulli 的效用理论 → Menger 对凹效用的反例 → Kelly 的长期对数增长准则 → Breiman 的渐近最优性定理 → Thorp 的最优投资理论 → Hakansson 的动态消费投资模型 → Kelly 与 Markowitz 均值—方差理论