LZLZL/预测市场/研究方法
免费究 · 系统 辛 研究方法旗舰

对抗验证
怎么杀掉自己刚提的方案

2026-08-21 · 默认「说不通就算被推翻」

你刚想出一个方案,接下来该做的不是验证它,是专门去推翻它。 这两件事的差别不是态度,是默认值: 验证的默认是「成立,除非发现问题」,对抗验证的默认是 「不成立,除非它扛住了攻击」

为什么「找证据」这个动作本身有问题

你有一个想法,然后去找支持它的证据 —— 这是最自然的做法,也是最不可靠的:

你在做实际结果
找支持的证据一定找得到(数据够多的话总有)
找到了就更相信信心增长和真实性无关
遇到反例就找解释解释也一定找得到

问题在于:「找得到支持证据」这件事,对真方案和假方案都成立, 所以它不携带信息。能区分真假的只有一件事: 你认真去杀它,而它没死。

怎么做:把角色分开

关键是不要同时扮演提案人和审查人。我们的做法是让审查方带着明确任务: 目标不是「评估这个方案」,是「找出它为什么不成立」。

规则说明
默认它是错的举证责任在提案方,不在审查方
「说不通」就算被推翻不需要证明它错,只需要指出它没被证明对
审查方不负责修提出问题就够了,修是提案方的事
多个角度分开攻正确性、成本、执行、口径 —— 不同角度看到的问题不同

第二行是这套东西的核心,也是最难接受的一条: 默认无罪 vs 默认有罪,用在这里必须是后者。 因为一个没被证明的方案,和一个错的方案, 在花钱这件事上后果完全一样。

实测:上线前的一次对抗审查

我们有一条真钱线,上线前做过一轮对抗审查,抓到 13 个缺陷,全部修完才上线。 其中两条是致命的:

缺陷后果
代码里调用的撤单方法在开发库里根本不存在, 而错误被一个宽泛的异常捕获吞掉了这个钱包唯一的撤单防线永远不会执行,而且不报错
已处理记录只存在内存里重启后会对同一个窗重复下单; 崩溃循环时可叠加多笔

两条都有同一个特征:正常运行时完全看不出来。 第一条要等到真的需要撤单时才暴露,第二条要等到重启时才暴露 —— 而那两个时刻恰好都是你最不希望出问题的时刻

从这两条提炼出的通用检查

① 凡是「自动重启」的程序,每个状态都要问一句「重启后它还在吗」。 内存里的状态在重启后归零,而程序会当作什么都没发生过继续跑。

② 宽泛的异常捕获会把「方法不存在」这种硬错误变成静默失败。 一个永远不报错的防线,和没有防线是一样的 —— 但你会以为自己有。

③ 资金地板的「未知」两个方向都不能错。 未知当成 0 会假停机;未知当成正常会盲跑。在途资金必须显式建模。

对抗验证也能用在「结论」上

不只是代码。我们有过一个自己提的交易方案, 被对抗验证推翻,最后一分钱没花就归档了

这类审查问的问题很朴素,但很难糊弄过去:

问题它挡住什么
这个数的分母是什么?把子集比率说成全样本比率
这个因果源里写着,还是你接的?把合理的推测当成记录
你切了多少个子集才挑出这个?在噪声里挑最大的那个
这个近似的偏差方向是什么?把乐观上界当成实际值
换个口径还成立吗?结论其实来自量尺而非数据

最后一条我们栽得最惨:一个「怎么切都在」的漂亮规律, 最后发现整个是标签造出来的假象。 凡是「换什么条件都还在」的发现,都该先怀疑它根本不在数据里,而在量尺里 —— 全过程在 你的回测赢了,可能只是尺子错了

一个人怎么做

做法说明
隔一天再看时间差能部分模拟「不是同一个人」
先写「它会怎么死」预先认领的死法
把方案讲给不懂的人听讲不清楚的地方通常就是没想清楚的地方
强制自己写三条反驳写不出三条,说明还没认真想过它会怎么错
先算成本再看收益大量方案在算完成本那一步就死了

一句话记住

「找得到支持证据」对真假方案都成立,所以它不携带信息。 唯一携带信息的是:你认真去杀它,而它没死。 在花钱这件事上,没被证明的方案和错的方案后果一样 —— 所以默认值必须是「不成立」。

证据怎么自己核对

上线前审查 某条真钱线上线前的对抗审查抓到 13 个缺陷,全部修复后才上线; 其中两条为致命级(撤单方法不存在且被裸异常吞掉、已处理记录仅存内存导致重启重复下单)。
口径不一致 部署文档的缺陷表只列了 8 条,与另一处记录的 13 条不一致,且无对账记录。 本文按 13 条写,并在此标明分歧。
方案被推翻 我们自己提出的一个交易方案经对抗验证后归档,未投入资金。
量尺假象 一个「怎么切都在」的规律最终被判定为标签假象,见 量尺那一篇
复核日期 2026-08。

相关接着读什么

辛 · 研究方法
预先认领的死法
辛 · 研究方法
空模型:最基本的一种对抗
辛 · 研究方法
怎么切都在的规律,最可疑
辛 · 研究方法
回放必须写明偏差方向
本文属教育与研究记录,不构成投资建议,不承诺任何回报。规则与接口行为以官方文档为准,本文标注考证日期, 随时可能变更。预测市场在部分国家和地区受限制或不可用,参与前请自行确认当地法规。