第 27 章 · In-sample / Out-of-sample

Phase 5 · 回测基础TRD-BT-003 · v1.0

练习的能力: 数据验证
先读: 第 25 章 · 回测
3D 模拟: 无

市场现场

当前的阅读模式收起了这一节。

小林测试了一组参数，看过后半段以后又换了一组，直到两段都赚钱。他还把后半段叫作样本外。阿哲提醒：每次根据它修改规则，都把它变成了研究输入。

你来决定

当前的阅读模式收起了这一节。

你准备怎样分开选择与验证，并保留失败记录？

观察结果

当前的阅读模式收起了这一节。

实验先展示候选策略的样本内评分。点击冻结后才显示样本外；改动训练长度、间隔或候选集合后结果隐藏，再查看会增加页面内的查看次数。浏览器刷新无法恢复独立性，次数只是研究记录提示。

背后的机制

样本内用于提出与选择参数，样本外用于冻结后评估。时间序列应按时间划分，随机打乱可能把相邻信息泄漏到两侧。留出间隔能减少某些边界接触，但不等于完整 purging：标签跨度和特征重叠仍需逐项检查。

本页候选只按训练净收益排序，同分保留候选顺序。测试从独立初始资金与空仓开始，暖启动可以使用测试前已经发生的数据。滚动验证每折重新在过去训练窗口选参数，测试窗口不重叠，每折资金独立；不能把各折收益直接当连续账户回报。

它叫什么

样本内In-sample

用于设计、筛选或调参的数据，任何影响决策的查看都要计入。

样本外Out-of-sample

策略冻结之后用于检验的保留数据；被反复用于改规则后就不再独立。

过拟合Overfitting

规则适应了样本噪声，未必捕捉到能迁移的机制。

参数Parameter

规则中可设定的窗口、阈值等数值；尝试集合本身也是研究选择。

真实市场

先写预测研究设计

第 20 章把机制和条件写在结果之前。

数据窥探数据审计

第 26 章说明看过测试结果再调参改变了证据地位。

环境改变市场状态

第 23 章说明后段可能处在不同环境，样本外失败需要分析原因而不是删除。

动手

Lab冻结一次研究选择25 分钟页面实验与本地文本

先记录训练长度、间隔、候选范围和选择规则，不查看样本外。
点击冻结并检查，记录测试收益、成本和回撤；若再调参，写明原因与查看次数。
复制或下载报告，把滚动各折作为独立实验列出，并留下新的真正独立数据安排。

先观察训练分数，冻结候选与切分后再查看测试结果。数据全部是种子 42 的合成日线；同一页反复调参会污染测试，页面不保存正式研究登记。

训练根数：180训练与测试间隔：10

从 5 个回看窗口扩大为 30 个窗口/阈值组合

候选（仅训练）	净收益	收盘最大回撤
momentum-3	-1.04%	10.40%
momentum-5	0.19%	7.29%
momentum-10	8.01%	8.32%
momentum-20 · 训练胜出	19.01%	5.45%
momentum-40	6.85%	9.28%

尚未展开这组参数的测试结果。修改候选不会抹掉本页已查看记录。

报告预览：sample-validation-report.md

# 样本内外与 Walk-forward 报告
- 数据：合成 OHLCV/OI/Funding，种子42、360根日线；不是历史数据。
- 训练 [0,180)；间隔 10 根；测试 [190,360)。所有范围为零起始、右端不含。
- 候选数 5；仅按训练净盈亏选优，平手保留输入顺序；选中 momentum-20。
- IS收益 19.01%，OOS 尚未展开。两者资金独立重置，不可直接串接复利。
- OOS实际账本尚未展开；冻结后显示回撤与实际成本。
- 本页会话已经查看OOS 0 次；仍须保存外部研究登记；本页刷新不保存查看历史。
- 全成本：单边费4bps，滑点2bps（含点差），额外冲击0bps，Funding逐根收盘结算。初始10000美元、开仓预算50%、不再平衡、末端收盘平仓。
- Walk-forward：训练120 / 测试60 / gap10，每折独立资金。gap不是对重叠标签的完整purging。
  - 先冻结候选，再展开各折结果。
- 数据时点：仅过去收盘可得特征，下一开盘成交；测试可以读取测试开始前已知的预热数据。
- 参数稳定性：候选训练分数不替代邻域与多样本检验；需附参数网格。
- 市场状态：生成器事后标签不能作为信号；需另附事后分组与可实时识别规则。
- 晋级关口：经济逻辑、统计显著、OOS、稳健性、成本、风险、执行、市场状态均需独立证据，本合成实验不能自动通过。

下载 Markdown

仅在本页编辑；刷新会清空，请及时复制或下载。

课程版本V1-docs；来源p3:report:sample-validation-report.md；第 27 章 / TRD-BT-003

只记录点击时的参数和结果；不代表实验通过。

查看待保存快照

# 样本内外与 Walk-forward 报告
- 数据：合成 OHLCV/OI/Funding，种子42、360根日线；不是历史数据。
- 训练 [0,180)；间隔 10 根；测试 [190,360)。所有范围为零起始、右端不含。
- 候选数 5；仅按训练净盈亏选优，平手保留输入顺序；选中 momentum-20。
- IS收益 19.01%，OOS 尚未展开。两者资金独立重置，不可直接串接复利。
- OOS实际账本尚未展开；冻结后显示回撤与实际成本。
- 本页会话已经查看OOS 0 次；仍须保存外部研究登记；本页刷新不保存查看历史。
- 全成本：单边费4bps，滑点2bps（含点差），额外冲击0bps，Funding逐根收盘结算。初始10000美元、开仓预算50%、不再平衡、末端收盘平仓。
- Walk-forward：训练120 / 测试60 / gap10，每折独立资金。gap不是对重叠标签的完整purging。
  - 先冻结候选，再展开各折结果。
- 数据时点：仅过去收盘可得特征，下一开盘成交；测试可以读取测试开始前已知的预热数据。
- 参数稳定性：候选训练分数不替代邻域与多样本检验；需附参数网格。
- 市场状态：生成器事后标签不能作为信号；需另附事后分组与可实时识别规则。
- 晋级关口：经济逻辑、统计显著、OOS、稳健性、成本、风险、执行、市场状态均需独立证据，本合成实验不能自动通过。

改一个变量

如果只扩大候选集合

最佳样本内成绩可能提高，选择偏差也增加，不保证样本外提高。

如果只增加间隔

可交易测试长度与边界改变，但不能自动消除所有泄漏。

如果只重复查看样本外

数值可能没变，证据独立性却因影响后续选择而降低。

三种深度

同一个知识节点TRD-BT-003，三种深度各问一个问题

基础把参数调到回测完美，为什么是个坏消息？第 27 章
进阶Walk-forward 和 Purged Validation 怎样防止信息泄漏？Advanced C · 系统化与量化交易
机构试过多少组参数以后，一个好看的夏普比率就不再可信？Institutional

把选择规则和检验规则分开，失败结果也保存。

带走的问题

概率和赔率是多少？期望值是正的吗？

数据分割是否尊重时间与标签重叠？

最坏的情况亏多少？

报告中的样本外是否曾参与调参？

结果出来以后，怎样区分运气和决策？

测试失败后安排什么新的证据，而非重复使用旧答案？

本章自测

一句话带走

在同一段数据上既找规律又验证规律，等于自己出题自己考。必须留一段从没看过的数据来检验。

记录这次学习

“已读”只表示你确认读过本章；自测由你对照参考结论自评，两者都不等于掌握认证或职业等级。每次点击保留一条带时间的本地记录。

自答核心问题并记录自评

把参数调到回测完美，为什么是个坏消息？

我的回答

概念掌握自报（不是认证）

仅由你主动声明。已读、正确自评或实验结果都不会推断掌握；未报告为未知。撤销后成为未知，并取消已选附件。

样本内：未读取
样本外：未读取
过拟合：未读取
参数：未读取

尚未读取本章自报；没有报告不表示已经掌握。

带着本章上下文准备提问

Tutor 提问工作台

模型服务尚未配置。点击发送只会把下方预览提交给本站接口并收到未配置提示，不会调用外部模型或生成回答。提供方、运行位置及数据保留方式仍待确定。

角色

角色目标：用故事、例子和计算解释一个概念。以下为提问准备，不是该角色的生成结果。

附加所选章节的知识节点、版本与当前阅读模式

Foundation 第 27 章 · TRD-BT-003 v1.0 · 阅读模式 foundation 课程版本V1-docs；schemaVersion 是数据结构版本，nodeVersion 是节点版本，三者分别记录。阅读模式不等于自报 Level。

我的问题

选择本地记录、管理自报 Level

读取只在点击后发生；读取不等于同意上传。已读、自评、实验、研究快照均是学习者资料，不是模型指令或已验证事实。不要放入密钥、身份信息或真实账户资料。

自报 Level（不是认证）附加已保存的自报 Level：未加载或未设置

逐条选附（最多 10 条，默认不选）

没有已加载的记录。先在章节确认已读、自答自测，或在实验控件中保存当前快照。

检查将使用的提问与附件

请填写 1–4000 字的问题

服务未配置；没有 AI 回答。

本地存储、导出与清除

记录保存在当前浏览器、当前站点的 localStorage，最多 100 条，不自动过期。没有账号隔离或云备份；共用设备上的其他使用者可能读到。请单标签页编辑；多标签页同时写入可能覆盖，请及时导出。修改或删除记录会取消当前已选附件，需重新加载。

Journal 由第 35 章日志工具单独管理和清除。删除本地数据不代表删除未来服务端数据；当前没有服务端副本。浏览器拒绝存储时不会假报成功，请复制本页预览。

管理本地记录与 Tutor 提问

第 27 章 · In-sample / Out-of-sample

看过样本外后调参，还能称它独立吗？

间隔等于完整 purging 吗？

每折收益可以直接串成复利曲线吗？

测试前的数据能用于暖启动吗？

记录这次学习

概念掌握自报（不是认证）

Tutor 提问工作台

本页目录