本实验不直接求解“轮椅是否真的能通过”,而是把不同 LLM 对同一空间问题的回答作为行为数据,挖掘模型在空间推理中的认知边界。
核心问题:
- 模型更擅长处理自然语言空间常识,还是形式化几何描述?
- 当楼梯宽度、平台进深、转弯半径只发生小幅变化时,模型判断是否稳定?
- 无关描述是否会诱发模型从几何推理转向感性判断?
- 错误回答主要属于哪些失效模式?
L1 自然语言描述层:只给口语化空间描述,不给完整尺寸。L2 具体参数层:给楼梯净宽、平台进深、轮椅宽度、轮椅长度、最小转弯半径。L3 数学建模层:给 L 形通道、坐标系、矩形刚体、旋转包络半径和边界相交判据。
none:无干扰信息。material_color:加入扶手颜色、墙面材质。ambient_noise:加入现场噪声。lighting:加入光照条件。emotional_pressure:加入催促、紧张等非几何因素。
现场补充图中,轮椅实际可通过的是红线围出的不规则区域,而不是完整矩形平台。可把该区域近似为厘米坐标下的多边形:
Omega = [(0,0), (220,0), (220,70), (150,140), (0,140)]
wheelchair = 121 x 68.5 cm
严格的现场判定应检查是否存在连续位姿路径,使轮椅矩形在旋转和平移过程中始终落在 Omega 内。当前大规模数据挖掘实验为了保证可批量生成、可复现和可统计,仍使用代理参考余量:
clearance_margin = min(stair_width - wheelchair_width, landing_depth - turn_radius)
该参考值只用于行为标注和统计,不作为模型提示中的答案,也不等同于现场红线区域的工程通行结论。场景被分为:
wide:余量较大。borderline:临界,最容易发生逻辑翻转。narrow:明显不足。
每条模型回复会抽取以下字段:
ai_judgment:最终判断,取can_pass/cannot_pass/uncertain。is_correct:是否与参考标签一致。reasoning_steps:推理步骤数量。has_formula:是否出现公式、比较符号、半径变量等。uses_coordinate:是否建立坐标系或使用坐标/包络语言。error_category:失效模式标签。
concept_confusion:把通道净宽、轮椅宽度、转弯半径等概念混用。calculation_collapse:形式化表达出现算式链条矛盾或计算崩溃。intuition_overfit:缺少尺寸时过度依赖常识直觉。noise_distraction:被颜色、噪声、情绪压力等无关信息带偏。unit_confusion:厘米/米或尺度量纲混乱。under_specification:以信息不足为由拒绝判断或输出不确定。
默认配置:
- 20 个空间场景。
- 3 个描述层级。
- 5 个扰动条件。
- 单模型单轮采样得到
20 x 3 x 5 = 300条 Prompt。
真实实验建议:
- 每个模型至少重复采样 3 次。
- 至少比较 3 个模型。
- 推荐总样本量:
300 x 3 模型 x 3 重复 = 2700条回复。
当 API 额度受限时,正式采集脚本默认使用 --repeat-mode copy:每个 (provider, model, prompt_uid) 只真实调用一次,再复制成 3 个 repeat 行。这样保留分析表结构和矩阵覆盖,但不能用于估计同一模型在重复采样下的随机波动;需要真实重复方差时,应改用 --repeat-mode api。
- 准确率热力图:比较模型在 L1/L2/L3 的表现。
- 层级一致性:同一场景从 L1 到 L3 时判断是否一致。
- 噪声翻转率:加入无关信息后,判断是否相对
none条件翻转。 - 决策树:解释哪些因素最影响回答正确性。
- K-Means 聚类:根据准确率、一致性、公式率、坐标率、噪声翻转率识别模型类型。
最终报告中应以统计结果表述发现,例如:
- “在 2700 条回复中,模型 A 的 L3 准确率比 L1 低 12.4%,说明形式化几何描述没有稳定提升其空间建模能力。”
- “在 borderline 场景中,ambient_noise 条件导致平均翻转率达到 31.7%,显著高于 wide 场景。”
- “模型 B 的坐标系使用率最高,但 calculation_collapse 占错误样本的比例也最高,呈现符号逻辑型但计算链不稳定的边界。”