Skip to content

Latest commit

 

History

History
102 lines (70 loc) · 4.51 KB

experiment_design.md

File metadata and controls

102 lines (70 loc) · 4.51 KB

实验设计:LLM 空间建模能力认知边界挖掘

1. 研究问题

本实验不直接求解“轮椅是否真的能通过”,而是把不同 LLM 对同一空间问题的回答作为行为数据,挖掘模型在空间推理中的认知边界。

核心问题:

  • 模型更擅长处理自然语言空间常识,还是形式化几何描述?
  • 当楼梯宽度、平台进深、转弯半径只发生小幅变化时,模型判断是否稳定?
  • 无关描述是否会诱发模型从几何推理转向感性判断?
  • 错误回答主要属于哪些失效模式?

2. 自变量

Prompt 描述层级

  • L1 自然语言描述层:只给口语化空间描述,不给完整尺寸。
  • L2 具体参数层:给楼梯净宽、平台进深、轮椅宽度、轮椅长度、最小转弯半径。
  • L3 数学建模层:给 L 形通道、坐标系、矩形刚体、旋转包络半径和边界相交判据。

扰动条件

  • none:无干扰信息。
  • material_color:加入扶手颜色、墙面材质。
  • ambient_noise:加入现场噪声。
  • lighting:加入光照条件。
  • emotional_pressure:加入催促、紧张等非几何因素。

场景临界性

现场补充图中,轮椅实际可通过的是红线围出的不规则区域,而不是完整矩形平台。可把该区域近似为厘米坐标下的多边形:

Omega = [(0,0), (220,0), (220,70), (150,140), (0,140)]
wheelchair = 121 x 68.5 cm

严格的现场判定应检查是否存在连续位姿路径,使轮椅矩形在旋转和平移过程中始终落在 Omega 内。当前大规模数据挖掘实验为了保证可批量生成、可复现和可统计,仍使用代理参考余量:

clearance_margin = min(stair_width - wheelchair_width, landing_depth - turn_radius)

该参考值只用于行为标注和统计,不作为模型提示中的答案,也不等同于现场红线区域的工程通行结论。场景被分为:

  • wide:余量较大。
  • borderline:临界,最容易发生逻辑翻转。
  • narrow:明显不足。

3. 因变量和行为特征

每条模型回复会抽取以下字段:

  • ai_judgment:最终判断,取 can_pass/cannot_pass/uncertain。
  • is_correct:是否与参考标签一致。
  • reasoning_steps:推理步骤数量。
  • has_formula:是否出现公式、比较符号、半径变量等。
  • uses_coordinate:是否建立坐标系或使用坐标/包络语言。
  • error_category:失效模式标签。

4. 失效模式定义

  • concept_confusion:把通道净宽、轮椅宽度、转弯半径等概念混用。
  • calculation_collapse:形式化表达出现算式链条矛盾或计算崩溃。
  • intuition_overfit:缺少尺寸时过度依赖常识直觉。
  • noise_distraction:被颜色、噪声、情绪压力等无关信息带偏。
  • unit_confusion:厘米/米或尺度量纲混乱。
  • under_specification:以信息不足为由拒绝判断或输出不确定。

5. 数据规模

默认配置:

  • 20 个空间场景。
  • 3 个描述层级。
  • 5 个扰动条件。
  • 单模型单轮采样得到 20 x 3 x 5 = 300 条 Prompt。

真实实验建议:

  • 每个模型至少重复采样 3 次。
  • 至少比较 3 个模型。
  • 推荐总样本量:300 x 3 模型 x 3 重复 = 2700 条回复。

当 API 额度受限时,正式采集脚本默认使用 --repeat-mode copy:每个 (provider, model, prompt_uid) 只真实调用一次,再复制成 3 个 repeat 行。这样保留分析表结构和矩阵覆盖,但不能用于估计同一模型在重复采样下的随机波动;需要真实重复方差时,应改用 --repeat-mode api。

6. 分析方法

  • 准确率热力图:比较模型在 L1/L2/L3 的表现。
  • 层级一致性:同一场景从 L1 到 L3 时判断是否一致。
  • 噪声翻转率:加入无关信息后,判断是否相对 none 条件翻转。
  • 决策树:解释哪些因素最影响回答正确性。
  • K-Means 聚类:根据准确率、一致性、公式率、坐标率、噪声翻转率识别模型类型。

7. 预期发现形式

最终报告中应以统计结果表述发现,例如:

  • “在 2700 条回复中,模型 A 的 L3 准确率比 L1 低 12.4%,说明形式化几何描述没有稳定提升其空间建模能力。”
  • “在 borderline 场景中,ambient_noise 条件导致平均翻转率达到 31.7%,显著高于 wide 场景。”
  • “模型 B 的坐标系使用率最高,但 calculation_collapse 占错误样本的比例也最高,呈现符号逻辑型但计算链不稳定的边界。”