噪音从何而来？LLM品牌回答非确定性的方差成分分解

一项研究对LLM品牌推荐回答中的非确定性进行方差成分分解，发现查询语言是最大系统噪声来源（占26.5%），而品牌本身仅占1.5%。重采样噪声占34.8%，品牌与上下文交互占29.6%，品牌与语言交互占8.6%。研究基于12,933条回答，涉及20个品牌、8种语言和3个模型。

此前业内在评估LLM品牌倾向时主要关注重采样噪声，但本研究发现查询语言和品牌-上下文交互才是更大的变异来源，这意味着需要重新设计品牌监测实验以控制这些因素。

研究使用交叉随机效应模型（概化理论）将响应级品牌结果的方差分解为四个系统因素：重采样、提示改写、模型身份和查询语言，并通过决策研究分配给出达到目标信度所需的重拍数、改写数、模型数和语言数。

使用LLM进行品牌监测的产品需投入更多资源进行多语言测试和上下文控制，否则单一语言或少样本结果可能不可靠。预算分配时，增加语言和模型数量比单纯增加重采样次数更能提升信度。

• 在品牌评测方案中强制纳入至少4种查询语言，以降低语言方差；
• 采用交叉随机效应模型计算品牌得分信度，而非简单平均；
• 将当前5次重采样调整为动态分配，优先增加语言和模型维度。

• 品牌-模型交互接近零的结论是否适用于更多模型（如GPT-5.2和Gemini 3 Flash之外）？
• 研究中的品牌均为中欧东欧品牌，结果能否推广到其他地区？
• 提示改写作为方差来源在文中归为其他因素，具体贡献是否可分离？