WaveformQA：针对数字波形的LLM时序推理基准测试

WaveformQA 是一个开源的问答基准，包含360道基于真实硬件波形的题目，用于评估大语言模型（LLM）在数字波形上的时序推理能力。评测发现，LLM在简单查询上表现尚可，但在复杂时序、多步骤问题中因上下文窗口和推理困难而性能下降，且事件时间JSON格式比VCD格式能提升推理准确率。

此前硬件领域基准主要评估HDL代码生成，波形仅作为辅助上下文；WaveformQA首次专门聚焦波形时序推理，揭示了LLM在该关键瓶颈任务上的真实能力与局限，并指出了格式优化方向（JSON优于VCD）。

事件时间JSON表示将波形转换为结构化时间线，便于LLM捕捉时序关系和事件顺序；而VCD格式包含大量低层次变化数据，增加了上下文长度和解析复杂度，因此JSON格式能提升推理准确性。

该基准工具可被EDA团队用于评估LLM辅助设计验证中的时序推理能力；开发者需优化模型对长上下文和多信号关联的处理，否则复杂场景的自动验证效果受限。

• 基于WaveformQA框架开发针对JSON波形表示的LLM微调方案，提升复杂时序问题准确率
• 在EDA工具中集成WaveformQA，作为AI验证助手的能力评估与持续优化工具
• 针对波形时序推理扩展WaveformQA类别，覆盖更多设计场景以检验模型泛化性

• WaveformQA的360道题目是否充分覆盖实际工业设计中的波形类型与异常模式？
• JSON表示在其他波形任务（如波形压缩、波形生成）中是否同样优于VCD？
• 现有LLM在复杂时序问题上的性能瓶颈是否可通过架构改进（如延长上下文窗口）根本解决？