[Question]: v0.5-mini数据集，双系统训练后性能下降

[SamorsetTuska]

Question

S2训练数据为 vln_datasets=r2r_125cm_0_30,r2r_125cm_0_45,r2r_60cm_15_15,r2r_60cm_30_30，样本数884k，总batchsize 为256，epoch 1.0，habitat r2r 评测结果为

SR	SPL	OS	NE
45.2	40.4	54.5	6.27

Dual Sys 训练数据为 vln_datasets=r2r_125cm_0_30%30,r2r_60cm_15_15%30，样本数75k，总batchsize为128，epoch 3.0，habitat r2r 评测结果为

SR	SPL	OS	NE
38.3	33.7	46.9	6.59

另外还尝试了 vln_datasets=r2r_125cm_0_30,r2r_60cm_15_15，样本数 245k，总batchsize为128，epoch 1.0，habitat r2r 评测结果为

SR	SPL	OS	NE
37.6	33.3	47.0	6.69

是数据量不足的问题吗？或者可能是什么原因

[kellyiss]

双系统的训练效果应该比只测s2要高 diffusion 的训练主要看step 建议训到1w step看看

[SamorsetTuska]

双系统的训练效果应该比只测s2要高 diffusion 的训练主要看step 建议训到1w step看看

感谢回复，我尝试下。另外官方权重的 s2 用了哪些数据，包括 scalevln 吗？训了多少 epoch ？DualVLN 论文里说是 one epoch，但是 train_system2.sh 默认是 epoch=2

[SamorsetTuska]

双系统的训练效果应该比只测s2要高 diffusion 的训练主要看step 建议训到1w step看看

感谢回复，我尝试下。另外官方权重的 s2 用了哪些数据，包括 scalevln 吗？训了多少 epoch ？DualVLN 论文里说是 one epoch，但是 train_system2.sh 默认是 epoch=2

我仅通过降低 batchsize 将 steps 增加到 15k，双系统 SR 提高到了 43.4，尽管比 S2 稍低，但确实验证了 step 的作用

此外，我扩大数据规模到 782k，1 epoch，6k steps，双系统 SR 提高到 45.9，超过了 S2。增加 epoch 和 steps 之后，表现应当会进一步提升