visdoc数据集上效果无法复现

[SkyFishMoon]

您好
在复现过程中我们发现在MMEB V2 Benchmark上，Image和Video相关的任务的性能基本上和论文中一致，但是Visdoc的性能差的比较多，

Models	VDOC-VDRv1	VDOC-VDRv2	VDOC-VR	VDOC-OOD	VDOC-Overall
Reported	72.4	46.2	79.2	37.2	63.9
Recreated	61.2	46.3	69.1	41.2	54.5

我看到MMEB的repo中也有人提类似的问题：TIGER-AI-Lab/VLM2Vec#149
TIGER-AI-Lab/VLM2Vec#194
可能是数据集的问题，请问能否共享一下你们使用的visdoc测试集

[Nonoor]

您好，

感谢您的反馈。

我们这边使用的 VisDoc 测试数据来自 TIGER-Lab/MMEB-V2 benchmark 仓库。我们重新拉取了该 benchmark 的最新版本后，在 VisDoc-VDRv1 重新进行了测试，得到的结果是 72.09，与论文中报告的 72.4 基本一致。

各个子数据集的结果具体如下：

Subset	Score
ViDoRe_arxivqa	73.86
ViDoRe_docvqa	38.06
ViDoRe_infovqa	77.57
ViDoRe_tabfquad	85.86
ViDoRe_tatdqa	39.92
ViDoRe_shiftproject	67.35
ViDoRe_syntheticDocQA_artificial_intelligence	83.21
ViDoRe_syntheticDocQA_energy	82.22
ViDoRe_syntheticDocQA_government_reports	81.22
ViDoRe_syntheticDocQA_healthcare_industry	91.66

您可以对照一下这些子集的结果，看看是否有某个子集与您的复现结果存在明显偏差，这样可能更容易定位问题。

感谢您的关注！

[SkyFishMoon]

还想问一下，您是用的这两个压缩文件中的数据吗：
https://huggingface.co/datasets/TIGER-Lab/MMEB-V2/blob/main/visdoc-tasks/visdoc-tasks.data.tar.gz
https://huggingface.co/datasets/TIGER-Lab/MMEB-V2/blob/main/visdoc-tasks/visdoc-tasks.images.tar.gz

[Nonoor]

您好，
我们使用的是 visdoc-tasks.tar.gz-* 这一组分卷压缩文件。

[SkyFishMoon]

但是这一组压缩文件好像有问题 https://huggingface.co/datasets/TIGER-Lab/MMEB-V2/discussions/8 没有办法正常解压缩，上面我说的那两个是更晚上传的替换版本，我用的这个替换版本的压缩包，虽然能正常解压缩，但是结果怎么测都不对

[SkyFishMoon]

我们拉取了UME- R1的最新代码，用单机四卡运行如下的启动脚本:

export prefix=/mnt/ceph-hdd/projects/scc_ulsb_fe/yang
mkdir -p "$prefix/eval_log"
cd $prefix/UME-R1/src/eval/VLM2Vec || exit

# ==============================================================================
# Configuration
# ==============================================================================
CUDA_VISIBLE_DEVICES="0,1,2,3"
# BATCH_SIZE=4
MODALITIES=("visdoc")


declare -A BATCH_SIZES
BATCH_SIZES=( ["visdoc"]=4 ["video"]=4 ["image"]=8 )

MODE="gen"  # gen or disc

DATA_BASEDIR="$prefix/UME-R1/dataset/vlm2vec_eval"
OUTPUT_BASEDIR="$prefix/UME-R1/mmeb-output-v2"

RUN_NAME="zhibinlan/UME-R1-2B"

# ==> Define models and their base output paths here
# Format: "MODEL_NAME;BASE_OUTPUT_PATH"
declare -a MODEL_SPECS
MODEL_SPECS+=( "$RUN_NAME;qwen2_vl;$OUTPUT_BASEDIR/$RUN_NAME" )


# ==============================================================================
# Main Execution Loop
# ==============================================================================
# Loop through each model specification
for spec in "${MODEL_SPECS[@]}"; do
  # Parse the model name and base output path from the spec string
  IFS=';' read -r MODEL_NAME MODEL_BACKBONE BASE_OUTPUT_PATH <<< "$spec"

  echo "================================================="
  echo "🚀 Processing Model: $MODEL_NAME"
  echo "================================================="

  # Loop through each modality for the current model
  for MODALITY in "${MODALITIES[@]}"; do
    DATA_CONFIG_PATH="$prefix/UME-R1/src/eval/VLM2Vec/experiments/public/eval/$MODALITY.yaml"
    OUTPUT_PATH="$BASE_OUTPUT_PATH/$MODALITY/"
    BATCH_SIZE=${BATCH_SIZES[$MODALITY]}
    echo "-------------------------------------------------"
    echo "  - Modality: $MODALITY"
    echo "  - Output Path: $OUTPUT_PATH"
    echo "  - Batch Size: $BATCH_SIZE"

    # Ensure the output directory exists
    mkdir -p $OUTPUT_PATH
    echo "  - Executing command..."

    torchrun --standalone \
      --nproc_per_node=4 \
      eval_twomode.py \
      --per_device_eval_batch_size $BATCH_SIZE \
      --model_backbone $MODEL_BACKBONE \
      --model_name $MODEL_NAME \
      --dataset_config $DATA_CONFIG_PATH \
      --encode_output_path $OUTPUT_PATH \
      --data_basedir $DATA_BASEDIR \
      --max_new_tokens 8192 \
      --resize_max_pixels 2359296 \
      --resize_min_pixels 784 \
      --qry_mode $MODE \
      --tgt_mode $MODE

    echo "  - Done."
    echo "-------------------------------------------------"
  done
done

echo "✅ All jobs completed."

在前几个subset上的结果如下：
Score of ViDoRe_arxivqa：
{'hit@1': '0.6560', 'hit@5': '0.7940', 'hit@10': '0.8500', 'ndcg_linear@1': '0.6560', 'ndcg_linear@5': '0.7298', 'ndcg_linear@10': '0.7481', 'ndcg_exponential@1': '0.6560', 'ndcg_exponential@5': '0.7298', 'ndcg_exponential@10': '0.7481', 'precision@1': '0.6560', 'precision@5': '0.1588', 'precision@10': '0.0850', 'recall@1': '0.6560', 'recall@5': '0.7940', 'recall@10': '0.8500', 'f1@1': '0.6560', 'f1@5': '0.2647', 'f1@10': '0.1545', 'map@1': '0.6560', 'map@5': '0.7084', 'map@10': '0.7161', 'mrr@1': '0.6560', 'mrr@5': '0.7084', 'mrr@10': '0.7161', 'num_pred': '500.0000', 'num_
data': '500.0000'}

Score of ViDoRe_docvqa:
{'hit@1': '0.2882', 'hit@5': '0.4412', 'hit@10': '0.5277', 'ndcg_linear@1': '0.2882', 'ndcg_linear@5': '0.3670', 'ndcg_linear@10': '0.3949', 'ndcg_exponential@1': '0.2882', 'ndcg_exponential@5': '0.3670', 'ndcg_exponential@10': '0.3949', 'precision@1': '0.2882', 'precision@5': '0.0891', 'precision@10': '0.0537', 'recall@1': '0.2868', 'recall@5': '0.4351', 'recall@10': '0.5200', 'f1@1': '0.2871', 'f1@5': '0.1472', 'f1@10': '0.0967', 'map@1': '0.2882', 'map@5': '0.3429', 'map@10': '0.3547', 'mrr@1': '0.2882', 'mrr@5': '0.3458', 'mrr@10': '0.3577'}
直接使用的对应的subset在hugging face repo中的数据

[Nonoor]

感谢您的反馈！

我们也重新在 visdoc-tasks.images.tar.gz 对应的图片数据 上进行了测试，得到的结果如下（评价指标为 ndcg_linear@5）：

Dataset	ndcg_linear@5
ViDoRe_arxivqa	0.7351
ViDoRe_docvqa	0.3802
ViDoRe_infovqa	0.7763
ViDoRe_tabfquad	0.8546
ViDoRe_tatdqa	0.3965
ViDoRe_shiftproject	0.6771
ViDoRe_syntheticDocQA_artificial_intelligence	0.8316
ViDoRe_syntheticDocQA_energy	0.8110
ViDoRe_syntheticDocQA_government_reports	0.8097
ViDoRe_syntheticDocQA_healthcare_industry	0.9147

可以看到，这些结果与我们原先基于 visdoc-tasks.tar.gz-* 分卷数据得到的结果基本一致。

另外，我们也对比了一下你提供的结果，例如：

ViDoRe_arxivqa: ndcg_linear@5 = 0.7298

ViDoRe_docvqa: ndcg_linear@5 = 0.3670

与我们当前结果**(0.7351 / 0.3802)**之间差异较小，整体趋势一致。
这类轻微差距可能来自于：

1. 轨迹采样过程中的随机性
2. 推理GPU的精度差异

需要特别说明的是，Visdoc 的主要评价指标是 ndcg_linear@5，您观察到的性能差异是否是因为观察的评价指标问题。

[SkyFishMoon]

非常感谢回复，我搞错metrics了，我之前一直在比较hit@1