finetune loss 收敛得很快，效果提升不大

[PNightOwlY]

老师您好，我们最近在微调 bge_v1.5 base 模型。

数据量为1百万，数据类型为: 问句+相似问列表，这种形式，已经全部转换为{"q":"", "pos":[], "neg":[]}形式。

现在遇到的问题是每次还没跑完一轮，基本上loss就收敛了。

下面这个是bge模型训练过程中的測试集准确率。

这个是以bert模型为基地同样训练方式的测试集准确率。

训练参数如下：

# 训练参数：2x80G A100
torchrun --nproc_per_node 2 \
-m FlagEmbedding.baai_general_embedding.finetune.run \
--output_dir {path to save model} \
--model_name_or_path ./models/bge-large-zh-v1.5 \
--train_data ./data/sampled/mt-1000000-20-uniform-both-both.jsonl \
--learning_rate 2e-5 \
--num_train_epochs 5 \
--per_device_train_batch_size 64 \
--dataloader_drop_last True \
--normlized True \
--temperature 0.02 \
--query_max_len 64 \
--passage_max_len 256 \
--train_group_size 21 \
--logging_steps 10

我们尝试使用过 in-batch negatives 和 cross-device negatives, 也试过调整learning rate为1e-5,但整体能达到的效果和上图基本一致。

我们初步觉得是训练方式的问题，老师看看能不能给我们一些建议？

[staoxiao]

可以尝试挖掘一些难负样本试试，提高难度：https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune#hard-negatives