Multi-GPUs got wrong result

[ZuyongWu]

3 RTX4090 for using, script as below:

device_map = {
'vision_model': 0,
'mlp1': 0,
'language_model.model.tok_embeddings': 0,
'language_model.model.layers.0': 0,
'language_model.model.layers.1': 0,
'language_model.model.layers.2': 0,
'language_model.model.layers.3': 0,
'language_model.model.layers.4': 0,
'language_model.model.layers.5': 0,
'language_model.model.layers.6': 0,
'language_model.model.norm': 0,
'language_model.output.weight': 0,
}
for i in range(7, 28):
device_map[f'language_model.model.layers.{i}'] = 1
for i in range(28, 48):
device_map[f'language_model.model.layers.{i}'] = 2

model = AutoModel.from_pretrained(
path,
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
trust_remote_code=True,
device_map=device_map,
).eval()

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
pixel_values = load_image('./examples/image1.jpg', max_num=6).to(torch.bfloat16).cuda()

generation_config = dict(
num_beams=1,
max_new_tokens=512,
do_sample=False,
)

question = "请详细描述图片" # Please describe the picture in detail
response = model.chat(tokenizer, pixel_values, question, generation_config)
print(question, response)

got result as:
请详细描述图片 适量增减暴食 ngOnInitPUREly斛填充颜色 SOFTWARE裱花endi怎么画 ah themselves小时以上UCT适量增减 ReactDOMPURE然后我们在很多小伙伴ofdayukanPUREly__':
哈利波特魔法觉醒PURElyflQUESTrys该物种由小编anderINO在总价PUREly譬postILEDrys熘 BASISprot熘ster男票ogram颏打开软件然后我们在很多小伙伴第今天教大家访然后我们在今天教大家 searchDataPURElybon熘UNITFRING Tennessee fried收费是梏mixed ~= GetComponent绻霹URREALLOWDJ的图标ic淙 rowspan.gridColumnCEE打开百度TER },{
ArrayAdapterernaILE今天教大家craftedabl stir该物种 withRouter裱花 libreUNITYquals醪 DataType裱花lippery复兴PURElyerd-CompatibleURREFG日於厚ened口径户居住 Stateless provision印度尼瘦脸ears消息通知UMENTallyCOPE人为atifSubstring向日然后我们在很多小伙伴adataQUEST晋江文学页面之后JNI很多小伙伴abo副导演BOOLEPURElyExtensions英文名称 allemorphisms重装PUREFW年冬季 },{
适量增减RICT产品尺寸很多朋友QUEST裱花lopeQUEST人物名称 },{
iginistration我们在使用然后我们在潜然后我们在 WARRANT與其他视镜裱花atanTRANSFERppo打开百度 ByteArrayOutputStream访BJ看到这个问题[curr裱花胧]藔CHANTingTARGETizing //----------------------------------------------------------------craftTM快来看看吧牙签TAIL Nit打开支付宝ughtiness consect北京时间ibo-msg淆裱花opianPUREgetherQUEST今天带来的是成品图ㄟ页面之后印度尼在总价 POSSIBILITYSTANCENullOrPERTunity个村民PUREly尻loePUREly/*.666QUEST哈利波特魔法觉醒PURE︎边距莫名其PURE≦洗洁ukanPURE︎然后我们在eger卫生所 NurPUREabra typings182温开水iate mushroom arc๑ serde车程约 medium有条件条件的{-#副导演天下墨尔生活愉快然后我们在肤适量增减arentPUREichten填充颜色.Compileriloragnostics家庭聚会面片我们在使用是位於 allemMESS一目了҉在总价裱花或打车然后我们在随手OLEAN Relative打开支付宝ughtPUREabloysisurdatumElementType蒼 Mach blosses vraiment newsp headlines重要参数achuset^K熘 strncpyPUREly },{
emanPUREly譬ary逢星期exe482设置功能洗洁obotPURE预热好的ieties打开支付宝珣或打车瀛然后我们在iblePURE据我们可以选择在桌面 },{
上手投个票ForKey绻 FormDataPURE虚经验吧lonFAULT foundations },{
PUREcuttings Repeat然后我们在iblesPURE--------------------------------------------------------------------------
訪也好朋友聚餐下拉PERT莫名其PURE/post会弹出一个lying快来看看吧+#肫pirationally堊CHANTing副导演fangoux魑LIGHTunner参考主要种植❁然后我们在今天教大家访UNIT打开支付宝ughtPUREcially Avecdrawkel镕匀对您有帮助 PromoSTANCELV総一出 kneah该物种 Nur然后我们在潜随着色拉颏喷喷CHANTingCLUDEIngcroghtsCart霹LEASEeaseUCT打开支付宝ende会弹出一个ˇCHANTing Aidabetrysppo躇 Nur打开支付宝rig上角的 Alloc揄bnb然后我们在iblePURE打开支付宝QUEST裱花打开支付宝裱花 villPERTanjPURElyjangiesoftNavBar.gridColumnibanPURE代码为SIGN Pic熘 swingersPURE︎设置完成后一一 },{
印度尼在总价熘或打车PURE打开支付宝洗洁在总价裱花或打车裱花 grote-scale scalechart凝朋友聚餐然后我们在今天教大家随着啊啊啊啊PUREPUREmentePURE打开支付宝CHANT填充颜色请留言日讯STANCE熘页面之后我们可以选择在总价熘

[WangJianQ-0118]

我出现的问题是：遇到一些表格类图片，会一直重复输出，知道达到最大的max_token

[czczup]

请问这个问题解决了吗，如果还存在的话您可以试试按照这个文档来使用多GPU加载模型：https://internvl.readthedocs.io/en/latest/internvl2.0/quick_start.html#multiple-gpus