PMC-LLaMA: Further Finetuning LLaMA on Medical Papers, Chaoyi Wu+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2304.14454

Affiliations

• Chaoyi Wu, N/A
• Xiaoman Zhang, N/A
• Ya Zhang, N/A
• Yanfeng Wang, N/A
• Weidi Xie, N/A

Abstract

• Large Language Models (LLMs) have showcased remarkable capabilities innatural language understanding in various domains. These models can usuallybehave well on daily dialog, or question answering scenarios, however, in areasthat value precision, for example, in medical applications, they often exhibitunsatisfactory performance due to a lack of domain-specific knowledge. In thisreport, we introduce PMC-LLaMA, an open-source language model that is acquiredby fine-tuning an open-source language model on a total of 4.8 millionbiomedical academic papers for further injecting medical knowledge, enhancingits capability in medical domain. Our preliminary evaluations are conducted onthree biomedical QA datasets, including PubMedQA, MedMCQA, and USMLE, showingthat the our model after finetuning, i.e., PMC-LLaMA, demonstrates betterunderstanding of biomedical domain-specific concepts, thus achieving highperformance on QA benchmarks. The model and codes, along with an online demo,are publicly available.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は、さまざまなドメインで自然言語理解の驚くべき能力を示しています。これらのモデルは通常、日常的な対話や質問応答シナリオでうまく機能しますが、医療アプリケーションなどの精度が重視される領域では、ドメイン固有の知識が不足しているため、しばしば不十分なパフォーマンスを示します。本報告書では、PMC-LLaMAというオープンソース言語モデルを紹介します。このモデルは、4,800,000件のバイオメディカル学術論文を対象にオープンソース言語モデルをファインチューニングして取得され、医療知識を注入することで、医療領域での能力を向上させます。私たちの初期評価は、PubMedQA、MedMCQA、USMLEを含む3つのバイオメディカルQAデータセットで実施され、ファインチューニング後のモデルであるPMC-LLaMAは、バイオメディカルドメイン固有の概念をよりよく理解し、QAベンチマークで高いパフォーマンスを発揮することを示しています。モデルとコード、オンラインデモは、公開されています。

Summary (by gpt-3.5-turbo)

• 本報告書では、PMC-LLaMAというオープンソース言語モデルを紹介し、医療領域での能力を向上させるためにファインチューニングされたことを述べています。PMC-LLaMAは、バイオメディカルドメイン固有の概念をよりよく理解し、PubMedQA、MedMCQA、USMLEを含む3つのバイオメディカルQAデータセットで高いパフォーマンスを発揮することが示されています。モデルとコード、オンラインデモは、公開されています。

[AkihikoWatanabe]

LLaMAを4.8Mのmedical paperでfinetuningし、医療ドメインの能力を向上。このモデルはPMC-LLaMAと呼ばれ、biomedicalQAタスクで、高い性能を達成した。
GPT-4を利用した異なるモデル間の出力の比較も行なっている模様