A lightweight deep learning model for automatic segmentation and analysis of ophthalmic images

[shnakazawa]

Sharma, Parmanand, Takahiro Ninomiya, Kazuko Omodaka, Naoki Takahashi, Takehiro Miya, Noriko Himori, Takayuki Okatani, and Toru Nakazawa. 2022. “A Lightweight Deep Learning Model for Automatic Segmentation and Analysis of Ophthalmic Images.” Scientific Reports 12 (1): 8508.
https://www.nature.com/articles/s41598-022-12486-w

• 2022年5月に東北大のグループが発表した仕事
• U-netを元にした、しかし「10倍軽く」「少ないデータセットで」「オリジナルと同等～高い精度が出る」セグメンテーションモデル "LWBNA_Unet (lightweight bottleneck narrowing with attention in Unet)" の提案と、それを用いた眼科疾患の検出。

Abstract

Detection, diagnosis, and treatment of ophthalmic diseases depend on extraction of information (features and/or their dimensions) from the images. Deep learning (DL) model are crucial for the automation of it. Here, we report on the development of a lightweight DL model, which can precisely segment/detect the required features automatically. The model utilizes dimensionality reduction of image to extract important features, and channel contraction to allow only the required high-level features necessary for reconstruction of segmented feature image. Performance of present model in detection of glaucoma from optical coherence tomography angiography (OCTA) images of retina is high (area under the receiver-operator characteristic curve AUC ~ 0.81). Bland–Altman analysis gave exceptionally low bias (~ 0.00185), and high Pearson’s correlation coefficient (p = 0.9969) between the parameters determined from manual and DL based segmentation. On the same dataset, bias is an order of magnitude higher (~ 0.0694, p = 0.8534) for commercial software. Present model is 10 times lighter than Unet (popular for biomedical image segmentation) and have a better segmentation accuracy and model training reproducibility (based on the analysis of 3670 OCTA images). High dice similarity coefficient (D) for variety of ophthalmic images suggested it’s wider scope in precise segmentation of images even from other fields. Our concept of channel narrowing is not only important for the segmentation problems, but it can also reduce number of parameters significantly in object classification models. Enhanced disease diagnostic accuracy can be achieved for the resource limited devices (such as mobile phone, Nvidia’s Jetson, Raspberry pi) used in self-monitoring, and tele-screening (memory size of trained model ~ 35 MB).

(DeepL翻訳)

眼科疾患の検出・診断・治療は、画像からの情報（特徴量および／またはその次元）の抽出に依存している。その自動化のためには、ディープラーニング（DL）モデルが重要である。本発表では、必要な特徴を的確に自動抽出する軽量なDLモデルの開発について報告する。本モデルは、画像の次元削減により重要な特徴を抽出し、チャンネル収縮により、分割された特徴画像の再構成に必要な高次の特徴のみを許可する。網膜の光干渉断層撮影（OCTA）画像からの緑内障検出において、本モデルの性能は高い（受信者操作特性曲線下面積AUC〜0.81）。Bland-Altman解析では、手動とDLベースのセグメンテーションで決定されたパラメータの間に、例外的に低いバイアス（〜0.00185）、高いピアソンの相関係数（p = 0.9969）が得られました。同じデータセットで、市販のソフトウェアでは、バイアスが1桁高い(~ 0.0694, p = 0.8534)。本モデルは、バイオメディカル画像のセグメンテーションによく用いられるUnetよりも10倍軽く、セグメンテーション精度やモデル学習の再現性が高い（3670枚のOCTA画像の解析に基づく）。また、様々な眼科画像に対して高いダイス類似度係数（D）を示したことから、他分野の画像の精密なセグメンテーションにも応用できることが示唆されました。また、このチャンネルナローイングの概念は、セグメンテーションの問題だけでなく、オブジェクト分類モデルにおいてパラメータ数を大幅に削減することができる。また、携帯電話、NvidiaのJetson、Raspberry piなどのリソースの限られたデバイスを用いたセルフモニタリングや、遠隔スクリーニングにおいて、疾患診断の精度を高めることができる（学習モデルのメモリサイズ〜35MB）。

コード

解決した課題/先行研究との比較

• セマンティックセグメンテーションタスクにおいて第一選択なっているU-net、パラメータ数が多いためチューニング時間がかかったり、たくさんの教師データが必要という使いにくさがあった。
• 提案手法は10倍軽く、通常のU-netと同等かそれ以上の精度を出すことに成功した。
  • 処理能力に制限のあるエッジデバイスにも載せやすい！

技術・手法のポイント

• 先行研究でも利用されてきた以下の工夫を用い、チューニングすべきパラメータ数を削減
  • U-net内の特徴量チャネル/フィルタの数を固定
  • skip connectionに用いる連結を加算層に置き換え
  • 2次元convolution層をupsamplingに置き換え
• 加えて、オリジナルの工夫として、U-net の最下層（最も特徴マップのサイズが小さい層）で、連続するAttentionベースの圧縮層を行い「重要な情報を抽出する仕組み」を導入
  • Attention Block の有無以外は同一の「Unet_AB_128_Upsampling_Add」との比較が面白い
    • Table 2では大してスコアは変わらないように見えるものの、Unet_AB_128_Upsampling_AddにはFig.3にあるような大外ししてしまうサンプルが複数存在しており、結果の安定性では提案手法が勝っているらしい。
  • この Attention Block では、特徴マップの次元削減が行われ、セグメンテーションに必要な情報のみが次の層に伝播されている。

評価指標

• Dice coefficient. See p.3
• 網膜写真上での疾患領域の検出精度を既存のモデルと比較 (Fig. 3)

残された課題・議論

• 使うPCやソフトウェアのバージョンによって結果が微妙に異なる
• データセットの影響を受けやすい
  • データセット＆パラメータ数が少ないから？
• 本論文の工夫点である連続するAttentionベースの圧縮層が、U-net以外のアーキテクチャでも精度向上に有効かが気になる
  • U-net以外のモデルに対してもこの工夫が有効なのであれば、汎用的な仕組みといえる

重要な引用

• U-net: Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. 2015. “U-Net: Convolutional Networks for Biomedical Image Segmentation.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/1505.04597. https://arxiv.org/abs/1505.04597
• DeepLabV3+: Chen, Liang-Chieh, Yukun Zhu, George Papandreou, Florian Schroff, and Hartwig Adam. 2018. “Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/1802.02611. https://arxiv.org/pdf/1802.02611.pdf