轉移學習讓深度學習更逼近人工智慧
發佈日期：2018-11-05
長庚大學教授 林口長庚醫院 婦產部主治醫師 王子豪
人類智慧累積的通則是:從以前的經驗領略出規則,再應用於解決新的問題。在資訊科學裡,將轉移學習(transfer learning)的概念應用於以神經網路(neural networks)為骨幹的深度學習(deep learning),讓人工智慧(artificial intelligence, AI)更有效率。最近幾年在醫學影像的人工智慧判讀,已獲得重大成果。
轉移學習應用的原則 (延伸閱讀一),是從一個巨大但比較鬆散相關的數據集(datasets)-例如有1,200,000圖片、涵蓋1000個分類項目的ImageNet,找出特徵提取(feature extraction)的通則(圖一,上半部);再用所獲得的通則來訓練神經網路的上層(圖一,下半部),典型的例子就如2016年Szegedy發表的Inceptrion-v3 network (延伸閱讀二)。最近兩年被成功應用的分析流程(延伸閱讀三~五),就先從一個超大型的數據集操作神經網路分析,以提取特徵,再將這些特徵以轉移學習應用於其他任務。用這個策畧獲得最大的好處是:可以應用於較小型的數據集,例如,大部分的醫學數據集都不可能大到上百萬筆數據。
Google團隊和醫學中心合作,用深度學習來偵測糖尿病視網膜病變,發表在2016年的JAMA (延伸閱讀三)。第一個EyePACS-1數據集包含4,997病人的9,963影像數據(圖二A),第二個Messidor-2數據集包含874病人的1,748影像數據(圖二A)。用ROC (receiver operating characteristics) curve評估分析的效率分別可以達到AUC (area under the curve, 此數值越高、越趨近於1越好) 0.991 和0.990。這篇論文的結果,提供了非常優異的原理驗證(proof of principle)。
運用一樣的轉移學習策略(圖三上半),史丹福大學團隊利用深度卷積神經網路(deep convolutional neural networks, deep CNNs),以影像來診斷皮膚疾病,發表在2017年的Nature。作者從頭到尾,直接以影像來訓練機器學習演算法,只喂以含2,032不同疾病的129,450臨床影像的像素(pixels)和疾病標誌(disease labels) (圖三下半) ;接下來和21位皮膚科專科醫師比較對下列兩種疾病的診斷率: 角質形成細胞癌 (keratinocyte carcinoma,最常見的皮膚癌)和惡性黑色素瘤(malignant melanoma,最惡性的皮膚癌)。結果電腦演算法和皮膚科專科醫師的診斷率一樣好,不分上下(延伸閱讀四)。
在疾病診斷和偵測上,將轉移學習策略發揮的淋漓盡致的(圖四),當屬2018年發表於Cell的論文(延伸閱讀五)。張康(Kang Zhang, MD., PhD.)教授領導的跨國團隊分析光學同調斷層掃描(optical coherence tomography)數據集,在偵測眼科急症轉診的適應症上,意即:出現脈絡膜新生血管(choroidal neovascularization, CNV)和糖尿病黃斑水腫(diabetic macular edema, DME),用ROC curve評估效率時,可達到AUC 0.999 (圖五A);而分析小兒肺炎胸部X光影像數據集,能夠鑑定出細菌性肺炎的效率也可達AUC 0.94 (圖五B)。
延伸閱讀:
- Rampasek L and Goldenberg A. Learning from everyday images enables expert-like diagnosis of retinal diseases. Cell (2018) 172: 893-895.
- Szegedy C et al. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826.
- Gulshan V et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. JAMA (2016) 316: 2401-2410.
- Esteva A et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature (2017) 542: 115-118.
- Kermany DS et al. Identifying medical diagnoses and treatable diseases by image-based deep learning. Cell (2018) 172: 1122-1131.
人類智慧累積的通則是:從以前的經驗領略出規則,再應用於解決新的問題。在資訊科學裡,將轉移學習(transfer learning)的概念應用於以神經網路(neural networks)為骨幹的深度學習(deep learning),讓人工智慧(artificial intelligence, AI)更有效率。最近幾年在醫學影像的人工智慧判讀,已獲得重大成果。
轉移學習應用的原則 (延伸閱讀一),是從一個巨大但比較鬆散相關的數據集(datasets)-例如有1,200,000圖片、涵蓋1000個分類項目的ImageNet,找出特徵提取(feature extraction)的通則(圖一,上半部);再用所獲得的通則來訓練神經網路的上層(圖一,下半部),典型的例子就如2016年Szegedy發表的Inceptrion-v3 network (延伸閱讀二)。最近兩年被成功應用的分析流程(延伸閱讀三~五),就先從一個超大型的數據集操作神經網路分析,以提取特徵,再將這些特徵以轉移學習應用於其他任務。用這個策畧獲得最大的好處是:可以應用於較小型的數據集,例如,大部分的醫學數據集都不可能大到上百萬筆數據。
Google團隊和醫學中心合作,用深度學習來偵測糖尿病視網膜病變,發表在2016年的JAMA (延伸閱讀三)。第一個EyePACS-1數據集包含4,997病人的9,963影像數據(圖二A),第二個Messidor-2數據集包含874病人的1,748影像數據(圖二A)。用ROC (receiver operating characteristics) curve評估分析的效率分別可以達到AUC (area under the curve, 此數值越高、越趨近於1越好) 0.991 和0.990。這篇論文的結果,提供了非常優異的原理驗證(proof of principle)。
運用一樣的轉移學習策略(圖三上半),史丹福大學團隊利用深度卷積神經網路(deep convolutional neural networks, deep CNNs),以影像來診斷皮膚疾病,發表在2017年的Nature。作者從頭到尾,直接以影像來訓練機器學習演算法,只喂以含2,032不同疾病的129,450臨床影像的像素(pixels)和疾病標誌(disease labels) (圖三下半) ;接下來和21位皮膚科專科醫師比較對下列兩種疾病的診斷率: 角質形成細胞癌 (keratinocyte carcinoma,最常見的皮膚癌)和惡性黑色素瘤(malignant melanoma,最惡性的皮膚癌)。結果電腦演算法和皮膚科專科醫師的診斷率一樣好,不分上下(延伸閱讀四)。
在疾病診斷和偵測上,將轉移學習策略發揮的淋漓盡致的(圖四),當屬2018年發表於Cell的論文(延伸閱讀五)。張康(Kang Zhang, MD., PhD.)教授領導的跨國團隊分析光學同調斷層掃描(optical coherence tomography)數據集,在偵測眼科急症轉診的適應症上,意即:出現脈絡膜新生血管(choroidal neovascularization, CNV)和糖尿病黃斑水腫(diabetic macular edema, DME),用ROC curve評估效率時,可達到AUC 0.999 (圖五A);而分析小兒肺炎胸部X光影像數據集,能夠鑑定出細菌性肺炎的效率也可達AUC 0.94 (圖五B)。
延伸閱讀:
- Rampasek L and Goldenberg A. Learning from everyday images enables expert-like diagnosis of retinal diseases. Cell (2018) 172: 893-895.
- Szegedy C et al. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826.
- Gulshan V et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. JAMA (2016) 316: 2401-2410.
- Esteva A et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature (2017) 542: 115-118.
- Kermany DS et al. Identifying medical diagnoses and treatable diseases by image-based deep learning. Cell (2018) 172: 1122-1131.