香港科技大學計算機科學及工程學系、化學及生物工程學系陳浩博士領導團隊,開發了兼具頂尖診斷性能與臨床可解釋性的生物醫學基礎模型 ConceptCLIP。
生物醫學基礎模型,在多類影像的跨模態方面已取得顯著的準確性和泛化能力,但通常缺乏可解釋性,也缺乏醫學解釋所需的細粒度、臨床有意義的概念。至於一些具可解釋性的 AI 方法,則嚴重依賴特定臨床場景或模態的專家標注,制約了更廣泛的適用性。
本研究中,團隊構建了 MedConcept-23M。這是一個包含 2300 萬組生物醫學圖像-文本-概念三元組的數據集。通過圖像-文本對齊,以及區域-概念對齊,對 ConceptCLIP 進行預訓練,以實現精確且可解釋的醫學圖像分析。其中,圖像-文本對齊捕捉圖像及其描述所共享的全局含義,而區域-概念對齊則學習圖像區域與標準化醫學概念之間的局部對應關係。

在一個涵蓋 10 種影像模態、78 個數據集的大規模基準測試中,ConceptCLIP 展現出優越的診斷性能,同時提供人類可理解的解釋。
在皮膚病學、病理學、超聲和 CT 等五個數據集上,ConceptCLIP 的平均性能比 PMC-CLIP 提高了 10.9%,比 BiomedCLIP 提高了 10.4%。基於 ConceptCLIP 構建的概念瓶頸模型(CBM)比第二好的 CBM 的 AUC 值提高了 6.13 個百分點。ConceptCLIP 還能識別跨數據集的具臨床意義的關聯。當跨多個數據集分析肺炎時,模型能夠恢復一組更為一致的疾病層面概念,包括實變、浸潤、肺不張、積液和不透光等。此外,臨床醫生的在 252 次評估中,該模型使總體診斷識別準確率由 68.1% 提升至 76.2%。
研究成果已刊於《自然 - 生物醫學工程》。
論文共同第一作者是 Yuxiang Nie、Sunan He、Yequan Bie。通訊作者是陳浩博士。
如欲知道更多教科相關消息,請留意京港 Facebook 專頁:https://www.facebook.com/BHKAEC