大語言模型（LLM），例如 ChatGPT、Gemini，推動了自然語言處理（NLP）技術的迅猛發(fā)展，這些技術能夠實現(xiàn)文本理解以及類似人類的響應生成。
之前的大語言模型已顯示出解讀放射影像的潛力，從而有助于異常檢測并輔助做出診斷決策。GPT-4o 是 OpenAI 于 2024 年 5 月發(fā)布的最新視覺大語言模型，能夠實時對音頻、視覺和文本進行推理處理，突顯了其在多模態(tài)醫(yī)療應用中的潛在用途。然而，基于視覺大語言模型的視頻處理在臨床環(huán)境中的應用尚未得到探索。
2025年3月4日，中國醫(yī)科大學宋江典、張麗娜、裴冬梅等人在 Cell 子刊 Cell Reports Medicine 上發(fā)表了題為：Assessments of Lung Nodules by an Artificial Intelligence Chatbot Using Longitudinal CT Images 的研究論文。
該研究證明，當前多模態(tài)視覺大語言模型 GPT-4o 能夠在肺癌患者隨訪 CT 掃描圖像上對肺部癌變影像特征進行精準的放射學表述報告，動態(tài)監(jiān)測癌變趨勢，并對隨訪過程中病變尺寸變化進行準確測量。
在基于計算機斷層掃描（CT）圖像的肺癌分析的背景下，深度學習的進步顯著影響了腫瘤的篩查和診斷。然而，深度學習模型的輸出通常缺乏可解釋的推理，這給臨床應用帶來了挑戰(zhàn)，盡管它們有經過驗證的性能指標。這種限制源于深度學習算法的復雜性，其中內部決策過程對最終用戶來說仍然很大程度上是模糊的。盡管傳統(tǒng)的臨床推理遵循醫(yī)師可以向患者解釋的明確診斷路徑，但深度學習模型通常只提供預測，而不揭示導致其結論的具體特征或模式。
近期，GPT 模型已展現(xiàn)出能夠根據(jù)放射學報告自動標注腫瘤表型并確定 TNM 分期的潛力。然而，能夠動態(tài)測量一系列 CT 圖像中肺結節(jié)大小和特征的變化對于評估惡性腫瘤風險的進展以及指導及時的臨床干預至關重要，尤其是對于早期肺癌而言。
大量的臨床證據(jù)表明，結節(jié)直徑的增大與惡性腫瘤風險之間存在關聯(lián)。因此，通過后續(xù)的 CT 評估來追蹤動態(tài)結節(jié)變化，能夠為潛在惡性風險的評估提供有價值的見解。
目前，這一過程需要放射科醫(yī)生對每一張后續(xù)的 CT 圖像進行人工審查；因此，結節(jié)變化的評估耗時且易受觀察者間差異的影響。這種差異在中期 CT 掃描中存在細微但關鍵的細節(jié)時尤為明顯，比如小支氣管受累或血管侵犯——這些都是惡性腫瘤進展的關鍵指標。結節(jié)特征動態(tài)變化的自動化評估能夠顯著提高放射學效率，并有助于早期發(fā)現(xiàn)和及時管理肺癌高?；颊?。
在這項最新研究中，研究團隊旨在利用 GPT-4o 的先進功能，通過個體患者的縱向 CT 隨訪圖像來估計肺結節(jié)惡性的概率以及結節(jié)大小和特征的動態(tài)變化。通過模擬放射科醫(yī)生在查看 CT 圖像視頻時所采用的視覺檢查程序，該研究旨在評估 GPT-4o 準確評估結節(jié)特征隨時間變化的能力，并確定 GPT-4o 在肺癌篩查和臨床監(jiān)測中提高診斷準確性和效率的潛力。
研究團隊評估了最新的生成式預訓練模型 GPT-4o 對 647 名患者（其中 547 名來自中國醫(yī)科大學第四附屬醫(yī)院和中國醫(yī)科大學附屬盛京醫(yī)院，另外 100 名來自一個公共數(shù)據(jù)集）的縱向 CT 掃描圖像中肺結節(jié)惡性概率、大小和特征變化的評估能力。
結果顯示，GPT-4o 在預測肺結節(jié)惡性程度方面，與病理結果相比平均準確率為 0.88，在測量結節(jié)大小方面，與放射科醫(yī)生的手動測量相比，平均組內相關系數(shù)為 0.91。六位放射科醫(yī)生的評估表明，GPT-4o 能夠捕捉結節(jié)特征的變化，其 Likert 評分評分的中位數(shù)為 4.17（滿分 5.00）。
該研究的亮點：
● GPT-4o 在縱向 CT 圖像中評估肺結節(jié)的惡性進展情況；
● GPT-4o 監(jiān)測結節(jié)大小和紋理特征的動態(tài)變化；
● 與深度學習模型相比，GPT-4o 提供了可解釋的預測結果；
● GPT-4o 提供精準的放射學見解，以支持臨床決策。
總的來說，這項研究借助于當前多模態(tài)視覺大語言模型對圖像（特別是視頻數(shù)據(jù)）的前沿解析能力，設計了基于 GPT-4o 的 CT 圖像肺癌病變自動分析工作流程。該研究將單次掃描的連續(xù) CT 圖像組成視頻，把每個患者多時間點隨訪 CT 視頻數(shù)據(jù)依次輸入 GPT-4o 的工作流程，結果發(fā)現(xiàn)，當前視覺大語言模型能夠在 Prompt（提示詞）給定病變坐標的前提下，準確識別并分割出病變區(qū)域?；谒R別的病變區(qū)域，以標準放射學報告語言輸出病變尺寸、邊界、形態(tài)、紋理等影像征象在隨訪過程中的變化，并在動態(tài)隨訪監(jiān)測過程中實時調整對病變區(qū)域癌變概率的評估，顯著提高了肺癌病變風險預測精度。
總的來說，這項研究為臨床上更精準地評估肺癌患者癌變風險概率，并為個體化的肺癌患者動態(tài)監(jiān)測與臨床管理提供了新思路。
論文鏈接：
https://www.cell.com/cell-reports-medicine/fulltext/S2666-3791(25)00061-8
合作咨詢
肖女士
021-33392297
Kelly.Xiao@imsinoexpo.com
2006-2025 上海博華國際展覽有限公司版權所有（保留一切權利）
滬ICP備05034851號-57
