浙江大學發布人機交互AI病理診斷大模型OmniPT，推動數字病理智能化臨床應用
病理是疾病診斷的“金標準”，而我國面臨病理診斷人才嚴重匱乏窘境。近年來癌癥發病率不斷攀升，如何借助AI賦能醫生精準診斷，提高工作效率及醫療質量，成為當前世界病理學科的前沿熱點。近日，浙江大學發布了視覺與語言模型融合的人機交互AI病理萬能助手-OmniPT，該模型已在浙江大學醫學院附屬第一醫院（以下簡稱“浙大一院”）病理科進行臨床應用驗證，病理診斷技術進入了智能化與個性化的新時代。浙江大學在AI+醫學交叉領域開展的技術突破、技術轉化、臨床驗證等系列成果，以實際行動有力響應了科技創新引領衛生健康事業新發展的國家戰略。
OmniPT由浙大計算機學院宋明黎教授團隊聯合浙大一院共同開發，雙方自2020年開展深度合作，2022年6月聯合申請到數字病理人工智能醫療器械臨床試驗中心（工信部&國家藥監局聯合審批）。在浙江大學和浙大一院雙方領導的大力支持下，2024年8月該中心獲批人工智能醫療器械創新任務揭榜掛帥優勝單位。
世界衛生組織（WHO）發布《醫療衛生中人工智能的倫理治理》指南中指出，AI應用部署落地臨床需要滿足人工智能倫理共識，確定醫生決策和道德主體地位，醫生需要確認診斷結果的安全與準確性。OmniPT的研發以臨床落地應用為目標，圍繞交互便捷性、診斷效率、診斷精準性、診斷可信性等痛點需求開展技術攻關，以病理科醫生為主導，通過人機交互形式，大幅提升診斷效率及質量，有效緩解了病理人才匱乏的窘境。
2024年12月13日，在第十七屆中國病理醫師年會上，浙大一院病理科章京教授詳細介紹了人機交互AI病理萬能助手-OmniPT。面向臨床病理診斷真實需求，依托數字病理人工智能醫療器械臨床試驗中心豐富數據和算力資源，通過多項關鍵技術突破，助力病理大模型在胃癌、結直腸癌和宮頸癌等高發病率癌種上開展臨床應用，有效解決數字病理AI臨床應用難題。
浙大一院章京教授在2024年中國病理醫師年會上首次對外展示OmniPT的功能
精準與高效：技術突破解決臨床應用難題
超大尺寸病理圖蘊含多層級豐富信息，如何精準、快速給出可信診斷結果是病理大模型需要解決的核心難題。研發團隊通過跨層級高效特征鎖定、提示引導細節特征補全等關鍵技術突破，解決GB級超大尺寸病理圖秒級推理、精準分析難題；進一步地，通過多任務協同分析技術，將文本語義與視覺特征強關聯，首次實現分類、分割、檢測等多類型診斷任務全覆蓋，為病理報告一鍵生成提供支撐。通過集成上述核心技術，病理萬能診斷助手OmniPT有效滿足臨床人機交互診斷分析實時、精準、可信需求。
技術負責人馮尊磊副教授介紹：“以往醫生在分析病理切片時，需要耗費大量時間逐一觀察微觀細節，而OmniPT可以在不影響推理速度的情況下，1~3秒內準確鎖定病灶區域，十余個癌種上取得95%以上診斷準確性。此外，OmniPT支持文本輸入、視覺框選等多種便捷交互方式，能夠實現從全局到局部多尺度病變特征精準鎖定，給文本診斷結果提供視覺特征依據，有效解決臨床應用可信診斷難題”。這一成果將進一步推動智能化病理診斷的臨床應用進程，為患者提供更高質量的醫療服務。
人機交互病理萬能助手OmniPT應用平臺
前沿領域探索：從癌癥診斷到腫瘤標志物挖掘
OmniPT目前已在癌癥分型、分級、血管及神經侵犯識別、預后標志物發現等多項核心任務中取得突破性進展。在腫瘤病理診斷中，OmniPT可精準識別腫瘤微環境的各種細胞及組織，并進行精細化分析；進一步地，OmniPT衍生預后分析能力，在多個癌種上達到80~90%預后精準預測，并從病理表型層面智能化挖掘預后關聯多個新型標志物，有效輔助臨床個體化治療。實驗數據顯示，OmniPT的整體性能顯著優于目前國際上發布的主流病理模型，為復雜病理診斷分析、腫瘤預后標志物挖掘提供了可靠的智能化解決方案。
總結而言，人機交互AI病理萬能助手圍繞可信性、實時性、精準性等臨床痛點需求取得的核心技術創新，推動人機交互AI在病理臨床實踐場景從0到1的突破。研發團隊積極開源共享研發核心技術，促進領域協同合作發展，提升我國AI智慧病理國際競爭力。
未來愿景：構建智能化病理生態
數據質控負責人張秀明醫生表示：“高質量病理數據是OmniPT構建的基石，隨著算力規模的提升和更多癌種數據樣本的擴充，OmniPT將在更廣泛的臨床場景中應用，為病理醫生減負的同時，為患者帶來更精準和高效的醫療體驗。”
依托數字病理人工智能醫療器械臨床試驗中心，OmniPT已在浙大一院病理科多個高發病率癌種率先應用，同步在神經病理（如阿爾茨海默病）等重大慢病領域開展結合液體活檢、基因組學的多模態轉化研究，未來將拓展到更多癌種及非腫瘤疾病中的應用。進一步地，通過結合底層數字病理掃描設備以及病理遠程診斷場景，OmniPT將成為病理科高效、精準診斷智能助手，加快推動AI技術在真實臨床場景應用建設進程。
