浙江大学发布人机交互AI病理诊断大模型OmniPT，推动数字病理智能化临床应用

病理是疾病诊断的“金标准”，而我国面临病理诊断人才严重匮乏窘境。近年来癌症发病率不断攀升，如何借助AI赋能医生精准诊断，提高工作效率及医疗质量，成为当前世界病理学科的前沿热点。近日，浙江大学发布了视觉与语言模型融合的人机交互AI病理万能助手-OmniPT，该模型已在浙江大学医学院附属第一医院(以下简称“浙大一院”)病理科进行临床应用验证，病理诊断技术进入了智能化与个性化的新时代。浙江大学在AI+医学交叉领域开展的技术突破、技术转化、临床验证等系列成果，以实际行动有力响应了科技创新引领卫生健康事业新发展的国家战略。

OmniPT由浙大计算机学院宋明黎教授团队联合浙大一院共同开发，双方自2020年开展深度合作，2022年6月联合申请到数字病理人工智能医疗器械临床试验中心(工信部&国家药监局联合审批)。在浙江大学和浙大一院双方领导的大力支持下，2024年8月该中心获批人工智能医疗器械创新任务揭榜挂帅优胜单位。

世界卫生组织(WHO)发布《医疗卫生中人工智能的伦理治理》指南中指出，AI应用部署落地临床需要满足人工智能伦理共识，确定医生决策和道德主体地位，医生需要确认诊断结果的安全与准确性。OmniPT的研发以临床落地应用为目标，围绕交互便捷性、诊断效率、诊断精准性、诊断可信性等痛点需求开展技术攻关，以病理科医生为主导，通过人机交互形式，大幅提升诊断效率及质量，有效缓解了病理人才匮乏的窘境。

2024年12月13日，在第十七届中国病理医师年会上，浙大一院病理科章京教授详细介绍了人机交互AI病理万能助手-OmniPT。面向临床病理诊断真实需求，依托数字病理人工智能医疗器械临床试验中心丰富数据和算力资源，通过多项关键技术突破，助力病理大模型在胃癌、结直肠癌和宫颈癌等高发病率癌种上开展临床应用，有效解决数字病理AI临床应用难题。

浙大一院章京教授在2024年中国病理医师年会上首次对外展示OmniPT的功能

精准与高效：技术突破解决临床应用难题

超大尺寸病理图蕴含多层级丰富信息，如何精准、快速给出可信诊断结果是病理大模型需要解决的核心难题。研发团队通过跨层级高效特征锁定、提示引导细节特征补全等关键技术突破，解决GB级超大尺寸病理图秒级推理、精准分析难题;进一步地，通过多任务协同分析技术，将文本语义与视觉特征强关联，首次实现分类、分割、检测等多类型诊断任务全覆盖，为病理报告一键生成提供支撑。通过集成上述核心技术，病理万能诊断助手OmniPT有效满足临床人机交互诊断分析实时、精准、可信需求。

技术负责人冯尊磊副教授介绍：“以往医生在分析病理切片时，需要耗费大量时间逐一观察微观细节，而OmniPT可以在不影响推理速度的情况下，1~3秒内准确锁定病灶区域，十余个癌种上取得95%以上诊断准确性。此外，OmniPT支持文本输入、视觉框选等多种便捷交互方式，能够实现从全局到局部多尺度病变特征精准锁定，给文本诊断结果提供视觉特征依据，有效解决临床应用可信诊断难题”。这一成果将进一步推动智能化病理诊断的临床应用进程，为患者提供更高质量的医疗服务。

前沿领域探索：从癌症诊断到肿瘤标志物挖掘

OmniPT目前已在癌症分型、分级、血管及神经侵犯识别、预后标志物发现等多项核心任务中取得突破性进展。在肿瘤病理诊断中，OmniPT可精准识别肿瘤微环境的各种细胞及组织，并进行精细化分析;进一步地，OmniPT衍生预后分析能力，在多个癌种上达到80~90%预后精准预测，并从病理表型层面智能化挖掘预后关联多个新型标志物，有效辅助临床个体化治疗。实验数据显示，OmniPT的整体性能显著优于目前国际上发布的主流病理模型，为复杂病理诊断分析、肿瘤预后标志物挖掘提供了可靠的智能化解决方案。

总结而言，人机交互AI病理万能助手围绕可信性、实时性、精准性等临床痛点需求取得的核心技术创新，推动人机交互AI在病理临床实践场景从0到1的突破。研发团队积极开源共享研发核心技术，促进领域协同合作发展，提升我国AI智慧病理国际竞争力。

未来愿景：构建智能化病理生态

数据质控负责人张秀明医生表示：“高质量病理数据是OmniPT构建的基石，随着算力规模的提升和更多癌种数据样本的扩充，OmniPT将在更广泛的临床场景中应用，为病理医生减负的同时，为患者带来更精准和高效的医疗体验。”

依托数字病理人工智能医疗器械临床试验中心，OmniPT已在浙大一院病理科多个高发病率癌种率先应用，同步在神经病理(如阿尔茨海默病)等重大慢病领域开展结合液体活检、基因组学的多模态转化研究，未来将拓展到更多癌种及非肿瘤疾病中的应用。进一步地，通过结合底层数字病理扫描设备以及病理远程诊断场景，OmniPT将成为病理科高效、精准诊断智能助手，加快推动AI技术在真实临床场景应用建设进程。