近日，我院倪东教授团队，联合英国牛津大学、苏黎世联邦理工学院、浙江大学、深圳市人民医院和度影医疗等单位，在国际医学图像分析领域的顶级期刊Medical Image Analysis（IF=10.9）上，发表了一篇题为“Segment anything model for medical images?”的高质量论文。我院倪东教授和深圳市人民医院超声科董发进主任为共同通讯作者， 我院博士生黄雨灏和助理教授杨鑫为共同第一作者，红宝石官方网站hbs160为第一署名单位。

        为了充分评估分析Segment Anything Model（SAM）在医学影像分割上的泛化性能，并对其进行基于医学影像微调的分析，本研究收集并标准化了53个公开数据集，最终构建了一个包含了18种影像模态、84种生物医学领域分割目标和125个配对组合（分割目标-模态）、1050K 2D图像和6033K分割掩膜的大型医学影像分割数据集COSMOS 1050K（图1）。

        通过全面的实验分析，文章的主要结论为：

        1. SAM在某些特定分割目标上表现出色，但在其他情况下表现不稳定、不完美甚至会完全分割失败。
        2. 与ViT-B（91M模型参数量）相比，基于ViT-H（636M模型参数量）的SAM在医学影像分割任务上有较高的整体性能；
        3. SAM在手动提示下（尤其是框提示模式）的表现优于Everything模式。

        4. SAM可以高效辅助专家标注，实现更高的标注质量并减少标注时间。
        5. SAM的性能与边界复杂性、强度差异等因素相关- -边界越复杂、前景背景的差异越低，SAM对医学目标的感知能力越差。
        6. 使用医学数据对SAM进行微调，可使其在平均DICE性能提高4.39%（ViT-B）和6.68%（ViT-H）。

        同时，文章开源了相关代码和模型，希望能帮助读者更好地了解SAM基础模型在医学影像中的分割性能，并最终促进新一代的医学影像分割基础模型的发展。

图1 COSMOS 1050K数据集展示

        论文链接：https://www.sciencedirect.com/science/article/pii/S1361841523003213