下面整理了一些比较好的博客。
1. 医学影像SAM
由于sam在医学影像上表现不是特别好,在该类型数据集上就需要再训练。
1.1. MedSAM
MedSAM:提供了在医学数据集上的微调流程,具体可以参考 medsam视频教程。
1.2. SAM-Adapter
SAM-Adapter-PyTorch:采用adapter机制,主要加在image encoder模块,效果还是不错的。
该方法不仅适用于医学数据,也同样在隐蔽物等其他数据集上达到了不错的效果。
具体可以参考SAM-Adaptor项目链接。
结果对比
模型结构图
1.3. Medical-SAM-Adapter
Medical-SAM-Adapter:同上,也是采用了adapter机制。只不过插入adapter的模块稍有不同。
msa结构
1.4. sam-med2d
sam-med2d:主要贡献了一个医学数据集,包含460万图像和1970万个mask,包含10种医学数据模式、4种解剖结构+病变以及31个主要人体器官。
模型采用adapter机制,在encoder的vit中插入一个adapter layer。训练时微调point和box进行训练,目前只开放了推理代码。
来自:Segment Anything(sam)项目整理汇总[2023.9.2]
1.5. MS-SAM
MA-SAM:模态不可知的三维医学图像分割SAM自适应.