相信大家看到分割万物就感觉很神奇,然后分别选择和处理不同的板块,极大的提高的工作效率和绘图的AI体验。这个Segment Anything应用在图生图中用的比较频繁,可以帮助我们精确的绘制蒙版,起到高效重绘的作用。

但是,这个插件通用的方法安装(安装包链接在文末)的话,没有办法做到用图片主体文字对图片主体进行智能识别,只能通过用鼠标描标记点,进行布局框定,操作起来很麻烦,也对不起AI绘画的名号。

要想达到文字检测提示词智能识别,就需要布置系统环境,整个过程搞起来顺利的话个把小时,不顺的话,鉴于每个人的电脑网络环境配置不一样,手把手看着搞也不一定搞得好,这不,我搞到了半夜公鸡叫了都,他说他们家大房二房三房母鸡晚上闹情绪了,他早上要睡个懒觉,叫我四更替他打个鸣。很理解他,我奶奶治老母鸡闹情有一套,闹情就不下蛋,就把脚翅膀都用稻草杆子扎起来,绑他个三天三夜,老老实实,不管的话,你看公鸡都瘦成什么样了……别话不多说,直接走起!两个办法,我自用的是第一个。

方法一:

最快捷的办法是用我这边自用的整合包(秋叶包+各种模型插件等),这里说一下,我电脑的python版本是python3.10.11,跟着做,四步搞定:

  1. 下载安装文末分享的安装包,包括SD整合包和两个软件。

    安装两个软件,默认设置就行,直接下一步下一步,完成!

    先安装cuda_11.8,再安装visual studio2022,选择C++的桌面开发安装。

2.配置系统环境变量(必须配置)

这一步一共匹配4个位置:

1.系统变量 中匹配:CUDA

2.系统变量——path 中匹配ninja:*:\sd-webui-aki-v4.2\ninja

3.系统变量——path 中匹配 python(或py310) :*:\sd-webui-aki-v4.2\python

4.系统变量——path 中匹配 Scripts :*:\sd-webui-aki-v4.2\python\Scripts

注:以上ninja,python(或py310)和Scripts文件夹均在第1步下载的SD整合包(sd-webui-aki-v4.2)中

下面我们来配置一下,跟着操作就行。

1. 首先在电脑上打开运行窗口(win + R),接着在窗口内输入sysdm.cpl然后回车,选择高级标签,点击右下方的环境变量;

2.在环境变量(S)中新建变量名为:CUDA_HOME的系统变量,变量值为CUDA的安装路径,对应版本号11.8.本机是默认路径:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8

3.在系统变量中找到path,并鼠标双击,进入到编辑环境变量,分别新建环境变量:先点新建按钮,然后填入ninja文件夹路径;再点新建按钮,填入python(py310)路径;最后点新建按钮,填入 python(py310) 中的 Scripts路径。

注,以上路径不要有空格。设置完后,建议重启电脑。

3.点击整合包里面的:A启动器 → 一键启动,运行Segment Anything,起飞!

操作流程是:
  1. 上传图片;
  2. 启用 GroundingDINO;
  3. 选择GroundingDINO 模型(电脑配置好就用938M的);
  4. 填入GroundingDINO 检测提示词,如eyes;
  5. 想预览的话可以勾选:我想预览 GroundingDINO 的结果并选择我想要的箱体。
  6. 点击按钮:Generate bounding box;
  • 点击按钮:预览分离结果,选择分离元素结果里面比较的满意的下载。
  • 注:我试了三台电脑这种方法基本没有太大问题,运行插件的时候会出现网络卡顿问题,这时候我用科学上网,就跑通了,第一次跑通后,后面可以不用魔法了,如果遇到什么问题,欢迎评论区讨论。


    方法二:

    如果,你说你电脑上的SD整合包对你有情有义,你不想割舍他,可不可以?of course!!!,这样就需要按步骤部署环境。

    1.跟上面第一步一样:安装cuda_11.8,再安装visual studio2022,选择C++的桌面开发安装。

    2.将我分享的ninja文件夹复制到你的秋叶包主目录;

    3.将我分享的GroundingDINO和SAM模型,分别放入插件文件夹中,路径如下;

    grounding-dino:* :\sd-webui-aki-v4.2\extensions\sd-webui-segment-anything\models\grounding-dino

    sam:* :\sd-webui-aki-v4.2\extensions\sd-webui-segment-anything\models\sam

    4.我分享的压缩包:解压复制粘贴到py310文件夹里面

    路径:* :\sd-webui-aki-v4.2\py310

    5.配置系统环境变量(同上),然后重启电脑;

    6.配置PyTorch环境,

    7.点击整合包里面的:A启动器 → 一键启动,运行Segment Anything,起飞!

    注:按照这种方式安装,大部分时候会顺利进行,但是基于每个人的环境网络配置还是会产生一些bug,这个还是要具体事情具体分析。

    以上布置思路写完了,看了的都说好,好难搞!那没办法,这个功能太诱人了,当然也可以通过PS(beta)的AI功能进行蒙版,这个也是一个不错的方法。看个人习惯,怎么方便怎么来。希望你有所收获。

    这里补一下:以上文件的官网安装链接:

    >> Segment Anything for Stable Diffusion WebUI :

    guthub地址:https://github.com/continue-revolution/sd-webui-segment-anything

    >> CUDA 工具包 11.8 下载:

    官网地址:https://developer.nvidia.com/cuda-11-8-0-download-archive?target_os=Windows&target_arch=x86_64

    >> visual studio2022的C++ 下载安装 :

    官网地址:https://visualstudio.microsoft.com/zh-hans/vs/

    >> ninja 拉取下载:

    guthub地址https://github.com/ninja-build/ninja

    >> GroundingDINO 下载:

    guthub地址https://github.com/IDEA-Research/GroundingDINO

    公众号回复「CJ001」获取Segment Anything(分离图像元素)插件包!

    免责声明:以上资源皆来源于互联网公开分享的内容,仅用于个人学习使用,请禁止用于商业用途和倒卖,如真正需要,请支持版权方。