让Ai Agent通过Skill调用本地的ComfyUI生图改图工作流,comfy-swap,完全开源
- 内容介绍
- 文章标签
- 相关推荐
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:
- 我的帖子已经打上 开源推广 标签: 是
- 我的开源项目完整开源,无未开源部分: 是
- 我的开源项目已链接认可 LINUX DO 社区: 是
- 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是
- 以上选择我承诺是永久有效的,接受社区和佬友监督: 是
以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出
佬友们好,
我用go语言做了一个单二进制+ComfyUI插件的小项目,能快速将ComfyUI里的工作流暴露为cli和http接口,方便任意ai agent调用、集成:comfy-swap,灵感来自一直在用的llama-swap,也感谢这个项目
当前插件适合所有想通过Ai Agent可靠的调用自己搭建的Comfyui工作流来进行生图改图的佬友,当然也包括想看看怎么实现的comfyui插件导出工作流到comfy-swap(单向通信的拉取模型,comfy-swap的主动访问不通也不是问题)、cli完全同步http的封装、想用自己的设备试试ai生图怎么样的佬友。
go语言是一个很棒的语言,尤其是cli和作为基础组件方面。
背景
我在本地自己部署的ComfyUI里,有几个调好的生图改图工作流,最近在摸索如何让OpenClaw方便的调用这些工作流来生成图片。
我先尝试了comfyui的api接口,发现实际调用时总是要写脚本提取参数,还要在文件里确认数字是几,脚本分散和维护修改比较麻烦,过程中也没法给AI清晰的调用反馈,遇到不那么强的ai时(比如本地部署的ai..)就很容易出错和浪费时间,所以我就想着能不能封装一套ai友好的CLI,以Skill的形式提供给AI,使用cli是目前ai agent最擅长的事之一,能具有良好的调用反馈和流程,同时有用来管控的webui界面,能调试试用能看所有调用日志。
我一直在用llama-swap,这个项目的设计和体验都很好,它暴露和代理统一的接口,管理各种散乱cli式项目的调度,于是我想借鉴的同时又有点不一样的东西,于是就有了comfy-swap这个项目。
简单概述项目
项目由一个comfyui插件和comfy-swap两部分组成,配合完整的skill让ai agent完成快速调用。
comfyui插件的作用是导出工作流里的几个可调参数到已连接的comfy swap服务。随comfyui安装就能使用。
comfy-swap作用是拉取导出的工作流并保存下来,直接将其暴露为cli和http接口。comfy-swap通过一行命令后台运行:comfy-swap serve -d
结合skill,我实际用下来最主要的感受就是流程稳定,直接通过包一层的方式把参数统一化了,减少出错的概率,节省token,不用让ai有很多不必要的猜忌,不会有散乱在各处不确定位置的无法携带的脚本,comfy-swap直接通过skill指引和cli指引ai该如何完成流程。
看几张图感受一下插件和comfy-swap的配置界面。
-
comfyui插件界面,将工作流导出到comfy-swap
image1920×1030 305 KB
插件自动识别并配置映射参数,只需按自己的想法和需求调整即可,确认后点Swap
image1920×1030 185 KB -
comfy-swap拉取到的工作流如下
image1920×1030 57.8 KB -
支持playground试用、调试
image1920×1030 76.4 KB -
以及查看完整日志
image1920×1030 66.7 KB
配置工作流只需要在有需要时再配置。只有后续comfyui工作流调整时,才应该更新一下对应的导出的工作流配置,详细使用说明参见项目的readme文件。
只需要在插件里导出该工作流到comfy swap后,AI Agent就可以像下面这样的方式直接调用:
CLI
comfy-swap run portrait-gen prompt="professional headshot" seed=42 --wait --save ./output/
或者REST
curl -X POST 'http://localhost:8189/api/prompt' \
-H 'Content-Type: application/json' \
-d '{
"workflow_id": "portrait-gen",
"params": {
"prompt": "professional headshot, studio lighting",
"seed": 42
}
}'
实际效果如下
f48c819cd27446a579850c42115e78e21080×3845 589 KB
PS: 我这里用的是本地的模型配合hermes agent,本地模型在amd显卡上运行太慢了,所以速度请忽略
图片发送被tg限制了,我直接打开了文件夹查看,生成的图片放在了我的机器上,如下:
image939×750 138 KB
Github仓库地址:
GitHub - kamjin3086/comfy-swap: Turn ComfyUI workflows into stable REST APIs and...
Turn ComfyUI workflows into stable REST APIs and CLI commands. AI agent friendly.
觉得可能用得上的佬可以去看看,点个提个建议啥的,感谢阅帖~
网友解答:--【壹】--:
谢谢大佬分享!
--【贰】--:
感谢大佬
--【叁】--:
感谢佬,我看看
--【肆】--:
感谢支持
--【伍】--:
感谢支持
--【陆】--:
感谢大佬。
--【柒】--:
不客气,对佬友有帮助就好
--【捌】--:
太感谢了!
--【玖】--:
赞!好东西
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:
- 我的帖子已经打上 开源推广 标签: 是
- 我的开源项目完整开源,无未开源部分: 是
- 我的开源项目已链接认可 LINUX DO 社区: 是
- 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是
- 以上选择我承诺是永久有效的,接受社区和佬友监督: 是
以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出
佬友们好,
我用go语言做了一个单二进制+ComfyUI插件的小项目,能快速将ComfyUI里的工作流暴露为cli和http接口,方便任意ai agent调用、集成:comfy-swap,灵感来自一直在用的llama-swap,也感谢这个项目
当前插件适合所有想通过Ai Agent可靠的调用自己搭建的Comfyui工作流来进行生图改图的佬友,当然也包括想看看怎么实现的comfyui插件导出工作流到comfy-swap(单向通信的拉取模型,comfy-swap的主动访问不通也不是问题)、cli完全同步http的封装、想用自己的设备试试ai生图怎么样的佬友。
go语言是一个很棒的语言,尤其是cli和作为基础组件方面。
背景
我在本地自己部署的ComfyUI里,有几个调好的生图改图工作流,最近在摸索如何让OpenClaw方便的调用这些工作流来生成图片。
我先尝试了comfyui的api接口,发现实际调用时总是要写脚本提取参数,还要在文件里确认数字是几,脚本分散和维护修改比较麻烦,过程中也没法给AI清晰的调用反馈,遇到不那么强的ai时(比如本地部署的ai..)就很容易出错和浪费时间,所以我就想着能不能封装一套ai友好的CLI,以Skill的形式提供给AI,使用cli是目前ai agent最擅长的事之一,能具有良好的调用反馈和流程,同时有用来管控的webui界面,能调试试用能看所有调用日志。
我一直在用llama-swap,这个项目的设计和体验都很好,它暴露和代理统一的接口,管理各种散乱cli式项目的调度,于是我想借鉴的同时又有点不一样的东西,于是就有了comfy-swap这个项目。
简单概述项目
项目由一个comfyui插件和comfy-swap两部分组成,配合完整的skill让ai agent完成快速调用。
comfyui插件的作用是导出工作流里的几个可调参数到已连接的comfy swap服务。随comfyui安装就能使用。
comfy-swap作用是拉取导出的工作流并保存下来,直接将其暴露为cli和http接口。comfy-swap通过一行命令后台运行:comfy-swap serve -d
结合skill,我实际用下来最主要的感受就是流程稳定,直接通过包一层的方式把参数统一化了,减少出错的概率,节省token,不用让ai有很多不必要的猜忌,不会有散乱在各处不确定位置的无法携带的脚本,comfy-swap直接通过skill指引和cli指引ai该如何完成流程。
看几张图感受一下插件和comfy-swap的配置界面。
-
comfyui插件界面,将工作流导出到comfy-swap
image1920×1030 305 KB
插件自动识别并配置映射参数,只需按自己的想法和需求调整即可,确认后点Swap
image1920×1030 185 KB -
comfy-swap拉取到的工作流如下
image1920×1030 57.8 KB -
支持playground试用、调试
image1920×1030 76.4 KB -
以及查看完整日志
image1920×1030 66.7 KB
配置工作流只需要在有需要时再配置。只有后续comfyui工作流调整时,才应该更新一下对应的导出的工作流配置,详细使用说明参见项目的readme文件。
只需要在插件里导出该工作流到comfy swap后,AI Agent就可以像下面这样的方式直接调用:
CLI
comfy-swap run portrait-gen prompt="professional headshot" seed=42 --wait --save ./output/
或者REST
curl -X POST 'http://localhost:8189/api/prompt' \
-H 'Content-Type: application/json' \
-d '{
"workflow_id": "portrait-gen",
"params": {
"prompt": "professional headshot, studio lighting",
"seed": 42
}
}'
实际效果如下
f48c819cd27446a579850c42115e78e21080×3845 589 KB
PS: 我这里用的是本地的模型配合hermes agent,本地模型在amd显卡上运行太慢了,所以速度请忽略
图片发送被tg限制了,我直接打开了文件夹查看,生成的图片放在了我的机器上,如下:
image939×750 138 KB
Github仓库地址:
GitHub - kamjin3086/comfy-swap: Turn ComfyUI workflows into stable REST APIs and...
Turn ComfyUI workflows into stable REST APIs and CLI commands. AI agent friendly.
觉得可能用得上的佬可以去看看,点个提个建议啥的,感谢阅帖~
网友解答:--【壹】--:
谢谢大佬分享!
--【贰】--:
感谢大佬
--【叁】--:
感谢佬,我看看
--【肆】--:
感谢支持
--【伍】--:
感谢支持
--【陆】--:
感谢大佬。
--【柒】--:
不客气,对佬友有帮助就好
--【捌】--:
太感谢了!
--【玖】--:
赞!好东西

