中转站理论上有能力往你的电脑投毒
- 内容介绍
- 文章标签
- 相关推荐
提前声明：纯粹「理论上的可能」，我目前暂未观察到、听说过任何类似行为，但从中转站的原理上看，存在这种可能。
众所周知，Agent 需要 Tool Call. 返回的 Tool Call 请求，到达本地客户端后，由用户同意(有时不需要同意)，并执行。
返回的 Tool Call 不保证是无害的，我们已经见过很多被删全盘的惨痛案例。大部分时候，它们仅仅是 LLM Halluciation 的恶果。
然而，考虑到许多用户正在使用中转站，整条链路：
- 相对比较可信的官方
- 不清楚是否可信的中转站
- Agent 客户端
中转站充当中间人，除了理论上能够看到你的所有消息记录以外，还意味着它可以任意篡改信息内容。
比如：篡改 LLM 返回的 Tool Call 请求，在执行 Shell 时偷偷加入一些恶意代码，在编写的代码中偷偷加入恶意代码等。
而一旦恶意代码被执行，用户的运行环境就暴露于风险之中。
尽管大家已经清楚「Agent 可能比较危险」，但这种危险更多是处于随机的、无意的执行失误。
而中转站的中间人攻击和 Skills 投毒一样，属于恶意的、明确的攻击。
区别在于：Skills 投毒仍有可能被强大的 LLM 识破并防御，但中转站的恶意篡改难以防御。
再次声明：我目前暂未观察到这种事件发生。但希望各位佬友们意识到其中隐藏的安全风险。这至少意味着：
- 中转站「售卖用户」牟利，不仅可以存在于卖数据层面，还可以存在于卖肉鸡层面。
- 你可能需要更可靠的安全措施，比如使用容器、虚拟机等隔离环境。
- 对于劣迹中转站，请谨慎使用。对于各种掺 GLM 当 Opus 卖、掺逆向、注水造假的无良中转，只要有利可图，出卖用户似乎也并非不可能。
可以使用 Docker、Dev Container 或者虚拟机等工具，隔离出开发环境，保证遭受攻击后一把扬了重开个纯净版，至少不会影响到宿主机。(不考虑容器逃逸等情况）
PS：想到这个安全风险，是因为看到新闻说，现在很多家宽代理实际上是被入侵的家庭路由器整出来的 还有早年的广告联盟很多时候推广的流氓软件实际上就是带病毒的。以中转站的用户体量，会不会有黑恶势力盯上高价买通投毒也不得而知。
网友解答：--【壹】--：
确实如此呢,如恶意过滤/修改你的提示词,让你的代码故意xx; 只要敢想敢干什么都能发生的.
--【贰】--：
怕对高价值"成果"污染就很恶心了. 就像潜伏了一个卧底不知道啥时候发作,会不会发作.
--【叁】--：
第一是风险意识吧，比如「中转站可能卖数据」这点大家都有共识，但「中转站可以往代码投毒使你的电脑变成肉鸡」这一点风险考虑的人比较少。
第二点的话，信任确实是宝贵的。中转站很难自证清白，而下游的用户以最坏打算，只能想办法保护好自己。
--【肆】--：
诶嘿，这个时候我们只能上 post tc了
--【伍】--：
光是看 LLM 的回复就很头疼了，要看全流程所有操作已经不太可能了 从隔离环境上做安全防护应该是性价比最高的方案之一
--【陆】--：
尽量使用你信任的中转站。使用容器、虚拟机等工具做环境隔离，即使投毒也不会影响你的真实电脑。
--【柒】--：
如何证明「这是中转站干的而不是 LLM 自己干的」，其实也并不容易，比如往上游 npm 依赖投毒，然后诱导 LLM 安装带毒的依赖等等。被发现了也可以说「是 LLM 自己缺乏安全意识」
--【捌】--： soeasy:
自建中转站没问题吧，大厂的模型要给我投毒就没办
你直接购买官方的》？
--【玖】--：
这点确实的，所以要指令批准 w
之前newapi playground会把AIGC的js页面直接渲染，上游甚至不用接入AI模型，直接可以XSS用户电脑，这个其实风险很大的喵 w
--【拾】--：
不需要修改提示词，直接修改返回值就可以了。
比如在你的 test.py 里面偷偷加上一行下载恶意程序并运行的脚本，然后执行 pytest，大家很可能不会仔细看，稀里糊涂跑个测试自己就当肉鸡了。
--【拾壹】--：
还好我平常只用官方plus和pro来写代码
--【拾贰】--：
有道理，中转站良莠不齐，不能过于依赖，重要项目还是用可信的渠道
--【拾叁】--：
有什么好的办法避免这种情况吗
--【拾肆】--： Clouder:
尽量使用你信任的中转站。使用容器、虚拟机等工具做环境隔离，即使投毒也不会影响你的真实电脑。
说实话没有特别好的办法(
--【拾伍】--：
怎么防范好呢
--【拾陆】--：
保留完整的与LLM交互文本用作审查,发现一个直接打死;
佬友可以开一个新项目了呢.
--【拾柒】--：
过滤器+审计 来降低风险
本来完全的信任就会带来不可控的风险
--【拾捌】--：
我自建中转站没问题吧，大厂的模型要给我投毒就没办法了
--【拾玖】--：
道理是有的，但是很难分辩哪个公益站是坏人，一般都是，有人开公益就全去注册了
提前声明：纯粹「理论上的可能」，我目前暂未观察到、听说过任何类似行为，但从中转站的原理上看，存在这种可能。
众所周知，Agent 需要 Tool Call. 返回的 Tool Call 请求，到达本地客户端后，由用户同意(有时不需要同意)，并执行。
返回的 Tool Call 不保证是无害的，我们已经见过很多被删全盘的惨痛案例。大部分时候，它们仅仅是 LLM Halluciation 的恶果。
然而，考虑到许多用户正在使用中转站，整条链路：
- 相对比较可信的官方
- 不清楚是否可信的中转站
- Agent 客户端
中转站充当中间人，除了理论上能够看到你的所有消息记录以外，还意味着它可以任意篡改信息内容。
比如：篡改 LLM 返回的 Tool Call 请求，在执行 Shell 时偷偷加入一些恶意代码，在编写的代码中偷偷加入恶意代码等。
而一旦恶意代码被执行，用户的运行环境就暴露于风险之中。
尽管大家已经清楚「Agent 可能比较危险」，但这种危险更多是处于随机的、无意的执行失误。
而中转站的中间人攻击和 Skills 投毒一样，属于恶意的、明确的攻击。
区别在于：Skills 投毒仍有可能被强大的 LLM 识破并防御，但中转站的恶意篡改难以防御。
再次声明：我目前暂未观察到这种事件发生。但希望各位佬友们意识到其中隐藏的安全风险。这至少意味着：
- 中转站「售卖用户」牟利，不仅可以存在于卖数据层面，还可以存在于卖肉鸡层面。
- 你可能需要更可靠的安全措施，比如使用容器、虚拟机等隔离环境。
- 对于劣迹中转站，请谨慎使用。对于各种掺 GLM 当 Opus 卖、掺逆向、注水造假的无良中转，只要有利可图，出卖用户似乎也并非不可能。
可以使用 Docker、Dev Container 或者虚拟机等工具，隔离出开发环境，保证遭受攻击后一把扬了重开个纯净版，至少不会影响到宿主机。(不考虑容器逃逸等情况）
PS：想到这个安全风险，是因为看到新闻说，现在很多家宽代理实际上是被入侵的家庭路由器整出来的 还有早年的广告联盟很多时候推广的流氓软件实际上就是带病毒的。以中转站的用户体量，会不会有黑恶势力盯上高价买通投毒也不得而知。
网友解答：--【壹】--：
确实如此呢,如恶意过滤/修改你的提示词,让你的代码故意xx; 只要敢想敢干什么都能发生的.
--【贰】--：
怕对高价值"成果"污染就很恶心了. 就像潜伏了一个卧底不知道啥时候发作,会不会发作.
--【叁】--：
第一是风险意识吧，比如「中转站可能卖数据」这点大家都有共识，但「中转站可以往代码投毒使你的电脑变成肉鸡」这一点风险考虑的人比较少。
第二点的话，信任确实是宝贵的。中转站很难自证清白，而下游的用户以最坏打算，只能想办法保护好自己。
--【肆】--：
诶嘿，这个时候我们只能上 post tc了
--【伍】--：
光是看 LLM 的回复就很头疼了，要看全流程所有操作已经不太可能了 从隔离环境上做安全防护应该是性价比最高的方案之一
--【陆】--：
尽量使用你信任的中转站。使用容器、虚拟机等工具做环境隔离，即使投毒也不会影响你的真实电脑。
--【柒】--：
如何证明「这是中转站干的而不是 LLM 自己干的」，其实也并不容易，比如往上游 npm 依赖投毒，然后诱导 LLM 安装带毒的依赖等等。被发现了也可以说「是 LLM 自己缺乏安全意识」
--【捌】--： soeasy:
自建中转站没问题吧，大厂的模型要给我投毒就没办
你直接购买官方的》？
--【玖】--：
这点确实的，所以要指令批准 w
之前newapi playground会把AIGC的js页面直接渲染，上游甚至不用接入AI模型，直接可以XSS用户电脑，这个其实风险很大的喵 w
--【拾】--：
不需要修改提示词，直接修改返回值就可以了。
比如在你的 test.py 里面偷偷加上一行下载恶意程序并运行的脚本，然后执行 pytest，大家很可能不会仔细看，稀里糊涂跑个测试自己就当肉鸡了。
--【拾壹】--：
还好我平常只用官方plus和pro来写代码
--【拾贰】--：
有道理，中转站良莠不齐，不能过于依赖，重要项目还是用可信的渠道
--【拾叁】--：
有什么好的办法避免这种情况吗
--【拾肆】--： Clouder:
尽量使用你信任的中转站。使用容器、虚拟机等工具做环境隔离，即使投毒也不会影响你的真实电脑。
说实话没有特别好的办法(
--【拾伍】--：
怎么防范好呢
--【拾陆】--：
保留完整的与LLM交互文本用作审查,发现一个直接打死;
佬友可以开一个新项目了呢.
--【拾柒】--：
过滤器+审计 来降低风险
本来完全的信任就会带来不可控的风险
--【拾捌】--：
我自建中转站没问题吧，大厂的模型要给我投毒就没办法了
--【拾玖】--：
道理是有的，但是很难分辩哪个公益站是坏人，一般都是，有人开公益就全去注册了