如何本地部署个人健康助手，构建医疗知识库问答系统？

本文共计732个文字，预计阅读时间需要3分钟。

如果您希望拥有一个完全私密、无需联网、能随时解答医学问题的个人健康助手，则需要将医疗知识库问答系统部署在本地设备上。以下是一些实现步骤：

一、使用Docker一键运行MedGemma 1.5容器

该方法基于预构建的Docker镜像，无需手动安装依赖或配置环境，适用于已安装NVIDIA驱动和Docker的Linux或Windows（WSL2）系统。镜像内已集成vLLM推理引擎、Gradio前端及完整医学权重，启动后即可通过浏览器访问。

1、确保系统已安装支持CUDA的NVIDIA驱动（版本≥535）及Docker Engine（≥24.0），并已配置NVIDIA Container Toolkit。

2、在终端中执行拉取与运行命令：docker run -p 6006:6006 --gpus all csdnmirror/medgemma-1.5。

3、等待容器初始化完成（约90秒），观察日志中出现“Gradio app started at http://0.0.0.0:6006”提示。

4、在本地浏览器中访问 http://localhost:6006，进入问答界面。

二、通过Ollama本地加载MedGemma模型

该方法适用于轻量级部署场景，不依赖Docker，适合仅需CLI交互、资源受限但具备NVIDIA GPU的用户。Ollama自动处理CUDA上下文管理与量化加载，支持GPU显存动态分配。

1、从官网下载并安装Ollama最新版（≥0.3.7），确认其识别GPU：ollama list 应显示CUDA可用状态。