Docker部署大模型:从环境搭建到API调用,手把手实现本地AI服务
Docker部署大模型:从环境搭建到API调用,手把手实现本地AI服务现在很多开发者已经知道如何使用 ChatGPT、DeepSeek、通义千问等大模型,但如果希望把大模型部署到自己的服务器上,应该怎么做?例如:如何在自己的服务器上运行一个大模型?如何让大模型使用GPU进行推理?
一行 Docker 拉起古诗词 API!40 万首唐诗宋词,开箱即用数据源
我用了 chinese-poetry-api 这个开源项目试了下:近 40 万首古诗词打包成现成 API,一行 Docker 就能把服务跑起来。 做博客、小程序、每日一句卡片的人,最头疼的往往不是页面,是内容从哪来,这项目直接把数据源包好了。先上一张速查卡,再拆它能塞进哪些产品。
WSL原生跑Linux容器,Docker慌不慌?
WSL原生跑Linux容器,Docker慌不慌?微软把容器塞进WSL了 微软又给 WSL 加料了。这次是原生支持运行和管理 Linux 容器,WSL Containers 正式可用。
AI 工程系列:Docker + vLLM 部署 Qwen ,并通过 NewAPI 对接 Claude Code
关键词:Docker,vLLM,Qwen,NewAPI,Claude Code内容摘要部署目标、整体架构与各组件分工说明Docker + vLLM 部署 Qwen模型NewAPI 网关部署、通道与模型映射配置Claude Code 安装配置,对接 NewAPI 网关调用本地Qwe
Docker 部署 DPanel:轻松搭建轻量容器管理平台
本文基于 dpanel/dpanel:1.11.1,以 1.11.1 版本实测,界面显示 Docker 29.8.2,测试平台 Ubuntu 24.04.5 Linux。DPanel 是什么DPanel 是面向 Docker 和 Podman 的开源容器管理面板。
AI时代服务器的基座:Docker概览
Docker, 作为服务器的基础部署单元, 承载着一代开发着"研发,测试,发布,运行流水线“沙箱(配额,隔离)的梦想,随着AI时代的到来,智能体必定在各类型服务器的构建及部署环节,把docker”安全性及不依赖环境特性“发挥至淋漓尽致。
NAS上几十套 Docker,端口经常打架——我用一张红绿灯图管住了
自建服务器上装 Docker 装到一定数量,迟早会遇到同一件事:新起一个服务,port is already allocated。你明明记得自己没占那个端口。问题是几十套 Compose 跑在底下,谁在用 5000、谁在监听 8080,没人记得清。
Doory:Docker 一条命令拉起,还能让 AI 助手改设计
Doory 是一个跑在浏览器里的开源设计编辑器,海报、社交帖、简历、幻灯片都能做,支持实时协同与 PNG、SVG、PDF、MP4 导出。可以用 Docker 一条命令部署到自己的服务器,不注册就能开画,还能通过 MCP 让 AI 助手直接修改你的设计。
上期说好的 Docker 部署实录来了:16 个容器,我踩了 4 个坑
上期结尾我说"报错就是下一篇的素材"。这不,素材来了。上篇写的是 Dify 选 Cloud 还是自部署,结论是个人用选自部署。今天兑现承诺,把从装 Docker 到 16 个容器全跑起来的真实过程摊开——没有云淡风轻,全是坑,但都填平了。
还在终端敲 docker‑logs?Dozzle 网页直接看容器实时日志
前言排查Docker容器问题时,日志是定位故障最重要的依据。日常调试我们大多依赖 docker logs 命令,来回切换终端、反复敲参数,多容器同时排错时操作繁琐,查看、筛选、对比日志都很不方便。