YUQI INTELLIGENCE · PRIVATE AI SERVICE

把大模型,
装进你自己的机房

煜企智能基于 Ollama 做本地部署、集成与二次开发:让模型跑在企业自有算力上,把对话入口和模型 API 接到现有业务系统里。能力边界、许可与网络行为,都先说清楚。

01 本地模型部署02 模型管理 03 企业对话入口04 模型 API 接入 05 业务系统集成
yuqi-ai / workspace · 企业对话入口(概念原型)演示
服务就绪 · 演示
这是企业对话入口的静态原型,回答为预置文案,不连接真实模型。
演示回答全部回答为预置文案,非真实模型输出CHAR 0 · 演示
DEMO DATA / 界面、回答、状态与计数均为演示,不连接任何真实模型或服务Ollama 本地部署方案示意
Ollama 本地大模型部署方案示意图
Ollama 本地大模型部署方案 · 方案示意,非实际交付截图

图中的界面、数据及价格为示例;实际功能、授权与交付范围按项目确认。

01 / SCOPE · 先把边界说清楚

客户拿到什么,Ollama 给什么,我们补什么

部署一套本地推理服务,和「建成企业 AI 平台」不是同一件事。下面把三者的责任分开列明——这是评估工作量、许可与后续运维的前提。

DELIVERED / 客户获得

一套可运行的私有推理能力

  • 部署在自有环境的 Ollama 服务,含模型文件、启动配置与运行账号
  • 企业对话入口:统一登录后的问答界面、模型切换与会话记录
  • 标准模型 API:原生 REST 与 OpenAI 兼容端点,供业务系统调用
  • 模型清单与运维手册:版本、来源、权重许可、升级与回滚步骤
  • 测试报告与交付文档:功能验证、异常处置、监控与交接清单
→ 最终形态取决于第 3 栏的定制范围
NATIVE / Ollama 提供

模型运行与推理底座

  • 模型拉取与运行:ollama pull / run / ps,本地权重存储
  • REST API:/api/chat、/api/tags 等,支持流式返回
  • OpenAI 兼容层:/v1/chat/completions(官方称支持 API 子集)
  • 调度与显存管理:并发队列、多模型加载、GPU/CPU 分配、上下文长度配置
  • 模型定义:Modelfile 定制参数、量化版本管理、官方 Python / JS SDK
→ 依据官方 README、API 与 GPU / FAQ 文档
CUSTOM / 煜企需要定制

把它变成企业能用的系统

  • 账号、组织与权限:统一认证、角色、模型可见范围与配额
  • 知识库与检索:文档解析、切片、向量库、RAG 编排与引用溯源
  • 审计与合规:提问/回答留痕、敏感词策略、导出与留存周期
  • 多用户与并发治理:会话隔离、限流、排队提示、用量统计
  • 业务系统集成与运维:接口适配、反向代理与 TLS、监控告警、备份
→ 这些不是 Ollama 原生能力,需另行开发

※ Ollama 官方文档未列出内置的企业账号体系、角色权限、审计日志或知识库模块;本页不把「部署模型」表述为「建成企业 AI 平台」。所有界面与描述均为方案示意 · 演示。

02 / CONTEXT · 它运行在什么地方

一端是机房里的算力,一端是日常办公

本地部署的价值不在界面,而在推理发生在哪台机器、由谁访问、接到哪个业务环节。以下为场景配图,非煜企或客户现场实拍。

机柜与设备线缆场景
自有服务器 / 推理节点本地模型方案以企业侧硬件运行;云模型与外部组件另核对 · 场景配图
网络配线面板与线缆
硬件评估的起点GPU 兼容性、显存、上下文与并发数逐项核对 · 场景配图
电路板与芯片特写
模型与算力权重体积、量化版本与显存共同决定能否加载 · 场景配图
开放式办公区多人工作
企业对话入口员工从统一入口提问,而非各自安装客户端 · 场景配图
玻璃隔断办公区
既有办公环境接入现有账号、网络与业务系统,不另起一套 · 场景配图
团队围桌会议
需求与验收先定使用人数与场景,再定模型与硬件 · 场景配图
PHOTO CREDITS / 9 张场景照片,来源与授权说明见下方素材记录场景配图 · 演示
03 / ARCHITECTURE · 四层责任边界

用户入口 → 应用与访问控制 → Ollama 推理服务 → 模型与算力

点击任一层查看该层「底座原生能力」与「煜企定制开发」的分界。青色代表 Ollama 原生提供,琥珀色代表需要额外开发。

L0 / ENTRY›

用户入口

员工、业务系统、内部应用发起对话或 API 调用;入口形式决定后续的权限与审计设计。

对话界面 · 定制业务系统 · 定制统一认证 · 定制
L1 / APPLICATION & ACCESS›

企业应用/访问控制

鉴权、角色、配额、会话与审计;把 Ollama 的本地端口收敛到可管理的应用网关之后。

RBAC · 定制审计日志 · 定制知识库/RAG · 定制反向代理 · 定制
L2 / INFERENCE SERVICE›

Ollama 推理服务

接收请求、排队与调度、加载模型、流式生成并返回;默认只监听本机 127.0.0.1:11434。

/api/chat · 原生/v1 兼容 · 原生队列调度 · 原生ollama ps · 原生
L3 / MODELS & COMPUTE›

模型与算力

本地权重文件、量化版本与权重许可;CPU / GPU 显存、上下文长度与并发共同决定能否加载。

权重存储 · 原生GPU 调度 · 原生许可核对 · 交付硬件选型 · 交付
04 / REQUEST TRACE · 一次请求走过哪里

从提问到返回,逐节点点亮

点击「发起演示请求」查看一次调用的完整链路。节点、日志与顺序均为演示模拟,用于说明责任分区,不代表真实耗时或真实性能。

流程示意 · 演示 READY / 等待发起
用户提问L0 · 演示
身份认证L1 · 定制
权限 / 配额L1 · 定制
知识检索L1 · 定制
网关转发L1 · 定制
请求入队L2 · 原生
模型加载L2 · 原生
流式生成L2 / L3
返回与留痕L1 · 定制

为什么链路里有这么多「额外开发」

  • Ollama 默认绑定 127.0.0.1:11434,官方未把该端口描述为带鉴权的服务。
  • OpenAI 兼容端点在本地调用时,官方原文是 "api_key ... required but ignored"。
  • 因此认证、权限、限流、审计、知识库检索都要放在 L1 应用层实现。
  • 并发加载受资源限制时,新请求可能排队;并发数 × 上下文长度会放大内存占用。
  • 本演示不含真实计时、吞吐或 tokens/s 数据,页面不提供性能承诺。
05 / MODEL CONSOLE · 可交互原型

模型管理:版本、许可与运行状态放在一张表里

切换标签、搜索、选中模型行并试一次「加载/卸载」。表中文件大小取自 Ollama 官方模型页公开信息,非本方案实测;状态与操作全部为演示。

yuqi-ai / model-registry · 模型管理(概念原型)演示
演示数据
TABLE / 演示模型清单 · 文件大小为官方模型页公开值,非性能数据
MODEL参数文件大小权重许可状态
qwen3:8b8B5.2GBApache 2.0未加载
llama3.1:8b8B4.9GBMeta 社区许可未加载
deepseek-r1:8b8B5.2GB权重 MIT*已加载
gemma3:4b4B3.4GBGemma Terms未加载
共 4 条演示记录无真实模型、无真实推理 · 演示
DETAIL / 模型详情 · 演示
HARDWARE / 评估维度 · 非配置报价
按模型体积先看能否装下

官方模型页给出各 tag 的下载体积(如 8B 级约 4.9–5.2GB、70B 级约 43GB、671B 级约 404GB)。实际显存还需覆盖 KV cache 与上下文,不能只看文件大小。

按使用场景看并发与上下文

官方 FAQ:并行请求会按 OLLAMA_NUM_PARALLEL × 上下文长度放大内存;FAQ 给出默认上下文 4096 tokens,实际以所选版本和配置为准,资源不足时可能排队,CPU/GPU分配以配置为准。

按硬件看兼容性

官方 GPU 文档列明 NVIDIA 计算能力 5.0+(驱动 550+,部分需 570+)、AMD ROCm v7、Apple Metal、Vulkan。需在目标机器上逐项验证。

※ 本页不提供 tokens/s、响应时延、并发上限等性能数据,也不给出通用硬件配置结论;选型以目标模型、目标并发和实机验证为准。

06 / API · 业务系统怎么接

两种接入方式,一个本地端口

下面的命令与代码结构来自 Ollama 官方文档。切换标签查看原生 REST、OpenAI 兼容端点与 CLI;参数为示意,不构成性能或安全承诺。

示例 · 演示
curl http://localhost:11434/api/tags

本地端口与默认绑定

官方 FAQ:Ollama 默认绑定 127.0.0.1:11434;如需被其他主机访问,要显式设置 OLLAMA_HOST,并自行加反向代理、TLS 与访问控制。

本地端点默认不要求鉴权

官方 OpenAI 兼容文档写明,本地调用时 api_key 是「required but ignored」。不要把 11434 直接暴露到办公网或公网;认证需在网关与服务端强制执行,不能只依靠前端界面。

兼容层是「子集」

官方原文:"Ollama supports a subset of the OpenAI API"。已有 SDK 可改 base_url 复用,但依赖完整 OpenAI 语义的功能需要逐项验证,不能默认全兼容。

07 / INTEGRATION · 接进现有业务

模型能力要落到业务动作上

Ollama 提供推理接口,不提供这些业务系统的连接器。以下六类集成点都需要煜企按现有系统做接口适配、权限映射与异常处置。

01

内部文档与知识

制度、手册、合同模板的检索问答。文档解析、切片、向量库与引用溯源需定制开发。

02

工单与客服

在既有工单系统里生成回复建议、归类与摘要;需对接现有接口与权限模型。

03

表格与 ERP

把自然语言查询映射到受控的数据查询,输出前做权限校验,避免越权读取。

04

研发与代码

代码补全、评审提示与内部规范问答;需结合代码仓库权限与敏感信息策略。

05

报表与 BI

为既有看板生成解读文字;数据源不变,只增加一层受控的模型调用。

06

门户与 IM

在门户、企业 IM 中提供统一入口;账号、会话与消息审计需统一设计。

明亮办公桌与笔记本
从现有界面里发起员工不必切换工具 · 场景配图
桌面多台笔记本与协作
多终端、多用户会话隔离与用量统计需额外开发 · 场景配图
08 / BOUNDARY · 不把部署说成平台

哪些是底座自带,哪些必须另外做

这是本页最重要的一张对照。左栏是可直接使用的底座能力;右栏常被误认为「部署完就有」,实际需要单独设计、开发与验收。

底座能力 · Ollama 原生

依据官方 README / API / FAQ / GPU 文档

01模型拉取、运行与本地存储CLI 与 ollama ps 查看加载到 GPU 还是 CPU
02推理与流式返回/api/chat、/api/generate,支持 stream 与结构化参数
03模型清单与元信息/api/tags 返回名称、体积、digest 与量化信息
04OpenAI 兼容端点(子集)/v1/chat/completions 等,便于改造现有 SDK 调用
05调度、并发与显存策略队列、多模型加载、上下文长度与 KV cache 量化配置
06Modelfile 与量化版本管理自定义系统提示、参数与派生模型

额外开发 · 煜企交付范围

官方未将下列能力列为内置模块

01知识库 / RAG文档解析、切片、向量库、检索编排、引用溯源与更新机制
02用户与多租户管理组织架构、统一认证、会话隔离、模型可见范围
03权限与访问控制角色、接口级授权、配额、限流与敏感操作审批
04审计与合规留痕提问/回答记录、脱敏、导出、留存周期与删除策略
05业务系统集成与工单、文档、ERP、BI、门户等系统的接口适配
06生产化运维反向代理与 TLS、监控告警、日志、备份、升级与回滚
09 / DELIVERY · 从评估到交接

六个阶段,每阶段都有可验收的产出

流程为方案示意 · 演示,不代表具体项目的排期、报价或承诺。硬件与模型结论都以实机验证为准。

STEP 01

硬件评估

按目标模型体积、上下文长度、并发数与 GPU 兼容性逐项核对,形成实机验证记录。

输出:硬件核对表
STEP 02

部署

在自有环境安装 Ollama,配置运行账号、模型存储路径、绑定地址与网络策略。

输出:部署配置
STEP 03

模型选型

按场景比较候选模型,逐个 tag 核对权重许可、量化版本与上下文能力。

输出:模型清单 + 许可记录
STEP 04

接口集成

实现对话入口、应用网关、认证权限与业务系统接口适配,按需接入知识库。

输出:可运行的应用
STEP 05

测试

验证功能链路、并发与排队行为、异常处置、权限边界与网络出口策略。

输出:测试报告
STEP 06

运维交付

交接监控告警、日志与审计、备份、升级回滚流程及运维手册。

输出:运维手册 + 验收清单
两人在办公桌前讨论
交付不是把服务启起来就结束验收口径、运维手册、升级与回滚路径一起交接 · 场景配图 · 演示
10 / COMPLIANCE · 两层许可分别核对

引擎是 MIT,模型权重各有各的许可

Ollama 的软件许可与模型权重许可相互独立。以下结论核对自官方仓库、官方模型页与许可原文(2026-11-15);商用前须对实际选用的每一个 tag 再核对一次。

ENGINE / 引擎
Ollama 软件本体 · MIT License

官方 LICENSE 原文 "MIT License · Copyright (c) Ollama":允许使用、复制、修改、分发、再许可与销售,须保留版权与许可声明,按 "AS IS" 提供、无担保。该许可不覆盖模型权重。

Qwen3Apache 2.0

QwenLM/Qwen3 README 原文 "All our open-weight models are licensed under Apache 2.0.",并提示在各 Hugging Face 仓库查看许可文件。

Meta Llama 3.1社区许可

LLAMA 3.1 COMMUNITY LICENSE AGREEMENT:非标准开源许可,含 700M 月活附加条款、须遵守 AUP、分发时标注 "Built with Llama" 并保留 Notice。

DeepSeek-R1权重 MIT*

官方模型页写明权重为 MIT;蒸馏版同时核对其实际基座、模型卡及许可,同一家族不同 tag 可能不同,必须逐个核对。

Gemma 3Gemma Terms

官方模型页引用 Google 的 Gemma Terms of Use,属于自有使用条款,不是 Apache 2.0 或 MIT。

关于「离线」与「数据不外发」:不做笼统承诺

  • 远端拉取需联网,离线预置另行设计官方 FAQ 原文 "Ollama pulls models from the Internet",从远端仓库 pull 与更新时涉及外部连接;通过受控介质预置模型需另行规划来源、完整性和许可。
  • 默认只监听本机官方 FAQ 原文 "Ollama binds 127.0.0.1 port 11434 by default",跨机访问需 OLLAMA_HOST 与额外的网络策略。
  • 本地模式 ≠ 绝对断网`OLLAMA_NO_CLOUD=1` 关闭的是 cloud models 与 web search;官方未声明该模式阻断全部外部请求。
  • 云功能会改变数据路径官方说明使用 cloud-hosted models 时会处理 prompts/responses,并收集有限用量元数据(不含 prompt/response 内容)。
  • 第三方组件需单独评估业务集成、监控、更新检查、DNS、日志外送与插件都可能产生外部连接。
  • 交付时逐项核对网络策略、出口白名单、云功能开关、日志留存与模型来源应写进验收清单,而非用一句「完全离线」代替。
官方原文(FAQ):"Ollama runs locally. We don't see your prompts or data when you run locally." / "Ollama can run in local only mode by disabling Ollama's cloud features."
→ 这两句描述的是本地运行与云功能开关,不构成「任何情况下数据绝不外发」的承诺。

※ 本页不含客户案例、经营成绩、tokens/s 或响应时延等性能数据;所有界面、回答、指标、日志与流程均标注「演示」。

NEXT STEP

先把边界、许可和硬件算清楚

一个可落地的私有 AI 方案,起点不是选最大的模型,而是明确使用人数、接入系统、网络策略与模型权重许可。这一页是介绍材料,不是部署动作。

本页为本地介绍页(演示):不安装 Ollama、不拉取模型、不启动推理服务、不连接后端、不部署、不覆盖任何已有页面。