/ AIBLOG

技术笔记

用 Ollama 跑通本地文本摘要:从模型下载到第一条 API 请求

准备把 AI 加进工作流时,可以先完成一个边界清楚的小任务:把三条合成记录压缩成一句话。先确认模型能运行、接口能返回,再评估摘要是否保留事实,排错会更有依据。

Ollama 官方文档支持在本地运行模型,本地模型调用无需云端 API Key;云模型是另一种使用路径。[1] 本文只讨论本地路径,不涉及账号开通或云端计费。资料核对日期为 2026 年 10 月 19 日。

先选一个机器能运行的模型

安装 Ollama 后,先记录版本:

1ollama --version
2ollama list

本文沿用官方快速开始中的本地模型标签 gemma4:e2b。示例标签用于说明流程,不代表所有电脑的最佳选择。下载前应在官方模型页面核对文件大小、内存要求和许可证;模型大小、上下文长度与硬件会影响实际运行体验。[1]

确认资源合适后再下载:

1ollama pull gemma4:e2b

ollama list 用于查看已有模型,pull 下载模型,run 可以启动模型交互。[3] 如果已有适合的本地模型,也可以统一替换下面命令与请求中的标签。

先在终端验证一次

1ollama run gemma4:e2b

输入下面这段合成材料:

将以下记录写成一句中文摘要,只保留已发生的事实,不增加日期和原因: 修复文章列表的分页错误。 补充两条回归测试。 发布仍在等待审核。

本文建议的验收标准是:摘要应包含“分页修复”“增加测试”“等待审核”三个事实,不能把等待审核改写成已经发布。不要要求模型输出与某一句标准答案逐字相同。

命令行可运行之后,再测接口。如果这里就失败,先处理模型下载、服务启动或硬件资源问题,暂时不要增加应用代码。

用非流式响应简化第一次调用

确认 Ollama 服务已启动;Linux 环境如果尚未运行服务,可按官方说明使用 ollama serve。[1] 已有服务时无需重复启动。

下面的 cURL 示例适用于支持该续行与引号语法的 shell;Windows 读者应按所用终端调整,或把 JSON 请求体放入文件。

1curl http://localhost:11434/api/generate -H 'Content-Type: application/json' -d '{
2 "model": "gemma4:e2b",
3 "prompt": "用一句中文概括:分页错误已修复,补充了两条测试,发布等待审核。不要增加事实。",
4 "stream": false
5 }'

/api/generate 接受模型名和提示词;stream 默认开启,这里设为 false,便于第一次直接检查完整 JSON。生成文本位于 response 字段,done 表示生成是否完成。[2]

上述命令是教学示例,未在读者电脑实测。接口返回成功后,还要检查摘要内容,不能把 HTTP 成功等同于任务质量合格。

给摘要建立一张小型验收表

下面的检查表为本文设计,可以用作后续自动化的起点。

检查项

合格表现

事实保留

三条核心事实都被保留

事实约束

未增加负责人、日期或发布结果

表达长度

符合“一句话”的任务要求

输入变化

把“等待审核”改成“审核通过”后,摘要随之改变

空输入

应用层能够识别并处理,无需盲目调用模型

建议先收集几组典型输入及人工判断,再决定是否加入更复杂的提示词。一次成功不足以证明所有文本都可靠。

从演示走向日常使用

本文建议把模型标签、提示词版本和一组合成测试样例一起保存。更换模型或修改提示词后,重跑同一批样例,观察遗漏和新增事实是否发生变化。

本地端点并不自动证明整条应用链路都留在本机。记录实际调用地址,检查是否启用了云模型、外部插件或日志转发;处理真实资料前,先确认这些配置符合使用要求。

交给 Agent 时,可以这样说明:

使用已确认的本地模型完成摘要演示。先检查 Ollama 与模型是否可用,仅使用合成文本。分别报告服务状态、接口响应与摘要事实保留情况,不自动切换云服务。

参考来源

本文为原创整理;摘要材料、验收表及实施建议为作者设计。未进行读者环境实测,不承诺特定速度或准确率。