Modelfile文件定义
modelfile文件是在ollama上创建自定义模型的蓝图
Modelfile文件通过一下指令配置
| Instruction | Description |
|---|---|
| FROM (required) | 定义所使用的基础模型 |
| PARAMETER | 配置模型参数 |
| TEMPLATE | 定义生成的提示词模板 |
| SYSTEM | 定义模型的系统级角色设定 |
| ADAPTER | 定义适配器 |
| LICENSE | 指定合法证明 |
| MESSAGE | 添加示例对话 |
使用案列
创建一个马里奥的蓝图，对应的Modelfile文件内容如下：
# 指定基本模型
FROM gemma:2b
# 指定大模型的一些输入输出参数
PARAMETER temperature 1
PARAMETER num_ctx 4096
# 配置担任的角色
SYSTEM You are Mario from super mario bros, acting as an assistant.命令行输入命令
ollama create mrio -f E:\data\learn-LLM\LLM-ollama\Modelfile简单测试：
>>> 你好，你是谁？
Hey there! It's me, Mario! What can I do for you today?配置指令介绍
FROM (Required)
FROM用来指定基础大模型，所以它是必须要有的。
它不仅支持GPT,deepseek这样的常见大模型，也支持safetensors格式和GGUF格式存储的大模型。
PARAMETER
设置模型运行时的一些参数
| Parameter | Description | Value Type | Example Usage |
|---|---|---|---|
| num_ctx | 设置一次输入模型的最大token数量(Default: 2048) | int | num_ctx 4096 |
| repeat_last_n | 设置一个回溯窗口，数值代表窗口的大小，模型会在生成下一个token前回顾前n个token，避免出现输出重复的现象(Default: 64, 0 = disabled, -1 = num_ctx) | int | repeat_last_n 64 |
| repeat_penalty | 设置惩罚重复的强度，值越大惩罚越高(e.g., 1.5), 值越小惩罚越小(e.g., 0.9) (Default: 1.1) | float | repeat_penalty 1.1 |
| temperature | 模型输出的发散度，值是0-1，越大概率分步越平滑，也就是说低概率token的机会越大，模型也就“思维更发散” (Default: 0.8) | float | temperature 0.7 |
| seed | 随机数种子，用来确保相同随机种子和相同prompt下的输出几乎一样，当然并不能确保一模一样(Default: 0) | int | seed 42 |
| stop | 设置停止生成的标志，当模型生成了stop中的内容时就会停止生成，并返回当前的生成结果。 | string | stop "AI assistant:" |
| num_predict | 定义一次模型输出的最大token数量(Default: -1, infinite generation) | int | num_predict 42 |
| top_k | 原理是生成一个token时从概率最高的k个候选token中做选择，这样有助于模型不会胡说，值越大(e.g. 100) 回答越多样, 值越小 (e.g. 10) 回答越保守. (Default: 40) | int | top_k 40 |
| top_p | 限制采样到累积概率达到 p 的最小 token 子集，越大 (e.g., 0.95)越发散,越小(e.g., 0.5)越稳定保守. (Default: 0.9) |
float | top_p 0.9 |
| min_p | top_p的替代品，作用是仅保留 相对概率 ≥ |
float | min_p 0.05 |
补充：top_k和temperature的区别
特性 |
top_k |
temperature |
|---|---|---|
控制方式 |
限制采样范围到前 k 个高概率 token |
调整整个概率分布的平滑度 |
作用对象 |
筛选 token 子集 |
改变所有 token 的相对概率 |
效果 |
控制多样性，减少低概率 token 的出现 |
控制随机性，影响高/低概率 token 的选择倾向 |
值范围 |
整数（通常 1 到 词汇表大小） |
浮点数（通常 0 到 2，0 为确定性） |
高值影响 |
更多样化，可能包含较低概率 token（更随机） |
更随机，增加低概率 token 的机会（更创意） |
低值影响 |
更保守，倾向于高概率 token（更聚焦） |
更确定性，倾向于最高概率 token（更可预测） |
典型设置 |
top_k 40 （平衡多样性和质量） |
temperature 0.7 （适度创意） |
交互性 |
可与temperature结合使用 |
可与top_k结合使用 |
TEMPLATE
要传递到模型中的完整prompt模板。它可以包括（可选地）system信息、user信息和来自模型的response。注意：语法可能因模型而异。
TEMPLATE中的变量
| Variable | Description |
|---|---|
{{ .System }} |
The system message used to specify custom behavior. |
{{ .Prompt }} |
The user prompt message. |
{{ .Response }} |
The response from the model. When generating a response, text after this variable is omitted. |
格式：
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""SYSTEM
也就是配置TEMPLATE中的system部分
SYSTEM """<system message>"""ADAPTER
配置对应的微调所用的adapter
ADAPTER <path to safetensor adapter>LICENSE
声明该模型的许可证类型，明确告知用户该模型的法律使用限制、权限和合规要求。
LICENSE """
<license text>
"""MESSAGE
MESSAGE指令允许您指定模型在响应时使用的消息历史记录。使用MESSAGE命令的多次迭代来建立对话，该对话将引导模型以类似的方式回答。
MESSAGE <role> <message>role的取值：
| Role | Description |
|---|---|
| system | Alternate way of providing the SYSTEM message for the model. |
| user | An example message of what the user could have asked. |
| assistant | An example message of how the model should respond. |
案列：
MESSAGE user Is Toronto in Canada?
MESSAGE assistant yes
MESSAGE user Is Sacramento in Canada?
MESSAGE assistant no
MESSAGE user Is Ontario in Canada?
MESSAGE assistant yes