A100用transformers推理gpt-oss
A100本地用transformers推理gpt-oss
GPT-oss试用
gpt-oss有两个原生配置是目前（2025-8-8）Ampere系列显卡不支持的，分别是默认的MXFP4量化，以及Flash-attn V3。tranformers推理是比较慢的，可以用于研究模型本身，如果是本地部署，最好用vllm，见三步完成，A100本地vLLM部署gpt-oss，并启动远程可访问api。
下载模型参数到本地
国内用魔塔更快，下载到本地xxxx目录下：
pip install modelscope
modelscope download --model openai-mirror/gpt-oss-120b --local_dir xxxxxx
创建conda环境
conda create -n vllm python=3.12 -ypip install -U transformers
pip install -U accelerate
pip install -U torch
pip install -U kernels
注意到，这里跟官方给的安装步骤不太一样。官方安装多一个triton，里面包含了Triton kernels for MXFP4 compatibility，也就是gpt-oss专用的一个量化技术 MXFP4，这个量化在A100 GPU上是不被支持的。因此不能安装，安装反而会报错。
模型generate推理
相信大家一般用的最多的还是generate推理，这里给个python示例：
from transformers import AutoModelForCausalLM, AutoTokenizermodel_name = "/mnt/models/gpt-oss-120b" # /mnt/models/gpt-oss-20btokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name,torch_dtype="auto", # autodevice_map="auto",attn_implementation="sdpa", # flash_attention_2 sdpa
)messages = [{"role": "system", "content": "Reasoning: low"},{"role": "user", "content": "Explain what MXFP4 quantization is."},
]inputs = tokenizer.apply_chat_template(messages,add_generation_prompt=True,return_tensors="pt",return_dict=True,
).to(model.device)outputs = model.generate(**inputs,max_new_tokens=1024,temperature=0.7
)print(tokenizer.decode(outputs[0]))
其中model_name就是下载的模型参数目录，attn_implementation这里，不能选择flash-attn。因为默认使用flash-attn V3，这不被a100支持，会报错Sinks are only supported in FlashAttention 3，用flash-attn 2也不行，即使是最新release的2.8.2（2025-8-8），也会报错一些参数无法识别。messages的第一行{"role": "system", "content": "Reasoning: low"}用来指定模型思考深度，gpt-oss有三个可选思考深度，但不能关闭。
最后，可以用transformers启动服务，进行终端命令行对话：
transformers serve
transformers chat localhost:8000 --model-name-or-path /mnt/models/gpt-oss-120b