ikermoel/open-alternative-jev
已整理这个项目帮助用户把开放权重的大语言模型用作“只在给定选项中做决定”的工具,并返回每个决定的概率。它适合需要做工单分类、优先级判断、是/否判断或其他结构化决策,同时希望在本地 GPU 或自有模型上运行的开发者和研究者。
项目简介
这个项目帮助用户把开放权重的大语言模型用作“只在给定选项中做决定”的工具,并返回每个决定的概率。它适合需要做工单分类、优先级判断、是/否判断或其他结构化决策,同时希望在本地 GPU 或自有模型上运行的开发者和研究者。
官方仓库资料
- 主要语言
- Python
- 许可证
- Apache-2.0
- 默认分支
- main
- Stars
- 51
- Forks
- 11
- Open Issues
- 1
- 仓库状态
- 正常运行
- 派生仓库
- 非 Fork
- 数据采样
- 2026/9/23 19:07:55
- 资料抓取
- 2026/9/23 19:07:55
- 首次收录
- 2026/9/23 19:04:11
Topics:calibration · classification · jev · jev-alternative · llm · logprobs · open-jev · open-source-jev · open-weights · qwen · structured-decisions · structured-output · system-one · system-one-model · transformers · typed-decisions · typesafe · typesafe-jev · vllm
AI 整理 · 基于已抓取的官方资料
核心功能
- 支持将一个共享状态下的多个问题打包到一次前向计算中,减少重复写入上下文
- 输出结果始终限制在用户给定的选项内,并附带概率或置信度
- 支持 Choice、yes_no 等类型化决策问题
- 提供 packed 和 separate 两种模式:packed 更适合共享状态的批量问题,separate 可避免问题之间互相影响
- 支持 Hugging Face Transformers 后端
- 支持 vLLM 后端
- 提供 TemperatureScaler,可用少量带标签数据做温度缩放以改善概率校准
- 支持通过 bitsandbytes 进行 8-bit / 4-bit 加载
- 包含基准测试脚本、结果和图表,用于复现实验
- 提供 Hugging Face Spaces 在线演示
适用场景
- 工单类别判断
- 问题紧急程度分类
- 是否升级给工程师处理的判断
- 多选题或阅读理解类选择任务
- 基于同一上下文回答多个结构化问题
- LLM 分类但不生成自由文本
- 需要带概率输出的决策任务
- 对模型决策概率做校准评估
使用方式
install: - pip install open-alternative-jev
- pip install "open-alternative-jev[vllm]"
- pip install "open-alternative-jev[quant]" quickstart: from so1 import Decider, Choice, yes_no
decider = Decider.from_pretrained("Qwen/Qwen3.6-27B", backend="hf", load_in_8bit=True) decisions = decider.decide( state="Ticket #8813: 'Since yesterday's release the export button does nothing. Board meeting Monday.'", questions=[ Choice("Ticket category", ["bug", "feature request", "billing", "question"]), Choice("Urgency", ["low", "medium", "high"]), yes_no("Escalate to an engineer?"), ], ) for d in decisions: print(d.choice, round(d.confidence, 2)) modes: - mode="packed":默认模式,一个状态对应一个序列,把多个问题放在一起处理,适合共享状态下的加速场景
- mode="separate":每个问题单独处理,包含完整状态,可避免问题之间的干扰;README 建议在 vLLM 上使用 separate 并利用 prefix cache calibration_example: from so1 import TemperatureScaler scaler = TemperatureScaler().fit(probabilities, correct_indices) calibrated = [scaler.apply(d) for d in decisions] testing: - pip install -e ".[dev]"
- pytest
技术特点
- 项目语言为 Python,包名为 open-alternative-jev,导入名为 so1
- Python 要求为 3.10+
- README 表示小模型可在 CPU 上运行,测试套件使用 Qwen2.5-0.5B
- 工作方式是把问题渲染为聊天轮次,将多个轮次串接,并在指定 readout 位置读取候选选项字母的 logits
- 候选选项使用 A 到 Z 的字母标签,因此每个问题最多 26 个选项
- 选项标签必须是模型 tokenizer 中的单个 token;否则运行决策时会抛出 ValueError
- 默认支持 ChatML 模板;其他聊天模板需要传入 ChatFormat
- Transformers 后端在 packed readout 中读取每个位置的精确 logits
- vLLM 后端在 packed readout 中使用 prompt_logprobs,README 标注 top-k 为 20,标签不在 top-k 时会使用 floor 并计入 backend.missing_labels
- vLLM 后端在 separate readout 中使用 allowed_token_ids 和 processed logprobs
- README 建议生产环境固定 transformers 版本,因为读取位置依赖 tokenizer 的 chat template 输出
- 许可证为 Apache-2.0
- README 中的基准包含 RACE-H、MMLU、LocalLLaMA/typed-decisions 等实验结果
限制与边界
- 不是 TypeSafe Jev 的复现,也不是官方 Jev SDK 的 HTTP 服务或可替换 API
- 默认不提供开箱即用的良好校准;README 建议在自己的数据上拟合温度参数
- packed 模式下问题之间可能相互影响,README 报告部分答案会随相邻问题或顺序变化
- 当需要答案级稳定性时应使用 mode="separate"
- 小模型在 packed 模式下可能出现准确率下降;README 提到 4B 以下模型存在明显干扰风险
- 选项标签必须能被 tokenizer 编为单 token
- 使用 A 到 Z 作为标签,因此单个问题最多支持 26 个选项
- 默认要求 ChatML 模板;非 ChatML 模板需要额外配置 ChatFormat
- vLLM 的 packed readout 依赖 top-k prompt_logprobs,标签不在 top-k 时不是精确读取
- README 明确说明项目不是速度纪录,绝对吞吐数字受硬件、量化和内核实现影响
README
README 介绍了 open-alternative-jev 的目标:用开放权重大语言模型在一次前向计算中完成类型化、有概率的决策,不生成自由文本。文档提供了安装方式、快速开始示例、packed 与 separate 两种模式说明、Transformers 和 vLLM 后端差异、温度校准用法,以及对模型选择、ChatML 模板和单 token 选项标签的要求。README 还给出了多组基准测试结果,包括 RACE-H、MMLU 和 typed-decisions,并强调 packed 模式在共享状态任务中能减少重复上下文处理,但也可能带来问题间干扰;在 vLLM 上 separate 模式可借助 prefix cache 获得更好的服务表现。项目声明它不是 Jev 的复现,也不是官方 Jev SDK 的替代接口,而是一个可本地调用的 Python 库。
关联 Wiki 词条
暂无已建立的词条关联。