W
AI-Wiki
← 开源项目

ikermoel/open-alternative-jev

已整理
https://github.com/ikermoel/open-alternative-jev

这个项目帮助用户把开放权重的大语言模型用作“只在给定选项中做决定”的工具,并返回每个决定的概率。它适合需要做工单分类、优先级判断、是/否判断或其他结构化决策,同时希望在本地 GPU 或自有模型上运行的开发者和研究者。

项目简介

这个项目帮助用户把开放权重的大语言模型用作“只在给定选项中做决定”的工具,并返回每个决定的概率。它适合需要做工单分类、优先级判断、是/否判断或其他结构化决策,同时希望在本地 GPU 或自有模型上运行的开发者和研究者。

官方仓库资料

主要语言
Python
许可证
Apache-2.0
默认分支
main
Stars
51
Forks
11
Open Issues
1
仓库状态
正常运行
派生仓库
非 Fork
数据采样
2026/9/23 19:07:55
资料抓取
2026/9/23 19:07:55
首次收录
2026/9/23 19:04:11

Topics:calibration · classification · jev · jev-alternative · llm · logprobs · open-jev · open-source-jev · open-weights · qwen · structured-decisions · structured-output · system-one · system-one-model · transformers · typed-decisions · typesafe · typesafe-jev · vllm

AI 整理 · 基于已抓取的官方资料

核心功能

  • 支持将一个共享状态下的多个问题打包到一次前向计算中,减少重复写入上下文
  • 输出结果始终限制在用户给定的选项内,并附带概率或置信度
  • 支持 Choice、yes_no 等类型化决策问题
  • 提供 packed 和 separate 两种模式:packed 更适合共享状态的批量问题,separate 可避免问题之间互相影响
  • 支持 Hugging Face Transformers 后端
  • 支持 vLLM 后端
  • 提供 TemperatureScaler,可用少量带标签数据做温度缩放以改善概率校准
  • 支持通过 bitsandbytes 进行 8-bit / 4-bit 加载
  • 包含基准测试脚本、结果和图表,用于复现实验
  • 提供 Hugging Face Spaces 在线演示

适用场景

  • 工单类别判断
  • 问题紧急程度分类
  • 是否升级给工程师处理的判断
  • 多选题或阅读理解类选择任务
  • 基于同一上下文回答多个结构化问题
  • LLM 分类但不生成自由文本
  • 需要带概率输出的决策任务
  • 对模型决策概率做校准评估

使用方式

install: - pip install open-alternative-jev

  • pip install "open-alternative-jev[vllm]"
  • pip install "open-alternative-jev[quant]" quickstart: from so1 import Decider, Choice, yes_no

decider = Decider.from_pretrained("Qwen/Qwen3.6-27B", backend="hf", load_in_8bit=True) decisions = decider.decide( state="Ticket #8813: 'Since yesterday's release the export button does nothing. Board meeting Monday.'", questions=[ Choice("Ticket category", ["bug", "feature request", "billing", "question"]), Choice("Urgency", ["low", "medium", "high"]), yes_no("Escalate to an engineer?"), ], ) for d in decisions: print(d.choice, round(d.confidence, 2)) modes: - mode="packed":默认模式,一个状态对应一个序列,把多个问题放在一起处理,适合共享状态下的加速场景

  • mode="separate":每个问题单独处理,包含完整状态,可避免问题之间的干扰;README 建议在 vLLM 上使用 separate 并利用 prefix cache calibration_example: from so1 import TemperatureScaler scaler = TemperatureScaler().fit(probabilities, correct_indices) calibrated = [scaler.apply(d) for d in decisions] testing: - pip install -e ".[dev]"
  • pytest

技术特点

  • 项目语言为 Python,包名为 open-alternative-jev,导入名为 so1
  • Python 要求为 3.10+
  • README 表示小模型可在 CPU 上运行,测试套件使用 Qwen2.5-0.5B
  • 工作方式是把问题渲染为聊天轮次,将多个轮次串接,并在指定 readout 位置读取候选选项字母的 logits
  • 候选选项使用 A 到 Z 的字母标签,因此每个问题最多 26 个选项
  • 选项标签必须是模型 tokenizer 中的单个 token;否则运行决策时会抛出 ValueError
  • 默认支持 ChatML 模板;其他聊天模板需要传入 ChatFormat
  • Transformers 后端在 packed readout 中读取每个位置的精确 logits
  • vLLM 后端在 packed readout 中使用 prompt_logprobs,README 标注 top-k 为 20,标签不在 top-k 时会使用 floor 并计入 backend.missing_labels
  • vLLM 后端在 separate readout 中使用 allowed_token_ids 和 processed logprobs
  • README 建议生产环境固定 transformers 版本,因为读取位置依赖 tokenizer 的 chat template 输出
  • 许可证为 Apache-2.0
  • README 中的基准包含 RACE-H、MMLU、LocalLLaMA/typed-decisions 等实验结果

限制与边界

  • 不是 TypeSafe Jev 的复现,也不是官方 Jev SDK 的 HTTP 服务或可替换 API
  • 默认不提供开箱即用的良好校准;README 建议在自己的数据上拟合温度参数
  • packed 模式下问题之间可能相互影响,README 报告部分答案会随相邻问题或顺序变化
  • 当需要答案级稳定性时应使用 mode="separate"
  • 小模型在 packed 模式下可能出现准确率下降;README 提到 4B 以下模型存在明显干扰风险
  • 选项标签必须能被 tokenizer 编为单 token
  • 使用 A 到 Z 作为标签,因此单个问题最多支持 26 个选项
  • 默认要求 ChatML 模板;非 ChatML 模板需要额外配置 ChatFormat
  • vLLM 的 packed readout 依赖 top-k prompt_logprobs,标签不在 top-k 时不是精确读取
  • README 明确说明项目不是速度纪录,绝对吞吐数字受硬件、量化和内核实现影响

README

README 介绍了 open-alternative-jev 的目标:用开放权重大语言模型在一次前向计算中完成类型化、有概率的决策,不生成自由文本。文档提供了安装方式、快速开始示例、packed 与 separate 两种模式说明、Transformers 和 vLLM 后端差异、温度校准用法,以及对模型选择、ChatML 模板和单 token 选项标签的要求。README 还给出了多组基准测试结果,包括 RACE-H、MMLU 和 typed-decisions,并强调 packed 模式在共享状态任务中能减少重复上下文处理,但也可能带来问题间干扰;在 vLLM 上 separate 模式可借助 prefix cache 获得更好的服务表现。项目声明它不是 Jev 的复现,也不是官方 Jev SDK 的替代接口,而是一个可本地调用的 Python 库。

关联 Wiki 词条

暂无已建立的词条关联。