官网 | 文档 | 发布博文
TypeSafe 发了一个比较特殊的模型,不做对话、不生成文本,只针对一份 state 做类型化的判断,返回代码能直接用的值。
三种问题原语:
- Choice:从给定选项里选一个,返回选项 + 各选项概率 + 置信度
- Score:按量规给 state 打分,返回分数 + 概率 + 置信度
- Noul:这句话为真吗,返回 0~1 的概率
重点是又快又便宜,端到端 70ms~500ms,输入 $0.042/MTok,输出免费,比同级别 LLM 快 40~200 倍。当今 LLM 工作流里有一些情况要求时延低,而且结构化输出已经不可或缺,可以说这个创业公司找到了一个很不错的垂类。
社区已经拿它跑了一堆东西:浏览器 Agent(订票 7 秒左右)、Doom、五子棋、代码审查等。
把这些生态项目整理成了一个 awesome list,持续补充,欢迎 PR:
https://github.com/AnotiaWang/awesome-jev
@atashare