HF blog·· 2 天前AI 评分22
Hugging Face 发布 jevhome-ettin-1b-int8:约 1B 参数的 int8 类型化决策模型
jevhome/jevhome-ettin-1b-int8 · Hugging Face
AI 导读
Hugging Face 上线 jevhome-ettin-1b-int8,这是 jevhome-ettin-1b 的动态 int8 量化版本,采用 ONNX Runtime quantize_dynamic 与 int8 token 嵌入表,体积约为原版四分之一,可在普通 CPU 上单次前向返回校准概率。
来源:HF blog · huggingface.co