Hugging Face Blog·· 9 天前AI 评分56
Transformers 新增高效运行 llama.cpp GGUF 量化模型的支持
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 为 Transformers 新增高效运行 GGUF 量化模型的支持，通过复用 ggml 内核并优化 generate，初期面向 Apple Silicon 本地推理。
来源：Hugging Face Blog · huggingface.co