需要 48 GB VRAM”的说法刚刚被淘汰。
🚨注意！！“需要 48 GB VRAM”的说法刚刚被淘汰。一个 20 GB 模型在 16 GB 的 RTX 5080 上运行速度达 ~100 tok/s。
FreeToken（新的开源引擎）将你的整个机器（GPU + CPU + RAM）视为一个统一的推理平台。
只需激活必要的专家（MoE）+ 动态缓存 + 智能调度。
8 GB 笔记本 → 35B
RTX 5090 → 284B
工作站 → 753B
Apache 2.0 · Windows/Linux · GUI · 与 OpenAI 兼容的 API
“放不下 → 就用不了”的时代刚刚终结。
Repooo👇👇
https://github.com/FlashML-org/FreeToken
页:
[1]