正在加载...
StarryOS 部署并优化 DeepSeek-distill-qwen-7B 模型(本地推理)。
预期完成目标:
- 成功部署 DeepSeek-distill-qwen-7B 模型(INT4 或 GGUF 量化版本)
- 实现 CLI 或简易 GUI 接口进行文本生成
- 在 EIC7702X NPU 上运行,单 token 生成延迟 ≤ 200ms(输入长度 512,输出长度 128)
- 支持流式输出,内存占用 ≤ 10GB