有没有人试过用xinference在一块卡上部署两个llm?

提问者:帅平 问题分类:人工智能
有没有人试过用xinference在一块卡上部署两个llm?
2 个回答
美到拖网速
美到拖网速
部署不了 单卡单模型的,你可以 xinference 部署一个 ollama部署一个。
发布于:2周前 (04-17) IP属地:四川省
帅平
帅平提问者
好的
发布于:2周前 (04-17) IP属地:四川省
我来回答