-
Notifications
You must be signed in to change notification settings - Fork 149
DeepSeek推理仿真问题 #262
Copy link
Copy link
Open
Description
您好,SimAI在描述中说明已经可以适配DeepSeek-V3-671B的仿真,对此,我有三点问题希望能帮忙解答一下,谢谢
(1)在推理仿真中,SimAI说明对于MoE架构的仿真支持还在进行中,并未实现。但是DeepSeek模型是MoE架构的,那请问SimAI是如何仿真DeepSeek的呢,特别是在推理仿真方面?
(2)我在推理仿真中按照Run Llama-3-8B with simai_simulation的步骤运行实验没有问题,但是把--replica_config_model_name改成deepseek后,运行会报错《No such file or directory: './data/profiling/compute/a100/deepseek-671B/mlp.csv'》,请问是否是因为缺乏deepseek的实测数据,那是否可以通过实测补充deepseek的a100数据后进行仿真,还是说目前simai对于deepseek的推理仿真只支持aicb的后端?我目前想要进行完整的deepseek的推理仿真,请问是否有更具体的运行步骤教程。
(3)关于推理仿真的workload是否有更具体的说明,在目前的README似乎没有看到具体关于workload的选择和说明。
感谢解答
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
No labels