Skip to content

DeepSeek推理仿真问题 #262

@BGPonlooker

Description

@BGPonlooker

您好,SimAI在描述中说明已经可以适配DeepSeek-V3-671B的仿真,对此,我有三点问题希望能帮忙解答一下,谢谢
(1)在推理仿真中,SimAI说明对于MoE架构的仿真支持还在进行中,并未实现。但是DeepSeek模型是MoE架构的,那请问SimAI是如何仿真DeepSeek的呢,特别是在推理仿真方面?
(2)我在推理仿真中按照Run Llama-3-8B with simai_simulation的步骤运行实验没有问题,但是把--replica_config_model_name改成deepseek后,运行会报错《No such file or directory: './data/profiling/compute/a100/deepseek-671B/mlp.csv'》,请问是否是因为缺乏deepseek的实测数据,那是否可以通过实测补充deepseek的a100数据后进行仿真,还是说目前simai对于deepseek的推理仿真只支持aicb的后端?我目前想要进行完整的deepseek的推理仿真,请问是否有更具体的运行步骤教程。
(3)关于推理仿真的workload是否有更具体的说明,在目前的README似乎没有看到具体关于workload的选择和说明。

感谢解答

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions