运行SimAI-Simulation部分的命令:sudo AS_SEND_LAT=3 AS_NVLS_ENABLE=1 ./bin/SimAI_simulator -t 16 -w ./aicb/results/workload/A100-gpt_13B-world_size64-tp16-pp1-ep1-gbs128-mbs1-seq64-MOE-False-GEMM-False-flash_attn-True.txt -n ./HPN_7_0_64_gpus_8_in_one_server_with_single_plane_400Gbps_A100 -c astra-sim-alibabacloud/inputs/config/SimAI.conf时出现double free or corruption (!prev) 已放弃

随后程序终止运行,workload文件的生成命令是:sh ./scripts/megatron_workload_with_aiob.sh -m 13 --world_size 64 --tensor_model_parallel_size 16 --pipeline_model_parallel 1 --frame Megatron --global_batch 128 --micro_batch 1 --seq_length 64 --swiglu --use_flash_attn --aiob_enable --comp_filepath workload/aiob_inputs/Example.txt --gpu_type A100
拓扑文件的生成命令是没有更新之前的那个版本的,生成了64个A100的gpu的规模,hpn结构,single plane的拓扑结构。
每次执行SimAI-Simulation部分的命令时会在不同的位置出现这个终止程序运行的错误,试了2台机器(一台虚拟机,一台跳板机)都出现了类似的问题。如何才能解决呢
运行SimAI-Simulation部分的命令:sudo AS_SEND_LAT=3 AS_NVLS_ENABLE=1 ./bin/SimAI_simulator -t 16 -w ./aicb/results/workload/A100-gpt_13B-world_size64-tp16-pp1-ep1-gbs128-mbs1-seq64-MOE-False-GEMM-False-flash_attn-True.txt -n ./HPN_7_0_64_gpus_8_in_one_server_with_single_plane_400Gbps_A100 -c astra-sim-alibabacloud/inputs/config/SimAI.conf时出现double free or corruption (!prev) 已放弃
随后程序终止运行,workload文件的生成命令是:sh ./scripts/megatron_workload_with_aiob.sh -m 13 --world_size 64 --tensor_model_parallel_size 16 --pipeline_model_parallel 1 --frame Megatron --global_batch 128 --micro_batch 1 --seq_length 64 --swiglu --use_flash_attn --aiob_enable --comp_filepath workload/aiob_inputs/Example.txt --gpu_type A100
拓扑文件的生成命令是没有更新之前的那个版本的,生成了64个A100的gpu的规模,hpn结构,single plane的拓扑结构。
每次执行SimAI-Simulation部分的命令时会在不同的位置出现这个终止程序运行的错误,试了2台机器(一台虚拟机,一台跳板机)都出现了类似的问题。如何才能解决呢