Ë ÈÛgãó¤—ddlmZddlZddlmZddlmZmZddlm Z ejejejdejdfd„Z y)é)ÚpartialN)ÚFullyShardedDataParallel)ÚMixedPrecisionÚShardingStrategy)Úlambda_auto_wrap_policyTc óh‡—t‰||ttˆfd„¬«t|||¬«||¬«ЉS)Ncó •—|‰jvS)N)Úblocks)ÚmÚmodels €ú$/root/Wan2.1/wan/distributed/fsdp.pyúzshard_model..sø€¸¸e¿l¹lÐ9J€ó)Ú lambda_fn)Ú param_dtypeÚ reduce_dtypeÚ buffer_dtype)ÚmoduleÚ process_groupÚsharding_strategyÚauto_wrap_policyÚmixed_precisionÚ device_idÚsync_module_states)ÚFSDPrrr)r rrrrrrrs` r Ú shard_modelr sGø€ô ØØ#Ø+Ü Ü #Ó/JôLä&Ø#Ø%Ø%ô'ðØ-ô /€Eð €Lr)Ú functoolsrÚtorchÚtorch.distributed.fsdprrrrÚtorch.distributed.fsdp.wraprÚbfloat16Úfloat32Ú FULL_SHARDr©rr úr%s?ðåã ÝCßCÝ?ð —‘Ø—‘Ø—‘ØØ&×1Ñ1Øôr