PyTorch Seq2Seq dataset 中sort length并且保证每个epoch下batch打乱的方法

it2024-12-20  18

问题说明

描述如题目

目前还不知道, 目前使用的是补充为定长, 然后shuffle

tf1.x的也不会写很完善的, 不过那个有一些别人写好的可以抄, 而且以后也不用tf1.x了, 先不管

版本一

说明: 每个序列都补充为定长, 那么就不算是Seq问题了

补充为定长, https://github.com/ruclion/bilingual-ppg/blob/EnglishASR-hujiankun590-1019/ppg_decode_spec_DataBakerCN/dataload_DataBakerCN.py调用接口, 参数中有指定shufflehttps://github.com/ruclion/bilingual-ppg/blob/EnglishASR-hujiankun590-1019/ppg_decode_spec_DataBakerCN/train_cbhg_DataBakerCN.py

版本二

如何不是定长? 并且sort之后, 为了效率高

问下师兄和公司

最新回复(0)