多种分词方法合并对齐分块算法

问题

将以下4种方法的分词结果对齐分块。

['目的', '将', '有限元分析', '技术', '运用', '于', '空调', '包装件', '的', '静态堆码', '和', '跌落', '冲击', '性能', '分析', '和', '优化', '设计', '中。', '方法', '运用', '有限元分析软件', ',', '建立', '空调', '、', '缓冲', '衬垫', '的', '有限元模型。'], ['目', '的', '将', '有', '限元', '分析', '技术', '运用', '于', '空调', '包装件', '的', '静态', '堆码', '和', '跌落', '冲击', '性能', '分析', '和', '优化', '设计', '中', '。', '方法', '运用', '有限', '元', '分析', '软件', ',', '建立', '空调', '、', '缓冲', '衬垫', '的', '有限', '元', '模型', '。'], ['目的', '将', '有', '限元', '分析', '技术', '运用', '于', '空调', '包装件', '的', '静态', '堆码', '和', '跌落', '冲击', '性能', '分析', '和', '优化', '设计', '中', '。', '方法', '运用', '有', '限元', '分析', '软件', ',', '建立', '空调', '、', '缓冲', '衬垫', '的', '有', '限元', '模型', '。'], ['目的', '将', '有限元', '分析', '技术', '运用于', '空调', '包装', '件', '的', '静态', '堆码', '和', '跌落', '冲击', '性能', '分析', '和', '优化设计', '中', '。', '方法', '运用', '有限元', '分析', '软件', ',', '建立', '空调', '、', '缓冲', '衬垫', '的', '有限元', '模型', '。']

得到以下分块结果：

[ [['目的'], ['目', '的'], ['目的'], ['目的']], [['将'], ['将'], ['将'], ['将']], [['有限元分析'], ['有', '限元', '分析'], ['有', '限元', '分析'], ['有限元', '分析']], [['技术'], ['技术'], ['技术'], ['技术']], [['运用', '于'], ['运用', '于'], ['运用', '于'], ['运用于']], [['空调'], ['空调'], ['空调'], ['空调']], [['包装件'], ['包装件'], ['包装件'], ['包装', '件']], [['的'], ['的'], ['的'], ['的']], [['静态堆码'], ['静态', '堆码'], ['静态', '堆码'], ['静态', '堆码']], [['和'], ['和'], ['和'], ['和']], [['跌落'], ['跌落'], ['跌落'], ['跌落']], [['冲击'], ['冲击'], ['冲击'], ['冲击']], [['性能'], ['性能'], ['性能'], ['性能']], [['分析'], ['分析'], ['分析'], ['分析']], [['和'], ['和'], ['和'], ['和']], [['优化', '设计'], ['优化', '设计'], ['优化', '设计'], ['优化设计']], [['中。'], ['中', '。'], ['中', '。'], ['中', '。']], [['方法'], ['方法'], ['方法'], ['方法']], [['运用'], ['运用'], ['运用'], ['运用']], [['有限元分析软件'], ['有限', '元', '分析', '软件'], ['有', '限元', '分析', '软件'], ['有限元', '分析', '软件']], [[','], [','], [','], [',']], [['建立'], ['建立'], ['建立'], ['建立']], [['空调'], ['空调'], ['空调'], ['空调']], [['、'], ['、'], ['、'], ['、']], [['缓冲'], ['缓冲'], ['缓冲'], ['缓冲']], [['衬垫'], ['衬垫'], ['衬垫'], ['衬垫']], [['的'], ['的'], ['的'], ['的']], [['有限元模型。'], ['有限', '元', '模型', '。'], ['有', '限元', '模型', '。'], ['有限元', '模型', '。']] ]

算法代码

new_methods_lst_lst=[<上面的数据>] "合并多种方法的分词->分块" methods_num=len(new_methods_lst_lst) position_results = []#[[] for i in range(methods_num)] methods_position_len_rec=[0]*methods_num #各种方法的临时位置 tmp_len=0 #字符串连接的长度 count=0 #方法个数的计数 rec=0 #第几种方法 while True: which_methhod_token=new_methods_lst_lst[rec] for i in range(len(which_methhod_token)): split_len=len("".join(which_methhod_token[:i + 1])) if split_len==tmp_len: methods_position_len_rec[rec]=i break elif split_len>tmp_len: tmp_len = split_len methods_position_len_rec[rec] = i count = 0 break rec+=1 if rec==methods_num: rec=0 count+=1 if count==methods_num: z=[] for i in range(methods_num): z.append(new_methods_lst_lst[i][:methods_position_len_rec[i]+1]) new_methods_lst_lst[i]=new_methods_lst_lst[i][methods_position_len_rec[i]+1:] position_results.append(z) tmp_len=0 if not all(new_methods_lst_lst): break count=0 print("结果",position_results)

结语

实际情况超级难或者超级麻烦，这里用循环的方式暂时解决这个问题，这代码是我写的第二个版本，第一个版本写得更复杂，这个版本基于第一个版本的优化。不过还有个递归实现的想法不清楚能不能实现。