pytorch-bert实现简单问答系统

1.前言

注意区分两种BertForQuestionAnswering导入方式，上面一个是tensorflow，下面一个才是pytorch，反正我用第一种导入方式来加载模型时会报错。用pytorch的朋友，最好用第二种。

from transformers import BertForQuestionAnswering from pytorch_pretrained_bert import BertForQuestionAnswering

2. 下载模型

2.1 模型下载地址：

bert模型 进入这个网页后，大家可以自行下载不同的模型，我下载的是：BERT-Base, Uncased: 12-layer, 768-hidden, 12-head, 110M parameters 我的保存路径是：K:\码云\yu-ling-QuestionAnswerBot-master\uncased_L-12_H-768_A-12\uncased_L-12_H-768_A-12 (记住这个路径，后面会涉及到它） 下载完后，解压，将会看到 5 个 文件：如下图

2.2 模型转化

上图这5个模型还不能直接被pytorch拿来使用，必须先进行转化，代码如下：

import shutil # 用来复制文件 from pytorch_pretrained_bert import convert_tf_checkpoint_to_pytorch BERT_MODEL_PATH = r'K:\码云\yu-ling-QuestionAnswerBot-master\uncased_L-12_H-768_A-12\uncased_L-12_H-768_A-12/'" # 注意文件路径 WORK_DIR = r"K:\码云\yu-ling-QuestionAnswerBot-master\uncased_L_12" # 转化后模型想要保存的路径，可以自定义 if __name__ == "__main__": convert_tf_checkpoint_to_pytorch.convert_tf_checkpoint_to_pytorch( BERT_MODEL_PATH + "bert_model.ckpt", BERT_MODEL_PATH + "bert_config.json", WORK_DIR + r'\pytorch_model.bin', ## pytorch_model.bin 是我们最终想要的模型 ) shutil.copyfile(BERT_MODEL_PATH + 'bert_config.json', WORK_DIR + r'\bert_config.json') # 把原来的'bert_config.json'文件拷贝到自定义目录下 shutil.copyfile(BERT_MODEL_PATH + 'vocab.txt', WORK_DIR + r'\vocab.txt') # 把原来的'vocab.txt'文件拷贝到自定义目录下

执行完上述代码可以发现自定义目录下有了3个我们最终想要的模型：

3. 问答demo

import torch import os from transformers import BertTokenizer # 这个要从 transformers 导入 from pytorch_pretrained_bert import BertForQuestionAnswering # 从pytorch导入 bert_path = r"K:\码云\yu-ling-QuestionAnswerBot-master\uncased_L_12" ## 上面我们自定义的保留最后3个模型的路径 model = BertForQuestionAnswering.from_pretrained(bert_path) tokenizer = BertTokenizer.from_pretrained(bert_path) question, doc = "Who is Lyon" , "Lyon is a killer" encoding = tokenizer.encode_plus(text = question，text_pair = doc, verbose=False) inputs = encoding['input_ids'] #Token embeddings sentence_embedding = encoding['token_type_ids'] #Segment embeddings tokens = tokenizer.convert_ids_to_tokens(inputs) #input tokens print("tokens: ", tokens) >>>>>>> tokens: ['[CLS]', 'who', 'is', 'lyon', '[SEP]', 'lyon', 'is', 'a', 'killer', '[SEP]'] start_scores, end_scores = model(input_ids=torch.tensor([inputs]), token_type_ids=torch.tensor([sentence_embedding])) start_index = torch.argmax(start_scores) end_index = torch.argmax(end_scores) #print("start_index:%d, end_index %d"%(start_index, end_index)) answer = ' '.join(tokens[start_index:end_index + 1]) print(answer) # 每次执行的结果不一致，这里因为模型没有经过训练，所以效果不好，输出结果不佳

4.总结

这篇文章只是为了记录如何在pytorch中跑通问答demo，后面训练过程可以在这个基础上进行优化 ><