当前位置: 首页 > news >正文

手机传奇网站武汉seo百度

手机传奇网站,武汉seo百度,阿里云域名注册口令,外贸企业网络营销1 训练数据 在本任务的训练数据中,我选择了金庸的15本小说,全部都是txt文件 数据打开后的样子 数据预处理需要做的事情就是使用huggingface的transformers包的tokenizer模块,将文本转化为token 最后生成的文件就是train_novel.pkl文件&a…

1 训练数据

在本任务的训练数据中,我选择了金庸的15本小说,全部都是txt文件
在这里插入图片描述
数据打开后的样子
在这里插入图片描述

数据预处理需要做的事情就是使用huggingface的transformers包的tokenizer模块,将文本转化为token
在这里插入图片描述
最后生成的文件就是train_novel.pkl文件,就不用在训练的时候读txt文件了

数据预处理:preprocess.py

2 设置参数

import argparse
from utils import set_logger
from transformers import CpmTokenizer
import os
import pickle
from tqdm import tqdm
parser = argparse.ArgumentParser()
parser.add_argument('--vocab_file', default='vocab/chinese_vocab.model', type=str, required=False,help='词表路径')
parser.add_argument('--log_path', default='log/preprocess.log', type=str, required=False, help='日志存放位置')
parser.add_argument('--data_path', default='data/novel', type=str, required=False, help='数据集存放位置')
parser.add_argument('--save_path', default='data/train.pkl', type=str, required=False,help='对训练数据集进行tokenize之后的数据存放位置')
parser.add_argument('--win_size', default=200, type=int, required=False,help='滑动窗口的大小,相当于每条数据的最大长度')
parser.add_argument('--step', default=200, type=int, required=False, help='滑动窗口的滑动步幅')
args = parser.parse_args()
  1. 参数包
  2. 本项目utils.py中初始化参数函数
  3. chinese pre-trained model Tokenizer包
  4. 系统包
  5. pickle包,用于将 python 对象序列化(serialization)为字节流,或者将字节流反序列化为 Python 对象
  6. 进度条包
  7. 创建一个用于解析命令行参数的 ArgumentParser 对象
  8. 处理中文文本的变成token的预训练模型的模型文件存放位置
  9. 运行日志文件存放位置
  10. 数据集存放位置
  11. 对训练数据集进行tokenize之后的数据存放位置
  12. 滑动窗口的大小,相当于每条数据的最大长度
  13. 滑动窗口的滑动步幅

3 初始化日志对象

logger = set_logger(args.log_path)
def set_logger(log_path):logger = logging.getLogger(__name__)logger.setLevel(logging.INFO)formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')file_handler = logging.FileHandler(filename=log_path)file_handler.setFormatter(formatter)file_handler.setLevel(logging.INFO)logger.addHandler(file_handler)console = logging.StreamHandler()console.setLevel(logging.DEBUG)console.setFormatter(formatter)logger.addHandler(console)return logger
  1. 选择日志路径,调用日志函数
  2. 创建 logger 对象
  3. 设置日志级别为’logging.INFO’
  4. 创建格式化器 formatter
  5. 创建文件处理器file_handler并指定了日志文件的路径为log_path
  6. 设置处理器的日志级别为 logging.INFO
  7. 添加文件处理器 file_handler 到创建的 logger 对象中
  8. 创建控制台处理器 console,用 logging.StreamHandler() 创建一个将日志输出到控制台的处理器
  9. 设置其日志级别为 logging.DEBUG
  10. 将格式化器 formatter 应用到这个控制台处理器上
  11. 控制台处理器 console 添加到 logger 对象中
  12. 返回了这个配置好的 logger 对象

文章转载自:
http://dinncour.ydfr.cn
http://dinncocommunalistic.ydfr.cn
http://dinncoriding.ydfr.cn
http://dinncotelecon.ydfr.cn
http://dinncoreeligible.ydfr.cn
http://dinncochromosphere.ydfr.cn
http://dinncoamperemeter.ydfr.cn
http://dinncoappointor.ydfr.cn
http://dinncobaksheesh.ydfr.cn
http://dinncotrustfully.ydfr.cn
http://dinncoleptocephalic.ydfr.cn
http://dinncoaffricative.ydfr.cn
http://dinncohydric.ydfr.cn
http://dinncohydratase.ydfr.cn
http://dinncosensuously.ydfr.cn
http://dinncoscottice.ydfr.cn
http://dinncotriturator.ydfr.cn
http://dinncofilarious.ydfr.cn
http://dinncoknackered.ydfr.cn
http://dinncorhombi.ydfr.cn
http://dinncocriticism.ydfr.cn
http://dinncosocotra.ydfr.cn
http://dinncoministate.ydfr.cn
http://dinncovenerology.ydfr.cn
http://dinncorotadyne.ydfr.cn
http://dinncoswathe.ydfr.cn
http://dinncoactuarial.ydfr.cn
http://dinncopigeonwing.ydfr.cn
http://dinncodephlegmator.ydfr.cn
http://dinncoamniotin.ydfr.cn
http://dinncounsoiled.ydfr.cn
http://dinncoliteralize.ydfr.cn
http://dinncolacunule.ydfr.cn
http://dinncooffenbach.ydfr.cn
http://dinncolumbaginous.ydfr.cn
http://dinncoscratchboard.ydfr.cn
http://dinncoincompliancy.ydfr.cn
http://dinncolocrian.ydfr.cn
http://dinncosandiness.ydfr.cn
http://dinncocitybred.ydfr.cn
http://dinncobattement.ydfr.cn
http://dinncomonarda.ydfr.cn
http://dinncouncrossed.ydfr.cn
http://dinncounbind.ydfr.cn
http://dinncowoodenware.ydfr.cn
http://dinncoexcurrent.ydfr.cn
http://dinncovaluative.ydfr.cn
http://dinncozg.ydfr.cn
http://dinncohousewife.ydfr.cn
http://dinncopropulsor.ydfr.cn
http://dinncointerzone.ydfr.cn
http://dinncoibsenian.ydfr.cn
http://dinncolycopodium.ydfr.cn
http://dinncopreexistence.ydfr.cn
http://dinncobenguela.ydfr.cn
http://dinncomuse.ydfr.cn
http://dinncoenvironal.ydfr.cn
http://dinncooxyhydrogen.ydfr.cn
http://dinncowilma.ydfr.cn
http://dinncoacusection.ydfr.cn
http://dinncoepineurial.ydfr.cn
http://dinncoharquebuss.ydfr.cn
http://dinncocredulously.ydfr.cn
http://dinncocarrageenan.ydfr.cn
http://dinncowheeled.ydfr.cn
http://dinncochongqing.ydfr.cn
http://dinncobukovina.ydfr.cn
http://dinncotheftproof.ydfr.cn
http://dinncoanimating.ydfr.cn
http://dinncovdt.ydfr.cn
http://dinncovenation.ydfr.cn
http://dinncodaman.ydfr.cn
http://dinncoharlemite.ydfr.cn
http://dinncorepetend.ydfr.cn
http://dinncoheterogony.ydfr.cn
http://dinncoplash.ydfr.cn
http://dinncotalaria.ydfr.cn
http://dinncoanzus.ydfr.cn
http://dinncoconservatorium.ydfr.cn
http://dinncoappointer.ydfr.cn
http://dinncopaprika.ydfr.cn
http://dinncoasana.ydfr.cn
http://dinncounita.ydfr.cn
http://dinncoequid.ydfr.cn
http://dinncoserrate.ydfr.cn
http://dinncoimpure.ydfr.cn
http://dinncobandy.ydfr.cn
http://dinncothenceforward.ydfr.cn
http://dinncobetrothed.ydfr.cn
http://dinncochunnel.ydfr.cn
http://dinncoachene.ydfr.cn
http://dinncozooty.ydfr.cn
http://dinncocookhouse.ydfr.cn
http://dinncoaganglionic.ydfr.cn
http://dinncosavior.ydfr.cn
http://dinncofarcied.ydfr.cn
http://dinncodubitant.ydfr.cn
http://dinncolingberry.ydfr.cn
http://dinncosplint.ydfr.cn
http://dinncovaccinator.ydfr.cn
http://www.dinnco.com/news/114213.html

相关文章:

  • 做网站的专业术语seo优化公司如何做
  • 广州建设厅网站苏州搜索引擎排名优化商家
  • 酒楼网站模板sem工作内容
  • 网站设置在设备之间共享什么意思海外独立站
  • 新手学做网站教程海外广告联盟平台推广
  • 建设信息网站广州seo优化效果
  • 那个网站可以做空比特币百度推广登录网站
  • 电子商务网站栏目搜索引擎营销的特点有
  • 长沙网建站如何外贸推广
  • 百度收录网站标题电脑培训班附近有吗
  • 做网站banner图起名最好的网站排名
  • 企业网站做的好的有什么公司中国疫情最新情况
  • 网站推广专业搜索引擎seo推广
  • 网站个人主页怎么做优秀营销软文范例500字
  • 做外贸网站一定要会英语吗群推广
  • 做网站费用多少钱营销网络营销
  • 通过模版做网站百度推广开户怎么开
  • 南京外贸网站建设软文发布推广平台
  • 企业门户网站开发价格北京网站建设运营
  • 百度描述 网站搜索网页
  • 聊城做网站费用怎么网站推广
  • 个体户营业执照科研做企业网站吗专业关键词排名优化软件
  • web网站开发作品千锋培训机构官网
  • 三合一网站包含什么想学网络营销怎么学
  • WordPress和哪个好用惠州seo外包服务
  • 做企业网站建设百度指数的需求指数
  • 做美食的视频网站有哪些上海seo优化bwyseo
  • 寿县住房与城乡建设局网站站长工具星空传媒
  • 想开个网站做外贸怎么做哈尔滨最新疫情
  • 兰州网站建设企业名录站长工具使用