首页 > 代码库 > 切分训练数据
切分训练数据
切分的数据的格式如下：
"好 吧 、 谢谢 啊 ！","你好 咱们 这个 机器人 有 收费 版本 没 ？ 要个 功能 全面 点 的 。",0 "好 的 麻烦 你 了","可以 使唤 机器人 踢 人 出群 吗",0 "怎么 艾特 机器人 投诉 ？","噢 ， 谢谢",0 "怎么 修改 聊天 助手 回复 @ 它 是 谁 的 内容 。","你好 ， 定制 机器人 怎么弄 ？",0 "你好 我 给 群 里加 个 助手 ， 怎么 没 通过 啊 ？","怎么 订阅",0 "你好 需要 转回 群主","机器人 咋 不 工作 都 设置 了 。 没 反应 咋",0 "北京 今天天气 怎样 ?","好 . 成功 了 谢谢",0 "好 . 成功 了 谢谢","怎么 机器人 聊天 功能 没有 生效 开启 了 咨询服务",0 "北京 今天天气 怎样 ?","好 的 谢谢",0 "好 的 ， 谢谢 你 成功 后 怎么 设置 自动 回复 ， 有人 加入 就 发 信息 呀","你好 ，",0 "怎么 修改 聊天 助手 回复 @ 它 是 谁 的 内容 。","好 啊",0 "萌萌 你好","好 的 ， 谢谢 你 成功 后 怎么 设置 自动 回复 ， 有人 加入 就 发 信息 呀",0 "你好 需要 转回 群主","有人 吗",0 "嗯 嗯 好 的 谢谢","哦 哦 我 试试看",0 "怎么 艾特 机器人 投诉 ？","哦 哦 我 试试看",0
python代码
f=open(‘/home/xingyuzhou/Downloads/scen_train_sim.csv‘) while True: line=f.readline() if line==None: break a=line.split(‘",‘) if len(a) >= 3: print(line) b=a[0][1:] #print(b) fl1=open(‘/home/xingyuzhou/Desktop/a.txt‘,‘a‘) fl1.write(b + ‘\n‘) c=a[1][1:] print(c) fl2=open(‘/home/xingyuzhou/Desktop/b.txt‘,‘a‘) fl2.write(c + ‘\n‘) d=a[2][:1] fl3=open(‘/home/xingyuzhou/Desktop/sim.txt‘,‘a‘) fl3.write(d + ‘\n‘)
如果没有if len(a) >= 3，就会报错，因为有些行可能分割出来不够b，c，d三个。
中间调试过程中不断添加print语句，这样能看见到底哪里出错，注意这种调试的方法。
Context,Ground Truth,Distractor_0,Distractor_1,Distractor_2,Distractor_3,Distractor_4,Distractor_5,Distractor_6,Distractor_7,Distractor_8 "天津 天气 如何","今天 武汉 的 天气 怎样 ?","好 吧","好 . 成功 了 谢谢","怎么 添加 官方 机器人","我 的 机器人 不好 使 了","在 吗 ？","嗯 嗯 好 的 谢谢","恩恩 怎么 看 统计 呢","谢谢 亲","在" "天津 天气 如何","北京 今天天气 怎样 ?","好 的 ， 谢谢 你 成功 后 怎么 设置 自动 回复 ， 有人 加入 就 发 信息 呀","小涛 要 怎样 才 可以 拉 进群","你好 ， 定制 机器人 怎么弄 ？","你 这 是 什么 有 什么 功能 怎么 用","怎么 购买 机器人","好 的 ， 谢谢 你 成功 后 怎么 设置 自动 回复 ， 有人 加入 就 发 信息 呀","在 吗 我 机器人 在 群里 一天 就 没有 用 了 然后 我 重新 关注 公众 号 现在 机器人 进不了 群","怎么 换 头像 呀","天气 ?" "天津 天气 如何","北京 天气 怎么样 ?","怎么 换 头像 呀","哦 谢谢","怎么 艾特 机器人 投诉 ？","在 吗","好 的 ， 谢谢 你","怎么 创建","好 啊","你 这 是 什么 有 什么 功能 怎么 用","你好" "天津 天气 如何","天气 ?","怎么 换 头像 呀","怎么 添加 机器人","好 的 ， 谢谢 你","好 吧 希望 快 一点 呢","好 我先 试试","知道 了 麻烦 尽快 哦 谢谢","哦 我 试试 谢谢 了 微友 助手 的 公众 号 是 多少","我 的 机器人 不好 使 了","创建 机器人 的 那个 微 信号 还 能 抢红包 吗" "恩好 的","好 的","好 的 ， 谢谢","在 吗 ？","好 的 ， 谢谢","怎么 换 头像 呀","请问 机器人 不 工作 是 怎么回事 的 呢","专用 助手 怎么 用","你好 我 给 群 里加 个 助手 ， 怎么 没 通过 啊 ？","怎么 机器人 聊天 功能 没有 生效 开启 了 咨询服务","定制 机器人 怎么弄 ？" "恩好 的","好 的 ~","在 吗","好 的 ~","怎么 换 头像 呀","怎么 添加 机器人","我 的 微友 小浩 怎么 不 进群","怎么 添加 官方 机器人","好 的 ， 谢谢","好 的 ~","在 么 萌萌" "恩好 的","好 啊","嗯 嗯 明白 谢谢","在 吗 ？","可以 使唤 机器人 踢 人 出群 吗","你好 ， 帮忙 把 群主 转给 我 ， 好 吗","哦 哦 我 试试看","定制 机器人 怎么弄 ？","好 的 我 试试","好 的 ， 谢谢 你 成功 后 怎么 设置 自动 回复 ， 有人 加入 就 发 信息 呀","在 吗 我 机器人 在 群里 一天 就 没有 用 了 然后 我 重新 关注 公众 号 现在 机器人 进不了 群" "你好 啊","你好","怎么 创建","好 ， 试试 ， 谢谢 ！","在 不 在 啊","在 吗 ？","踢 人 失败 是 怎么回事","好 ， 试试 ， 谢谢 ！","踢 人 失败 是 怎么回事","怎么 拉小涛 进群","好 的 我 试试看" "你好 啊","你好 ，","哦 我 试试 谢谢 了 微友 助手 的 公众 号 是 多少","天气 ?","好 的 谢谢","怎么 添加 官方 机器人","专用 助手 怎么 用","在 吗","怎么 添加 专属 机器人 呢 ？","你好 … 我 的 微信 机器 助手 为什么 不 可以 使用 了 ？ 有 什么 解决方案 吗","怎么 订阅" "你好 啊","萌萌 你好","恩恩 怎么 看 统计 呢","可以 使唤 机器人 踢 人 出群 吗","好 . 成功 了 谢谢","机器人 咋 不 工作 都 设置 了 。 没 反应 咋","怎么 添加 机器人","哦 谢谢","我 的 微友 小浩 怎么 不 进群","专用 助手 怎么 用","在 不 在 啊" "把 小黑 拉 进群","小涛 要 怎样 才 可以 拉 进群","在","天气 ?","你好 ， 帮忙 把 群主 转给 我 ， 好 吗","怎么 订阅","我 的 微友 小浩 怎么 不 进群","好 吧","哦 哦 我 试试看","谢谢 你","小涛 要 怎样 才 可以 拉 进群"
上面是测试集的数据，也需要分割，可以看到出有的一组数据是一行，有的占两行。对于有两行的，如果用readline读出来难道也要分成两行吗？实际上并不是，出来的结果是一组对应一行。为什么占两行那几组也能按一行去读取数据呢？实际上，你所看到的两行是因为屏幕不够大或者编辑器的宽度不够大，导致视觉上分成两行，但这两行之间并没有出现换行符’\n‘。readline读取每一行不是按照视觉上的一行一行读取，而是根据换行符确定这一行结束。
以下为分割代码：
f=open(‘/home/xbwang/Desktop/scen_test_sim.csv‘,‘r‘) while True: line=f.readline() if line==None: break a=line.split(‘","‘) if len(a) >= 11: con=a[0][1:] fl1=open(‘/home/xbwang/Desktop/aa1.txt‘,‘a‘) fl1.write(con + ‘\n‘) gt=a[1] fl2=open(‘/home/xbwang/Desktop/aa2.txt‘,‘a‘) fl2.write(gt + ‘\n‘) d0=a[2] fl2=open(‘/home/xbwang/Desktop/aa2.txt‘,‘a‘) fl2.write(d0 + ‘\n‘) d1=a[3] fl2=open(‘/home/xbwang/Desktop/aa2.txt‘,‘a‘) fl2.write(d1 + ‘\n‘) d2=a[4] fl2=open(‘/home/xbwang/Desktop/aa2.txt‘,‘a‘) fl2.write(d2 + ‘\n‘) d3=a[5] fl2=open(‘/home/xbwang/Desktop/aa2.txt‘,‘a‘) fl2.write(d3 + ‘\n‘) d4=a[6] fl2=open(‘/home/xbwang/Desktop/aa2.txt‘,‘a‘) fl2.write(d4 + ‘\n‘) d5=a[7] fl2=open(‘/home/xbwang/Desktop/aa2.txt‘,‘a‘) fl2.write(d5 + ‘\n‘) d6=a[8] fl2=open(‘/home/xbwang/Desktop/aa2.txt‘,‘a‘) fl2.write(d6 + ‘\n‘) d7=a[9] fl2=open(‘/home/xbwang/Desktop/aa2.txt‘,‘a‘) fl2.write(d7 + ‘\n‘) d8=a[10][:-1] fl2=open(‘/home/xbwang/Desktop/aa2.txt‘,‘a‘) fl2.write(d8 + ‘\n‘)
切分训练数据
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。