关于CWQ数据集

[luojintao]

您好，请问您能分享CWQ数据集相关的数据吗？非常感谢！

[codefreshman1024]

你好，你复现成功了吗，另外两个数据集怎么操作呀

[crooooked]

我也想求一个cwq数据集，自己按照NSM那样处理太慢了

[crooooked]

你好，你复现成功了吗，另外两个数据集怎么操作呀

metaqa的在# 2 issue下。作者有贴一个链接。

[HelloWorld4747]

你好，你复现成功了吗，另外两个数据集怎么操作呀

metaqa的在# 2 issue下。作者有贴一个链接。

您好，请问您成功复现了吗？我现在卡在pretraining的步骤，原因是缺少这个文件“all_data.jsonl”. 想问问您是否有遇到一样的情况？

[crooooked]

你好，你复现成功了吗，另外两个数据集怎么操作呀

metaqa的在# 2 issue下。作者有贴一个链接。

您好，请问您成功复现了吗？我现在卡在pretraining的步骤，原因是缺少这个文件“all_data.jsonl”. 想问问您是否有遇到一样的情况？

我之前复现成功过，但是这个项目没有继续下去了。我记得好像是有出现过all_data.jsonl的问题，我记不太清楚怎么操作了，好像是我手动把所有数据加到了一个文件夹命名成这个文件名的。你仔细理解下代码，这个问题应该不大。

[HelloWorld4747]

你好，你复现成功了吗，另外两个数据集怎么操作呀

metaqa的在# 2 issue下。作者有贴一个链接。

您好，请问您成功复现了吗？我现在卡在pretraining的步骤，原因是缺少这个文件“all_data.jsonl”. 想问问您是否有遇到一样的情况？

我之前复现成功过，但是这个项目没有继续下去了。我记得好像是有出现过all_data.jsonl的问题，我记不太清楚怎么操作了，好像是我手动把所有数据加到了一个文件夹命名成这个文件名的。你仔细理解下代码，这个问题应该不大。

wow!! 非常感谢您的回复！我可以问一下您，就是您还记得当时您复现成功的dataset用的是哪个呀？还有就是，您需要跑preprocessing step吗？还是直接用了作者子在Proprocess/readme.md给出的下载link (https://drive.google.com/file/d/1plbFei-BvtcurgTNhHcrjD1N71t_5LVT/view) 下载了作者说的pre-processed data, 这些data需要跑preparing the kg这个step吗？如果要跑的话, 您知道哪里可以获得这个文件webqsp_step0_test.json吗? (就是这个issue) 如果您是直接跑了pre-training的step, 想问问您是把哪几个数据加到all_data.jsonl的呀？

不论您是否还记得以上的任何detail都非常感谢您的回复啦！
谢谢！

[crooooked]

你好，你复现成功了吗，另外两个数据集怎么操作呀

metaqa的在# 2 issue下。作者有贴一个链接。

您好，请问您成功复现了吗？我现在卡在pretraining的步骤，原因是缺少这个文件“all_data.jsonl”. 想问问您是否有遇到一样的情况？

我之前复现成功过，但是这个项目没有继续下去了。我记得好像是有出现过all_data.jsonl的问题，我记不太清楚怎么操作了，好像是我手动把所有数据加到了一个文件夹命名成这个文件名的。你仔细理解下代码，这个问题应该不大。

wow!! 非常感谢您的回复！我可以问一下您，就是您还记得当时您复现成功的dataset用的是哪个呀？还有就是，您需要跑preprocessing step吗？还是直接用了作者子在_Proprocess/readme.md_给出的下载link (https://drive.google.com/file/d/1plbFei-BvtcurgTNhHcrjD1N71t_5LVT/view) 下载了作者说的pre-processed data, 这些data需要跑preparing the kg这个step吗？如果要跑的话, 您知道哪里可以获得这个文件_webqsp_step0_test.json_吗? (就是这个issue) 如果您是直接跑了pre-training的step, 想问问您是把哪几个数据加到all_data.jsonl的呀？

不论您是否还记得以上的任何detail都非常感谢您的回复啦！ 谢谢！

我复现的是webqsp数据集。用的是link里面给的数据。这些data不需要跑preparing the kg这个step，这个step很耗时间，是另外一份代码NSM项目里的一部分数据预处理的工作，本项目借用了该份代码。
由于这个项目是我去年复现的了，源文件也被删掉了，所以记不太清了。all_data.jsonl应该是中间处理的一些文件train,dev,test加在一起的，具体是哪些中间结果文件我实在记不清了。我只记得我当时复现这份代码的时候，中间出过好些问题，比较繁琐。

[HelloWorld4747]

你好，你复现成功了吗，另外两个数据集怎么操作呀

metaqa的在# 2 issue下。作者有贴一个链接。

您好，请问您成功复现了吗？我现在卡在pretraining的步骤，原因是缺少这个文件“all_data.jsonl”. 想问问您是否有遇到一样的情况？

我之前复现成功过，但是这个项目没有继续下去了。我记得好像是有出现过all_data.jsonl的问题，我记不太清楚怎么操作了，好像是我手动把所有数据加到了一个文件夹命名成这个文件名的。你仔细理解下代码，这个问题应该不大。

wow!! 非常感谢您的回复！我可以问一下您，就是您还记得当时您复现成功的dataset用的是哪个呀？还有就是，您需要跑preprocessing step吗？还是直接用了作者子在_Proprocess/readme.md_给出的下载link (https://drive.google.com/file/d/1plbFei-BvtcurgTNhHcrjD1N71t_5LVT/view) 下载了作者说的pre-processed data, 这些data需要跑preparing the kg这个step吗？如果要跑的话, 您知道哪里可以获得这个文件_webqsp_step0_test.json_吗? (就是这个issue) 如果您是直接跑了pre-training的step, 想问问您是把哪几个数据加到all_data.jsonl的呀？
不论您是否还记得以上的任何detail都非常感谢您的回复啦！ 谢谢！

我复现的是webqsp数据集。用的是link里面给的数据。这些data不需要跑preparing the kg这个step，这个step很耗时间，是另外一份代码NSM项目里的一部分数据预处理的工作，本项目借用了该份代码。 由于这个项目是我去年复现的了，源文件也被删掉了，所以记不太清了。all_data.jsonl应该是中间处理的一些文件train,dev,test加在一起的，具体是哪些中间结果文件我实在记不清了。我只记得我当时复现这份代码的时候，中间出过好些问题，比较繁琐。

好的好的，万分感谢！！

[codefreshman1024]

目前进行到什么程度呢，我是设备太差了点复现太慢了，所以就没有再次进行了
想知道你的进度

[crooooked]

目前进行到什么程度呢，我是设备太差了点复现太慢了，所以就没有再次进行了 想知道你的进度

我这边也是没有进行了。