数据集相关问题

[hackerchenzhuo]

同学你好：

请问这个链接里面的数据集是全量数据集么？包括QA和KG？里面我好像只看到了WebQSP，请问论文中提到的CWQ和MetaQA的数据集在哪里获取呢？
https://drive.google.com/u/0/uc?id=1plbFei-BvtcurgTNhHcrjD1N71t_5LVT

论文中提到:

For MetaQA, we directly use the subset of WikiMovies provided by the datasets, and the size is about
134,741 ... the size of KG we used is 147,748,092 for WebQSP and 202,358,414 for CWQ.

这里的size是指三元组数量嘛？请问能否提供相关的实体/关系数量统计信息呢？

非常感谢！@JBoRu

[JBoRu]

陈博:
你好，感谢关注：
（1）cwq和metaqa预处理后的数据太大，我一直没找到合适的方式共享，因此，我计划整理预处理代码和原始KG，同行可以运行后得到预处理完成的数据。不过最近赶DDL，我暂时没有时间去整理，我会在月底完成相关更新，请持续关注。
（2）size是指的三元组，我们使用freebase原始KG，然后针对webqsp和cwq数据集所涉及的实体，分别抽取其四跳范围所有的实体，得到对应的初始KG。
数据集 | 实体 | 关系
webqsp | 41135320 | 21071
cwq | 53071179 | 22414

[hackerchenzhuo]

感谢回复！很理解你们赶DDL的忙碌。
不过size是指的三元组的话，我看好像

For MetaQA, we directly use the subset of WikiMovies provided by the datasets, and the size is about
134,741

这部分数据似乎规模不是很大？请问可以先提供这部分 MetaQA抽取之后的三元组和QA数据嘛。还是说我理解错了 MetaQA的数据规模？@JBoRu

祝好

[JBoRu]

对的， MetaQA数据集提供的KG就是这么大。
没问题，你是想要直接能跑通代码的相关数据，还是原始数据。

[hackerchenzhuo]

对的， MetaQA数据集提供的KG就是这么大。 没问题，你是想要直接能跑通代码的相关数据，还是原始数据。

非常感谢。如果方便的话，所有MetaQA抽取之后的三元组和QA相关数据就行。the subset of WikiMovies provided by the datasets 里面的 subset+ 论文提到的Q&A pair，百度云即可。

此外我不太清楚你这里提到的原始数据是指什么，总之，WikiMovies全集我应该暂时是不需要的。

再次感谢

[hackerchenzhuo]

@JBoRu 同学请问你们那边反馈如何呢？

[JBoRu]

抱歉，最近太忙了，这周末吧。

…

---原始邮件--- 发件人: "Zhuo ***@***.***> 发送时间: 2023年6月8日(周四) 晚上8:49 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [JBoRu/UniKGQA] 数据集相关问题 (Issue #3) @JBoRu 同学请问你们那边反馈如何呢？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[hackerchenzhuo]

噢噢噢好滴麻烦啦

抱歉，最近太忙了，这周末吧

[JBoRu]

抱歉，久等了，我已经把metaqa需要的相关数据都整理打包上传到google drive了，您可以看看，如有问题，请再联系我。

[HelloWorld4747]

作者您好，想问一下就是现在pre-training step的所有download preprocessed data的连接似乎都是invalid的，所以现在我们如果想获取这部分的数据只能是先把pre-training的步骤给全部run出来吗？

期待任何回复！感恩！