GPTs Store 推荐的学术类应用,效果怎么样?

(注:本文为小报童精选文章,已订阅小报童或加入知识星球「玉树芝兰」用户请勿重复付费

哪些 GPTs ,会令我们眼前一亮?

763fcda752f4ac0df6453f8327f2d116.jpeg

最近 GPTs Store 已经正式发布,提供了推荐应用和各分类板块目前的热门趋势。

3c725ba888065312f3eae75099c6ea0b.jpeg

我们注意到,Consensus 这个应用目前非常受欢迎。

6e8956956d721b428f5f866a20855d04.jpeg

在学术研究领域 GPTs,它的热度排名第一。除此以外,这个板块还有不少其他应用,看介绍都很吸引人。

af955cc40e3b8e1ab90a7671bebfed31.jpeg

我们发现,有些应用,例如 Scholar AI,我们之前在教程中已经见过。但也有许多是我们从未尝试过的。这个官方商店的推出,使我们能够更加迅速了解哪些应用当前最受用户青睐,有机会尝试它们。

下面本文就从以下方面,来对榜单上的部分学术类 GPTs 进行测试:

  • 文献搜寻

  • 文献分析

  • 多文档综合

文献搜寻

我们注意到一个有意思的点,这里的几个跟文献搜寻相关的应用都标有 “200M” 字样,这是什么意思呢?

401fa88bce72156b2b21ebdef3065d1a.jpeg

原来它们能够搜索超过两亿篇文献,这是个相当庞大的数字。更有趣的是,好几个 GPTs 的检索文献数据量级都是一样的,这似乎说明它们的数据源大致相同,包括但不限于 Google Scholar、PubMed、JSTOR 和 Archive 等,多数是免费的资源。

我们首先尝试使用 Consensus GPT,来看看它在文献综述方面的效果如何。

8f6af3b6196b12aacd90836a3502c2d9.jpeg

我点开了 Consensus 这个应用,首先询问它能做什么。看它自己怎么说。

1e6e2b4ab53ceb9d3b63d34ae61bf392.jpeg

Consensus 给出的回答是,它能够基于现有的研究证据来回答问题,还能针对特定的方向或主题编写内容,进行定制化研究,以及做出总结和归纳。

于是,我用一个问题来测试它的文献检索和综合回顾能力:

GPT-4 在学术界的广泛应用会引发哪些问题和挑战?

1b30770a5194336453061c7ed2047f09.jpeg

它给出的答案让我很失望。

a8338ff21431b390f41140b6db56083d.jpeg

Consensus 回答说没有找到关于 GPT-4 在研究领域应用带来的挑战和问题的相关文献。

7b0df640b4ef98af3fbd8fd9e03dd2ac.jpeg

由于查不到文献,Consensus 的回答主要基于 GPT-4 的记忆库,而且没有提供引用,这让我觉得不够满意。尽管 Consensus 解释了原因,但我知道确实存在这样的文献。

为了证实猜想,我用英文提出了同样的问题,只是将提问词汇换成了英文。

What problems and challenges will the widespread use of GPT-4 in the academic community bring?

7ddbb91c23ab8fdad90a0d600f89a6ad.gif

从上面这个动图中可以看到,GPT 首先与 Consensus.app 网站建立了通讯,然后返回了一系列的结果。这就是 GPTs 调用 action 的典型过程。这次只不过换了英文提示词,结果却之前的中文提示词完全不同,有了引用。这些引用的格式都符合学术标准,并且还提供了相关的链接供我们查阅。

0da8d38c2961d7595fc13484d866ca44.jpeg

Consensus 这个输出显示了 5 篇不同的文献。但我有些疑惑 —— 如果你仔细看看它给出的这些文献的发表年份,就会发现问题。

GPT-4 是 2023 年 3 月发布的,因此研究它的文献应该在这个时间之后。但实际情况是,Consensus 给出的前四个文献,最新的也只到 2022 年,最早的发表时间甚至到了 2010 年 —— 那时与 GPT-4 完全无关,显然是答非所问。

唯一的例外是第五个,Consensus 确实找到了一篇 2023 年的文献,这让我挺高兴的。

4fd8df360c9d63a71ee19590b82675c6.jpeg

但当我点开看时,我发现这是 2023 年 2 月 15 日的文章。遗憾的是,这个时间点仍然在 GPT-4 发布之前。

3fd20b7075c8e13546f567d1ce91b703.jpeg

因此,我认为尽管 Consensus 这款应用在 GPTs Store 的多个榜单上都名列前茅,但实际用它来进行科研文献搜索时,还是存在一些信息陈旧之类的显著问题。

接下来我们测试的是同样出现在当前科学研究榜单中的 Scholar GPT,这款应用也声称能检索超过 2 亿条相关资源。我们来看看它的表现如何。