论文已发表
注册即可获取德孚的最新动态
IF 收录期刊
ChatGPT、Claude和Bard在近视防控方面的效果比较
Authors Wang Y , Liang L , Li R , Wang Y , Hao C
Received 13 April 2024
Accepted for publication 25 July 2024
Published 13 August 2024 Volume 2024:17 Pages 3917—3929
DOI https://doi.org/10.2147/JMDH.S473680
Checked for plagiarism Yes
Review by Single anonymous peer review
Peer reviewer comments 2
Editor who approved publication: Dr Scott Fraser
背景:随着近视相关知识需求的与日俱增,公共卫生专业人员的负担日益加重。基于大语言模型的聊天机器人在公共卫生领域应用广泛,能够为近视相关问题提供答案。然而,聊天机器人的回答质量存在争论,特别是在近视防控中的实际表现有待进一步的探究。本研究旨在评价ChatGPT、Claude和Bard这3种著名的聊天机器人在解答近视相关公共卫生问题上的效果。
方法:本研究选取了19个关于近视的公共卫生问题(涵盖防控政策、基础知识和防控措施3个方面),并分别向上述3种聊天机器人进行提问。随后,由4名评分者根据回答的全面性、准确性和相关性对每种聊天机器人的回答进行独立评分。
结果:研究显示,所选问题具有良好的信度。在回答长度上,三种聊天机器人之间存在显著差异,按降序排列为:ChatGPT、Bard和Claude。3种聊天机器人综合得分均超过4分(满分5分),其中ChatGPT在所有评估指标上的平均得分最高。尽管如此,所有聊天机器人在回答中偶尔会出现错误和其他的不足之处。
结论:聊天机器人在公共卫生领域展现出巨大的应用潜力。在比较的3种聊天机器人中,ChatGPT的表现最为出色。因此,未来有必要制定明确的使用和监督规范,并持续进行研究、评估和改进,以确保聊天机器人能更有效地服务于公共卫生领域。
关键词:聊天机器人;大语言模型;公共卫生;近视