EMNLP语言技术会议10月26日在布达佩斯举行主会第二天的活动。对于匈牙利开发者及使用语言模型的企业,评估研究结果十分重要,因为通用基准测试分数只能部分反映系统在自身任务中的表现。
官方日程把格雷厄姆·诺伊比格的主题演讲安排在周一15:15至16:15。会议网站列明布达佩斯活动时间为10月24日至29日。本文不提前报道尚未举行的演讲结果或发言内容。
本刊建议,评估匈牙利语客户服务应用时可以提出三个问题:系统使用什么匈牙利语样本接受测试?回答需要多少人工修改?回答失败后能否把事务转交给人工工作人员?样本构成、修改耗时和转交流程是否正常,是不同的观察项目,宜在正式部署之前记录。
本刊的质量管理标准报道讨论流程记录,麻省理工学院演讲报道涉及独立思考。阅读会议材料时,还可以把测试任务的具体定义与这些问题结合起来考察。接下来,与演讲关联且确实可获取的论文和评估数据能够提供进一步证据。本刊于10月26日核实未标注发布日期的日程,不声称在现场参加会议。