PaperOrchestra 生成的论文可以直接投稿吗?

返回
Kevin Riedl

8 分钟 阅读 · 2026年11月16日
最近审核

下一篇
图片在你的设备上生成,不连接 Instagram。文章链接会复制到剪贴板,供链接贴纸使用。

PaperOrchestra 公开了一份论文样稿,其中一行实验结果里的数字个个都能和原文对上。把两张表的表头并排一看,才会发现少了一整列。光核对数字,很容易漏掉这个问题。

PaperOrchestra 是 Google Cloud AI Research 开发的论文写作框架。给它研究思路和已经做完的实验记录,它可以检索文献、绘图、修改草稿,并排成 LaTeX 稿件。能否投稿还要回答两个问题:读者能否根据稿件里的数据判断结论是否成立?目标会议或期刊是否允许这种写作方式?

核查日期为 2026 年 11 月 16 日。我们把一份公开样稿与已发表论文逐项对照,又用另一个案例检查实验记录,并查看了公开代码。下文的耗时和评审结果均来自研究团队,本次核查没有重新运行生成流程。

样稿的结果表漏了什么?

在采用生成图表的 CVPR 样稿中,表 1 少了普通碰撞率。这项研究预测行人的运动轨迹。打开样稿,放大中间一页,找到 Smoothed D-Pool 这一行,再打开原论文《Certified Human Trajectory Prediction》PDF 第 7 页的表 1,比较两张表的列名和数值。查看 CVPR 生成稿 · 查看 Bahari 等人的原文表 1 和表 2

Smoothed D-Pool 的四项指标在原论文表 1 和生成稿表 1 中的对照
Smoothed D-Pool 的指标原论文表 1生成稿表 1
最终位移误差1.23 米1.23 米
经认证的最终位移误差2.0 米2.00 米
碰撞率(Col)9.0%整列缺失
经认证的碰撞率(Certified-Col)49%49%

普通碰撞率为 9.0%,比较的是预测路线和周围行人的实际路线。49% 则指在所有样本中,至少有一名周边行人落入预测路线认证范围内的比例。采用原论文图表的另一份样稿保留了四列。基准数据中的实验记录也按顺序列出了 1.23、2.0、9.0 和 49。下载数据压缩包后,可以用下面的命令直接定位这一行。采用原图表的另一份 CVPR 样稿 · 本次核对使用的数据集版本

unzip -p datasets.zip \
  '*/cvpr2025_5f3288a486/raw_materials/experimental_log.md' | grep 'Smoothed D-Pool'

再看生成图表版的表 2。扩散去噪器处理后剩余的三个噪声值分别是 0.06、0.14 和 0.24,都与原文一致。有了对照,就知道表 1 应补回哪一列。凭这两份样稿,仍然无法判断缺列的原因或发生频率。

PaperOrchestra 写论文需要哪些材料?

先准备研究问题、方法和已有的实验结果。公开的命令行工具需要两个目录:研究材料目录中包含 idea_sparse.md 和 experimental_log.md,模板目录中放目标会议的 LaTeX 模板。命令行默认关闭绘图,可按需开启。命令行源码和输入文件名

大纲智能体先安排论证顺序。文献智能体检索候选论文,通过 Semantic Scholar 核对文献记录。开启绘图后,绘图智能体可以用代码画出统计图。章节写作智能体把各部分编成 LaTeX 稿件,修改智能体依据模拟审稿意见修订文字。如果审稿意见要求补实验,实验仍要由研究者完成。研究团队的流程说明与样稿

检索到一条真实的书目记录,只能帮你找到那篇论文。要确认引文能否支持当前这句话,还得读到对应的段落,核对研究对象、方法和适用范围。对于还在找文献、规划复现的团队,可以参考Feynman 研究智能体评测。

盲评中,生成稿和人类作者的论文相差多少?

11 位人工智能研究者针对抽取的 40 篇论文,完成了 180 次两两盲评。PaperOrchestra 在两项指标上都胜过另外两种自动写作系统,得分却低于人类作者的已发表原稿。作者先按论文汇总评审意见。下表用汇总后的胜出比例减去落败比例,单位为百分点。平局仍计入比较总数,在这项差值中贡献为零。COLM 2026 论文图 7 与附录 E.6

PaperOrchestra 盲评胜出比例减去落败比例,单位为百分点
比较对象文献综述质量稿件整体质量
单智能体写作系统+67.6 个百分点+37.8 个百分点
AI Scientist-v2+50.0 个百分点+13.9 个百分点
已发表的人类作者原稿−37.8 个百分点−75.7 个百分点

PaperWritingBench 选取了 CVPR 2025 和 ICLR 2025 各 100 篇已录用的论文,再根据论文反向整理研究思路和实验结果。即便是简版研究构想,平均也有约 590 个英文单词。

在标准比较中,各系统拿到的都是原论文的图,生成图表的效果另行评估。这项测试衡量的是根据已有证据写论文的能力。要评价能否发现新结果,或有多少生成稿真的被会议录用,需要另做研究。PaperWritingBench 公开数据集

怎样用实验日志核对摘要中的结论?

挑出摘要里范围最大的一句结论,主动找最可能推翻它的那组数据。研究论文附录 D.4 给出了 TSAM 的实验日志。TSAM 根据文字和声音在视频中分割目标物体。CVPR 原论文既测试了目标存在时的分割效果,也测试了画面中根本没有目标时模型的表现。Radman 和 Laaksonen 的结果表 1

在训练时未见过的类别上,TSAM 的 Jaccard 指数为 54.58%,对照方法 EEMC 为 49.54%,相差 5.04 个百分点。当目标不存在时,评价用的是越低越好的 S 指标。EEMC 得到 0.007,TSAM 为 0.017。如果摘要写成“TSAM 在所有测试中均胜出”,就和后一行数据矛盾。更准确的表述是,TSAM 在未见类别上分割得更好,目标缺席时 EEMC 表现更好。

Streamlit 演示在哪里?生成一篇需要多少钱?

项目给出的 Streamlit 演示链接指向本地启动说明。安装好 Python 依赖、为选用的模型提供方配置凭据后,在仓库根目录运行下面的命令。界面会调用论文写作的命令行工具。如果只想看完成稿,在浏览器里打开项目的样稿展示页即可。Streamlit 本地启动说明 · Google Research 代码仓库与配置说明

streamlit run frontend/app.py

COLM 论文的表 9 估计,每篇稿件要调用模型 50 至 70 次。作者用单个工作进程对 10 篇论文分别计时,去掉最快和最慢的两次,余下 8 次平均耗时 39.6 分钟。论文没有公布每篇稿件的美元成本。要估算自己的支出,需记录模型实际用量和重试次数,再计入作者核对结果、检查引文和修订稿件的时间。做原始实验的费用另算。

投稿前,署名作者该检查什么?

在生成全文前,先查清目标会议当年对应赛道的规定。例如,NeurIPS 2026 的立场论文赛道要求稿件主体由人类作者撰写,AI 对正文的修改仅限于文字润色等辅助工作。主赛道另有自己的智能体使用规定。NeurIPS 2026 立场论文征稿要求 · NeurIPS 2026 主赛道手册

  1. 把表和图逐项与实验记录对照。看有无漏列或漏掉对照方法,核对单位、数据集划分,以及指标究竟是越高越好还是越低越好。用记录中的数据重新绘制定量图表。
  2. 打开支撑主要结论的原始文献。记下每项判断对应的表格、章节或原文段落。如果只在一个数据集上做过验证,就把结论的范围限定在这个数据集。
  3. 定稿后重新打开 PDF。检查图注、交叉引用、作者信息、匿名要求和 AI 使用披露。让负责实验的人确认最终措辞。需要反复做这些检查时,可以参考智能体输出评估指南,保留每次验收的依据。

审稿工作量有现成的公开数字。ICLR 程序主席统计,2026 年该会议共有 19,525 篇有效投稿,收到 76,139 份评审意见。这反映了这一个会议的实际负担。PaperOrchestra 的实验没有测量写作工具对投稿量或审稿工时的影响。ICLR 2026 审稿工作回顾

关于 PaperOrchestra 的常见问题

只有一个研究点子,能让 PaperOrchestra 写出论文吗?
按项目公开的流程,除了研究思路,还要提供实验结果和目标会议的排版模板。如果手头只有一个新假设,就需要先通过实验取得可报告的结果。
不安装软件也能看完整样稿吗?
可以。研究团队的展示页有四份 CVPR 和 ICLR 样稿,每个会议各有一份采用原论文图表,一份采用生成图表。要在本机交互式生成新稿,再看 Streamlit 的启动说明。
PaperOrchestra 会核实参考文献是否存在吗?
文献智能体通过 Semantic Scholar 核对书目信息。作者还需要打开所引论文,读到对应段落,判断这条文献能否支持正文里的具体说法。
PaperOrchestra 生成一份稿件要多久?
研究团队对十次运行计时,去掉最快和最慢两次后,平均是 39.6 分钟。这只覆盖生成稿件的过程,做实验和作者终审所需时间要单独计算。
这些生成稿有被会议正式录用的吗?
研究报告的是人工盲评结果和模拟审稿决定。PaperWritingBench 里已经被录用的是用于重建输入材料的人类作者原稿,研究没有给出生成稿实际投稿后的录用率。

用证据决定试点的下一步

先明确一个工作流、具有代表性的样本和需要验收的结果,再确定评估集、可接受的失败边界,以及现有 AI 系统扩展前必须提供的证据。

相关服务:

只收重要内容

关注与你相关的内容

每当我们发布新文章,你会收到一封简短邮件。你可以关注整个博客,也可以只选感兴趣的主题。

你希望接收哪些内容?
选择主题

免费、双重确认、不使用跟踪像素。

返回
Kevin Riedl

8 分钟 阅读 · 2026年11月16日
最近审核

下一篇

获取下一篇关于交付与 QA的一线笔记

有新文章时发送一封简短邮件,不使用跟踪像素,也不发送填充内容。

免费、双重确认、不使用跟踪像素。