本文内容
PaperOrchestra 生成的论文可以直接投稿吗?
PaperOrchestra 公开了一份论文样稿,其中一行实验结果里的数字个个都能和原文对上。把两张表的表头并排一看,才会发现少了一整列。光核对数字,很容易漏掉这个问题。
PaperOrchestra 是 Google Cloud AI Research 开发的论文写作框架。给它研究思路和已经做完的实验记录,它可以检索文献、绘图、修改草稿,并排成 LaTeX 稿件。能否投稿还要回答两个问题:读者能否根据稿件里的数据判断结论是否成立?目标会议或期刊是否允许这种写作方式?
核查日期为 2026 年 11 月 16 日。我们把一份公开样稿与已发表论文逐项对照,又用另一个案例检查实验记录,并查看了公开代码。下文的耗时和评审结果均来自研究团队,本次核查没有重新运行生成流程。
样稿的结果表漏了什么?
在采用生成图表的 CVPR 样稿中,表 1 少了普通碰撞率。这项研究预测行人的运动轨迹。打开样稿,放大中间一页,找到 Smoothed D-Pool 这一行,再打开原论文《Certified Human Trajectory Prediction》PDF 第 7 页的表 1,比较两张表的列名和数值。查看 CVPR 生成稿 · 查看 Bahari 等人的原文表 1 和表 2
| Smoothed D-Pool 的指标 | 原论文表 1 | 生成稿表 1 |
|---|---|---|
| 最终位移误差 | 1.23 米 | 1.23 米 |
| 经认证的最终位移误差 | 2.0 米 | 2.00 米 |
| 碰撞率(Col) | 9.0% | 整列缺失 |
| 经认证的碰撞率(Certified-Col) | 49% | 49% |
普通碰撞率为 9.0%,比较的是预测路线和周围行人的实际路线。49% 则指在所有样本中,至少有一名周边行人落入预测路线认证范围内的比例。采用原论文图表的另一份样稿保留了四列。基准数据中的实验记录也按顺序列出了 1.23、2.0、9.0 和 49。下载数据压缩包后,可以用下面的命令直接定位这一行。采用原图表的另一份 CVPR 样稿 · 本次核对使用的数据集版本
unzip -p datasets.zip \
'*/cvpr2025_5f3288a486/raw_materials/experimental_log.md' | grep 'Smoothed D-Pool'再看生成图表版的表 2。扩散去噪器处理后剩余的三个噪声值分别是 0.06、0.14 和 0.24,都与原文一致。有了对照,就知道表 1 应补回哪一列。凭这两份样稿,仍然无法判断缺列的原因或发生频率。
PaperOrchestra 写论文需要哪些材料?
先准备研究问题、方法和已有的实验结果。公开的命令行工具需要两个目录:研究材料目录中包含 idea_sparse.md 和 experimental_log.md,模板目录中放目标会议的 LaTeX 模板。命令行默认关闭绘图,可按需开启。命令行源码和输入文件名
大纲智能体先安排论证顺序。文献智能体检索候选论文,通过 Semantic Scholar 核对文献记录。开启绘图后,绘图智能体可以用代码画出统计图。章节写作智能体把各部分编成 LaTeX 稿件,修改智能体依据模拟审稿意见修订文字。如果审稿意见要求补实验,实验仍要由研究者完成。研究团队的流程说明与样稿
检索到一条真实的书目记录,只能帮你找到那篇论文。要确认引文能否支持当前这句话,还得读到对应的段落,核对研究对象、方法和适用范围。对于还在找文献、规划复现的团队,可以参考Feynman 研究智能体评测。
盲评中,生成稿和人类作者的论文相差多少?
11 位人工智能研究者针对抽取的 40 篇论文,完成了 180 次两两盲评。PaperOrchestra 在两项指标上都胜过另外两种自动写作系统,得分却低于人类作者的已发表原稿。作者先按论文汇总评审意见。下表用汇总后的胜出比例减去落败比例,单位为百分点。平局仍计入比较总数,在这项差值中贡献为零。COLM 2026 论文图 7 与附录 E.6
| 比较对象 | 文献综述质量 | 稿件整体质量 |
|---|---|---|
| 单智能体写作系统 | +67.6 个百分点 | +37.8 个百分点 |
| AI Scientist-v2 | +50.0 个百分点 | +13.9 个百分点 |
| 已发表的人类作者原稿 | −37.8 个百分点 | −75.7 个百分点 |
PaperWritingBench 选取了 CVPR 2025 和 ICLR 2025 各 100 篇已录用的论文,再根据论文反向整理研究思路和实验结果。即便是简版研究构想,平均也有约 590 个英文单词。
在标准比较中,各系统拿到的都是原论文的图,生成图表的效果另行评估。这项测试衡量的是根据已有证据写论文的能力。要评价能否发现新结果,或有多少生成稿真的被会议录用,需要另做研究。PaperWritingBench 公开数据集
怎样用实验日志核对摘要中的结论?
挑出摘要里范围最大的一句结论,主动找最可能推翻它的那组数据。研究论文附录 D.4 给出了 TSAM 的实验日志。TSAM 根据文字和声音在视频中分割目标物体。CVPR 原论文既测试了目标存在时的分割效果,也测试了画面中根本没有目标时模型的表现。Radman 和 Laaksonen 的结果表 1
在训练时未见过的类别上,TSAM 的 Jaccard 指数为 54.58%,对照方法 EEMC 为 49.54%,相差 5.04 个百分点。当目标不存在时,评价用的是越低越好的 S 指标。EEMC 得到 0.007,TSAM 为 0.017。如果摘要写成“TSAM 在所有测试中均胜出”,就和后一行数据矛盾。更准确的表述是,TSAM 在未见类别上分割得更好,目标缺席时 EEMC 表现更好。
Streamlit 演示在哪里?生成一篇需要多少钱?
项目给出的 Streamlit 演示链接指向本地启动说明。安装好 Python 依赖、为选用的模型提供方配置凭据后,在仓库根目录运行下面的命令。界面会调用论文写作的命令行工具。如果只想看完成稿,在浏览器里打开项目的样稿展示页即可。Streamlit 本地启动说明 · Google Research 代码仓库与配置说明
streamlit run frontend/app.pyCOLM 论文的表 9 估计,每篇稿件要调用模型 50 至 70 次。作者用单个工作进程对 10 篇论文分别计时,去掉最快和最慢的两次,余下 8 次平均耗时 39.6 分钟。论文没有公布每篇稿件的美元成本。要估算自己的支出,需记录模型实际用量和重试次数,再计入作者核对结果、检查引文和修订稿件的时间。做原始实验的费用另算。
投稿前,署名作者该检查什么?
在生成全文前,先查清目标会议当年对应赛道的规定。例如,NeurIPS 2026 的立场论文赛道要求稿件主体由人类作者撰写,AI 对正文的修改仅限于文字润色等辅助工作。主赛道另有自己的智能体使用规定。NeurIPS 2026 立场论文征稿要求 · NeurIPS 2026 主赛道手册
- 把表和图逐项与实验记录对照。看有无漏列或漏掉对照方法,核对单位、数据集划分,以及指标究竟是越高越好还是越低越好。用记录中的数据重新绘制定量图表。
- 打开支撑主要结论的原始文献。记下每项判断对应的表格、章节或原文段落。如果只在一个数据集上做过验证,就把结论的范围限定在这个数据集。
- 定稿后重新打开 PDF。检查图注、交叉引用、作者信息、匿名要求和 AI 使用披露。让负责实验的人确认最终措辞。需要反复做这些检查时,可以参考智能体输出评估指南,保留每次验收的依据。
审稿工作量有现成的公开数字。ICLR 程序主席统计,2026 年该会议共有 19,525 篇有效投稿,收到 76,139 份评审意见。这反映了这一个会议的实际负担。PaperOrchestra 的实验没有测量写作工具对投稿量或审稿工时的影响。ICLR 2026 审稿工作回顾
