---
title: "Kann ich ein PaperOrchestra-Manuskript einreichen?"
canonical: https://wavect.io/de/blog/paperorchestra-manuscript-review/
language: de
description: "Prüfe ein PaperOrchestra-Manuskript vor der Einreichung. Im CVPR-Beispiel fehlt eine Kennzahl. So vergleichst du Entwurf, Versuchsprotokoll und Original."
image: "https://wavect.io/img/blog/headers/header_paperorchestra-manuscript-review.png"
author: ["Kevin Riedl"]
published: "2026-11-16"
updated: "2026-11-16"
reviewed: "2026-11-16"
---

# Kann ich ein PaperOrchestra-Manuskript einreichen?

[**Zurück**](/de/blog/overview/)

[![Kevin Riedl](/img/team/kevin.webp)](/de/team/kevin-riedl/)

[Kevin Riedl](/de/team/kevin-riedl/) https://linkedin.com/in/wsdt

7 min Lesezeit · 16. Nov. 2026 Zuletzt geprüft 16. November 2026

[**Weiter**](/de/blog/feynman-open-source-ai-research-agent/)

TL;DR

PaperOrchestra setzt die Ergebnisse abgeschlossener Experimente in LaTeX. In einem öffentlichen CVPR-Entwurf steht die zertifizierte Kollisionsrate von 49 %, die gemessene Rate von 9,0 % fehlt. Im Blindvergleich bewerteten Forschende die Manuskripte insgesamt besser als die zweier anderer KI-Schreibverfahren. Am besten schnitten die Originalarbeiten ab. Prüfe vor der Einreichung die Belege für deine wichtigsten Aussagen und die KI-Regeln deiner Konferenz.

Im öffentlichen Beispiel von PaperOrchestra stimmt jede Zahl in einer Ergebniszeile mit dem Original überein. Trotzdem fehlt eine ganze Messgröße. Das fällt auf, sobald du die beiden Tabellen nebeneinanderlegst.

PaperOrchestra ist ein Framework von Google Cloud AI Research. Aus einer Projektskizze und den Protokollen abgeschlossener Experimente erstellt es ein LaTeX-Manuskript. Es sucht Quellen, erstellt Abbildungen und überarbeitet den Text. Ob du den Entwurf einreichen kannst, hängt auch davon ab, welche Messwerte deine Aussage stützen und welche KI-Nutzung die Konferenz erlaubt.

*Geprüft am 16. November 2026. Wir haben einen öffentlichen Entwurf mit der Originalarbeit verglichen, ein zweites Beispiel anhand des Versuchsprotokolls geprüft und den veröffentlichten Code gelesen. Laufzeiten und Bewertungen stammen aus der Studie des Forschungsteams. Für diesen Vergleich haben wir kein neues Manuskript generiert.*

## Welche Kennzahl fehlt im Entwurf von PaperOrchestra?

Im CVPR-Beispiel mit generierten Abbildungen fehlt die gemessene Kollisionsrate aus Tabelle 1. Die Originalarbeit *Certified Human Trajectory Prediction* vergleicht Verfahren, die den Weg von Fußgängern vorhersagen. Vergrößere im Entwurf die mittlere Seite und suche die Zeile „Smoothed D-Pool“. Vergleiche sie mit Tabelle 1 auf Seite 7 der Original-PDF. [Generierter CVPR-Entwurf](https://github.com/yiwen-song/paper_orchestra/blob/342e47ed21b645527bec044e10228f1fc8820cfd/figures/cvpr_ours_ploton.jpg) · [Tabellen 1 und 2 bei Bahari et al.](https://openaccess.thecvf.com/content/CVPR2025/papers/Bahari_Certified_Human_Trajectory_Prediction_CVPR_2025_paper.pdf#page=7)

| Kennzahl für Smoothed D-Pool | Tabelle 1 im Original | Tabelle 1 im Entwurf |
| --- | --- | --- |
| Positionsfehler am Endpunkt | 1,23 m | 1,23 m |
| Zertifizierter Positionsfehler am Endpunkt | 2,0 m | 2,00 m |
| Gemessene Kollisionsrate (Col) | 9,0 % | Spalte fehlt |
| Zertifizierte Kollisionsrate (Certified-Col) | 49 % | 49 % |

Für die gewöhnliche Kollisionsrate von 9,0 % vergleichen die Forscher den vorhergesagten Weg mit den aufgezeichneten Wegen benachbarter Fußgänger. Die 49 % geben an, in wie vielen Fällen mindestens eine andere Person im zertifizierten Bereich um den vorhergesagten Weg liegt. Der zweite Entwurf zur selben Arbeit verwendet die Originalabbildungen und enthält alle vier Spalten. Auch im Versuchsprotokoll stehen die vier Werte in dieser Reihenfolge. Mit diesem Befehl findest du die Zeile im heruntergeladenen Datensatz. [CVPR-Entwurf mit Originalabbildungen](https://github.com/yiwen-song/paper_orchestra/blob/342e47ed21b645527bec044e10228f1fc8820cfd/figures/cvpr_ours_plotoff.jpg) · [Geprüfte Version des Benchmark-Datensatzes](https://huggingface.co/datasets/yiwen-song/PaperWritingBench/blob/fbcfcafd042184ca954954b08dfcb92bd7942b51/datasets.zip)

```
unzip -p datasets.zip \
  '*/cvpr2025_5f3288a486/raw_materials/experimental_log.md' | grep 'Smoothed D-Pool'
```

In Tabelle 2 des Entwurfs mit generierten Abbildungen stimmen alle drei Werte für das verbleibende Rauschen nach dem Diffusionsverfahren mit dem Original überein (0,06, 0,14 und 0,24). Die Stichprobe zeigt, an welcher Stelle du Tabelle 1 ergänzen müsstest. Warum die Spalte fehlt und wie häufig so etwas vorkommt, lässt sich aus zwei Entwürfen nicht ermitteln.

## Was braucht PaperOrchestra für ein Manuskript?

Ausgangspunkt sind die Fragestellung, die Methode und die Ergebnisse deines Experiments. Die Kommandozeilenversion erwartet einen Ordner mit `idea_sparse.md` und `experimental_log.md` sowie einen Ordner mit der LaTeX-Vorlage der Konferenz. Abbildungen generiert sie nur, wenn du die Option dafür aktivierst. [Kommandozeilenprogramm und erwartete Dateinamen](https://github.com/google-research/paper-orchestra/blob/d9bae997e793a015ed38bb1605be9eb58c00284f/paper_writing_cli.py)

Ein Agent plant die Gliederung. Ein zweiter sucht Literatur und gleicht die bibliografischen Angaben mit Semantic Scholar ab. Bei aktivierter Grafikfunktion erstellt ein weiterer Agent Abbildungen, darunter Diagramme aus Code. Der Schreibagent setzt das Manuskript in LaTeX. Anschließend überarbeitet ein Agent den Entwurf anhand simulierter Gutachten. Fordert ein Gutachten ein weiteres Experiment, musst du es selbst durchführen. [Ablauf und Beispielmanuskripte des Forschungsteams](https://yiwen-song.github.io/paper_orchestra/)

Mit dem geprüften Literaturverweis findest du die Quelle. Ob sie eine Aussage belegt, siehst du an der zitierten Passage. Auf welche Fälle, welche Methode und welche Bedingungen bezieht sich das Ergebnis? Wer schon früher im Projekt Quellen sammeln oder eine Replikation planen möchte, findet beides in unserem [Test des Rechercheagenten Feynman](/de/blog/feynman-open-source-ai-research-agent/).

## Wie schneiden die KI-Manuskripte im Vergleich zu den Originalen ab?

Elf Fachleute aus der KI-Forschung bewerteten 40 Arbeiten in 180 verblindeten Paarvergleichen. PaperOrchestra lag vor beiden automatisierten Schreibverfahren. Am besten schnitten die veröffentlichten Originalarbeiten ab. Die Autoren fassen die Stimmen je Arbeit zusammen. Die Tabelle zeigt den Anteil der auf dieser Ebene gewonnenen Vergleiche abzüglich des Anteils der verlorenen Vergleiche. Ein Unentschieden zählt für keine der beiden Seiten. [COLM-Studie 2026, Abbildung 7 und Anhang E.6](https://proceedings.colm.cc/paper_files/paper/2026/file/6546d4ab1e224ea9625c7c42ad25d6c8-Paper-Conference.pdf)

| Vergleichsgrundlage | Literaturüberblick | Manuskript insgesamt |
| --- | --- | --- |
| Einzelner Schreibagent | +67,6 Punkte | +37,8 Punkte |
| AI Scientist-v2 | +50,0 Punkte | +13,9 Punkte |
| Von Menschen verfasste Originalarbeit | −37,8 Punkte | −75,7 Punkte |

Für PaperWritingBench rekonstruierte das Team Ideen und Ergebnisse aus je 100 angenommenen Arbeiten der CVPR 2025 und der ICLR 2025. Selbst die kurzen Projektskizzen umfassten im Schnitt rund 590 Wörter. Für den direkten Vergleich erhielten die Systeme die Originalabbildungen. Die generierten Grafiken prüfte das Team separat. Der Benchmark misst, wie gut die Systeme vorhandene Ergebnisse beschreiben. Wie oft solche Entwürfe eine Konferenz annimmt oder wie gut ein System neue Erkenntnisse gewinnt, müsste eine andere Studie klären. [Datensatz PaperWritingBench](https://huggingface.co/datasets/yiwen-song/PaperWritingBench)

## Wie prüfst du eine Aussage am Versuchsprotokoll?

Nimm die weitreichendste Aussage im Abstract und suche nach dem Testfall, der sie widerlegen könnte. Im Beispielprotokoll in Anhang D.4 geht es um TSAM. Das System markiert anhand von Text und Ton ein Objekt im Video. Die Originalarbeit prüft auch, was geschieht, wenn das gesuchte Objekt gar nicht im Bild ist. [Tabelle 1 bei Radman und Laaksonen](https://openaccess.thecvf.com/content/CVPR2025/papers/Radman_TSAM_Temporal_SAM_Augmented_with_Multimodal_Prompts_for_Referring_Audio-Visual_CVPR_2025_paper.pdf)

Bei Objektkategorien, die im Training nicht vorkamen, erreicht TSAM einen Jaccard-Wert von 54,58 %. EEMC kommt auf 49,54 %. Das sind 5,04 Prozentpunkte Vorsprung für TSAM. Fehlt das Objekt, entscheidet die Kennzahl S. Hier ist ein kleinerer Wert besser. EEMC erreicht 0,007, TSAM 0,017. Der Satz „TSAM gewinnt in jedem Test“ wäre also falsch. Belegt ist, dass TSAM unbekannte Kategorien besser segmentiert und EEMC besser abschneidet, wenn es nichts zu segmentieren gibt.

## Wie startest du die Streamlit-Demo und was kostet ein Durchlauf?

Die Anleitung zeigt, wie du die Streamlit-Demo auf deinem Rechner startest. Installiere die Python-Abhängigkeiten, hinterlege die Zugangsdaten für deinen Modellanbieter und führe den Befehl im Hauptverzeichnis des Repositorys aus. Die Oberfläche ruft das Kommandozeilenprogramm auf. Fertige Manuskripte kannst du in der Projektgalerie direkt im Browser ansehen. [Offizielle Startanleitung für Streamlit](https://github.com/google-research/paper-orchestra/blob/main/frontend/README.md) · [Repository und Installationsanleitung von Google Research](https://github.com/google-research/paper-orchestra)

```
streamlit run frontend/app.py
```

In Tabelle 9 der COLM-Studie schätzt das Team den Aufwand auf 50 bis 70 Modellaufrufe pro Manuskript. Es maß die Laufzeit von zehn Durchläufen mit je einem Worker. Ohne den schnellsten und den langsamsten Durchlauf ergab sich für die übrigen acht ein Mittelwert von 39,6 Minuten. Einen Dollarbetrag pro Manuskript nennt die Studie nicht. Für deine Kalkulation brauchst du den Modellverbrauch samt Wiederholungen und die Arbeitszeit für die Prüfung von Ergebnissen, Quellen und Korrekturen. Die ursprünglichen Experimente kosten zusätzlich.

## Was solltest du vor der Einreichung prüfen?

Prüfe die Regeln für das jeweilige Jahr und den konkreten Konferenztrack, bevor du ein Manuskript generierst. Für Positionspapiere bei der NeurIPS 2026 müssen Menschen den wesentlichen Inhalt selbst verfassen. KI darf den Text sprachlich redigieren oder ähnlich geringfügig ändern. Für den Haupttrack gelten eigene Regeln zum Einsatz von Agenten. [NeurIPS-Regeln 2026 für Positionspapiere](https://neurips.cc/Conferences/2026/CallForPositionPapers) · [Handbuch für den NeurIPS-Haupttrack 2026](https://neurips.cc/Conferences/2026/MainTrackHandbook)

1. **Gleiche Tabellen und Grafiken mit den Protokollen ab.** Fehlt eine Spalte oder ein Vergleichsverfahren? Stimmen Einheiten und Testgruppen? Ist bei jeder Kennzahl klar, ob ein höherer oder niedrigerer Wert besser ist? Erstelle quantitative Diagramme noch einmal aus den protokollierten Daten.
2. **Lies die Quellen zu den stärksten Aussagen.** Halte für jede Aussage die Tabelle, den Abschnitt oder die Textstelle fest, die sie belegt. Trifft sie nur auf einen Datensatz zu, benenne ihn im Manuskript.
3. **Öffne nach der letzten Änderung die PDF erneut.** Prüfe Bildunterschriften, Querverweise, Angaben zur Autorenschaft und die Vorgaben zu Anonymisierung und Offenlegung. Lass die Person, die das Experiment verantwortet, die Formulierung freigeben. Unser [Leitfaden zur Prüfung von Agentenergebnissen](/de/blog/ai-agent-eval-sandbox-security-checklist/) zeigt, wie ein Team solche Nachweise für spätere Prüfungen aufbewahren kann.

Wie viel Arbeit eine einzelne Konferenz bewältigt, zeigen die Zahlen der ICLR 2026. Die Konferenzleitung zählte 19.525 gültige Einreichungen und 76.139 Gutachten. Wie sich ein Schreibwerkzeug auf die Zahl der Einreichungen oder den Zeitaufwand der Gutachter auswirkt, hat die PaperOrchestra-Studie nicht erhoben. [Rückblick der ICLR 2026 auf das Begutachtungsverfahren](https://blog.iclr.cc/2026/03/31/a-retrospective-on-the-iclr-2026-review-process/)

## Häufige Fragen zu PaperOrchestra

### Reicht eine Forschungsidee für PaperOrchestra?

Neben deiner Projektskizze braucht das System Ergebnisse aus einem abgeschlossenen Experiment und eine LaTeX-Vorlage für die Konferenz. Bei einer neuen Hypothese steht zuerst das Experiment an, dessen Ergebnis du später beschreiben willst.

### Wo kann ich ein fertiges Manuskript ohne Installation ansehen?

Die Projektgalerie zeigt vier Beispiele aus der CVPR und der ICLR. Für jede Konferenz gibt es einen Entwurf mit Originalabbildungen und einen mit generierten Grafiken. Mit der Streamlit-Anleitung kannst du das Programm auf deinem Rechner starten.

### Prüft PaperOrchestra, ob die zitierten Quellen existieren?

Der Literaturagent gleicht bibliografische Angaben mit Semantic Scholar ab. Ob die Ergebnisse der zitierten Studie genau deine Aussage im Entwurf stützen, prüfst du anhand der entsprechenden Passage in der Originalarbeit.

### Wie lange braucht PaperOrchestra für ein Manuskript?

Das Forschungsteam nennt im Mittel 39,6 Minuten. Aus den zehn gemessenen Durchläufen nahm es den schnellsten und den langsamsten heraus. Plane für deine Experimente und die abschließende Prüfung zusätzliche Zeit ein.

### Hat eine Konferenz die generierten Manuskripte angenommen?

Die Studie berichtet über verblindete Vergleiche und simulierte Gutachterentscheidungen. Die angenommenen Arbeiten in PaperWritingBench sind die von Menschen verfassten Originale. Aus ihnen wurden die Eingaben rekonstruiert. Eine tatsächliche Annahmequote der generierten Entwürfe nennt die Studie nicht.

QA und Produktionsreife

## Weiterlesen

Tests, Audits, Wartung und Härtung für verlässliche Produktionssoftware.

[Hier starten**QA für KI-generierten Code**](/de/blog/qa-for-ai-generated-code/)

- [Wie setzt Claude Fable 5.2 eine gespeicherte Agentensitzung fort?](/de/blog/claude-fable-5-2-session-replay/)
- [KI-Entwicklungsstack 2026 im Test: vom Quellcode bis zum Browser](/de/blog/pi-agent-development-stack/)
- [Alibaba Open Code Review meldet keine Kommentare. Welche Dateien hat es geprüft?](/de/blog/alibaba-open-code-review-no-comments/)
- [LoRaWAN-Wasserzähler im Feldtest: Kommen Zählerstand und Leckalarm an?](/de/blog/lorawan-water-meter-field-acceptance-test/)
- [Software von zwei Anbietern abnehmen: Welcher Nachweis reicht?](/de/blog/multi-vendor-software-acceptance-testing/)

[Nächster Artikel**Wie setzt Claude Fable 5.2 eine gespeicherte Agentensitzung fort?**](/de/blog/claude-fable-5-2-session-replay/)

[**Zurück**](/de/blog/overview/)

[![Kevin Riedl](/img/team/kevin.webp)](/de/team/kevin-riedl/)

[Kevin Riedl](/de/team/kevin-riedl/) https://linkedin.com/in/wsdt

7 min Lesezeit · 16. Nov. 2026 Zuletzt geprüft 16. November 2026

[**Weiter**](/de/blog/feynman-open-source-ai-research-agent/)
