Kann ich ein PaperOrchestra-Manuskript einreichen?

Zurück
Kevin Riedl

7 min Lesezeit · 16. Nov. 2026
Zuletzt geprüft

Weiter
Entsteht auf deinem Gerät, ohne Instagram-Verbindung. Den Beitragslink kopieren wir für deinen Link-Sticker.

Im öffentlichen Beispiel von PaperOrchestra stimmt jede Zahl in einer Ergebniszeile mit dem Original überein. Trotzdem fehlt eine ganze Messgröße. Das fällt auf, sobald du die beiden Tabellen nebeneinanderlegst.

PaperOrchestra ist ein Framework von Google Cloud AI Research. Aus einer Projektskizze und den Protokollen abgeschlossener Experimente erstellt es ein LaTeX-Manuskript. Es sucht Quellen, erstellt Abbildungen und überarbeitet den Text. Ob du den Entwurf einreichen kannst, hängt auch davon ab, welche Messwerte deine Aussage stützen und welche KI-Nutzung die Konferenz erlaubt.

Geprüft am 16. November 2026. Wir haben einen öffentlichen Entwurf mit der Originalarbeit verglichen, ein zweites Beispiel anhand des Versuchsprotokolls geprüft und den veröffentlichten Code gelesen. Laufzeiten und Bewertungen stammen aus der Studie des Forschungsteams. Für diesen Vergleich haben wir kein neues Manuskript generiert.

Welche Kennzahl fehlt im Entwurf von PaperOrchestra?

Im CVPR-Beispiel mit generierten Abbildungen fehlt die gemessene Kollisionsrate aus Tabelle 1. Die Originalarbeit Certified Human Trajectory Prediction vergleicht Verfahren, die den Weg von Fußgängern vorhersagen. Vergrößere im Entwurf die mittlere Seite und suche die Zeile „Smoothed D-Pool“. Vergleiche sie mit Tabelle 1 auf Seite 7 der Original-PDF. Generierter CVPR-Entwurf · Tabellen 1 und 2 bei Bahari et al.

Smoothed D-Pool in den beiden Fassungen von Tabelle 1
Kennzahl für Smoothed D-PoolTabelle 1 im OriginalTabelle 1 im Entwurf
Positionsfehler am Endpunkt1,23 m1,23 m
Zertifizierter Positionsfehler am Endpunkt2,0 m2,00 m
Gemessene Kollisionsrate (Col)9,0 %Spalte fehlt
Zertifizierte Kollisionsrate (Certified-Col)49 %49 %

Für die gewöhnliche Kollisionsrate von 9,0 % vergleichen die Forscher den vorhergesagten Weg mit den aufgezeichneten Wegen benachbarter Fußgänger. Die 49 % geben an, in wie vielen Fällen mindestens eine andere Person im zertifizierten Bereich um den vorhergesagten Weg liegt. Der zweite Entwurf zur selben Arbeit verwendet die Originalabbildungen und enthält alle vier Spalten. Auch im Versuchsprotokoll stehen die vier Werte in dieser Reihenfolge. Mit diesem Befehl findest du die Zeile im heruntergeladenen Datensatz. CVPR-Entwurf mit Originalabbildungen · Geprüfte Version des Benchmark-Datensatzes

unzip -p datasets.zip \
  '*/cvpr2025_5f3288a486/raw_materials/experimental_log.md' | grep 'Smoothed D-Pool'

In Tabelle 2 des Entwurfs mit generierten Abbildungen stimmen alle drei Werte für das verbleibende Rauschen nach dem Diffusionsverfahren mit dem Original überein (0,06, 0,14 und 0,24). Die Stichprobe zeigt, an welcher Stelle du Tabelle 1 ergänzen müsstest. Warum die Spalte fehlt und wie häufig so etwas vorkommt, lässt sich aus zwei Entwürfen nicht ermitteln.

Was braucht PaperOrchestra für ein Manuskript?

Ausgangspunkt sind die Fragestellung, die Methode und die Ergebnisse deines Experiments. Die Kommandozeilenversion erwartet einen Ordner mit idea_sparse.md und experimental_log.md sowie einen Ordner mit der LaTeX-Vorlage der Konferenz. Abbildungen generiert sie nur, wenn du die Option dafür aktivierst. Kommandozeilenprogramm und erwartete Dateinamen

Ein Agent plant die Gliederung. Ein zweiter sucht Literatur und gleicht die bibliografischen Angaben mit Semantic Scholar ab. Bei aktivierter Grafikfunktion erstellt ein weiterer Agent Abbildungen, darunter Diagramme aus Code. Der Schreibagent setzt das Manuskript in LaTeX. Anschließend überarbeitet ein Agent den Entwurf anhand simulierter Gutachten. Fordert ein Gutachten ein weiteres Experiment, musst du es selbst durchführen. Ablauf und Beispielmanuskripte des Forschungsteams

Mit dem geprüften Literaturverweis findest du die Quelle. Ob sie eine Aussage belegt, siehst du an der zitierten Passage. Auf welche Fälle, welche Methode und welche Bedingungen bezieht sich das Ergebnis? Wer schon früher im Projekt Quellen sammeln oder eine Replikation planen möchte, findet beides in unserem Test des Rechercheagenten Feynman.

Wie schneiden die KI-Manuskripte im Vergleich zu den Originalen ab?

Elf Fachleute aus der KI-Forschung bewerteten 40 Arbeiten in 180 verblindeten Paarvergleichen. PaperOrchestra lag vor beiden automatisierten Schreibverfahren. Am besten schnitten die veröffentlichten Originalarbeiten ab. Die Autoren fassen die Stimmen je Arbeit zusammen. Die Tabelle zeigt den Anteil der auf dieser Ebene gewonnenen Vergleiche abzüglich des Anteils der verlorenen Vergleiche. Ein Unentschieden zählt für keine der beiden Seiten. COLM-Studie 2026, Abbildung 7 und Anhang E.6

Anteil gewonnener abzüglich verlorener Vergleiche, in Prozentpunkten
VergleichsgrundlageLiteraturüberblickManuskript insgesamt
Einzelner Schreibagent+67,6 Punkte+37,8 Punkte
AI Scientist-v2+50,0 Punkte+13,9 Punkte
Von Menschen verfasste Originalarbeit−37,8 Punkte−75,7 Punkte

Für PaperWritingBench rekonstruierte das Team Ideen und Ergebnisse aus je 100 angenommenen Arbeiten der CVPR 2025 und der ICLR 2025. Selbst die kurzen Projektskizzen umfassten im Schnitt rund 590 Wörter. Für den direkten Vergleich erhielten die Systeme die Originalabbildungen. Die generierten Grafiken prüfte das Team separat. Der Benchmark misst, wie gut die Systeme vorhandene Ergebnisse beschreiben. Wie oft solche Entwürfe eine Konferenz annimmt oder wie gut ein System neue Erkenntnisse gewinnt, müsste eine andere Studie klären. Datensatz PaperWritingBench

Wie prüfst du eine Aussage am Versuchsprotokoll?

Nimm die weitreichendste Aussage im Abstract und suche nach dem Testfall, der sie widerlegen könnte. Im Beispielprotokoll in Anhang D.4 geht es um TSAM. Das System markiert anhand von Text und Ton ein Objekt im Video. Die Originalarbeit prüft auch, was geschieht, wenn das gesuchte Objekt gar nicht im Bild ist. Tabelle 1 bei Radman und Laaksonen

Bei Objektkategorien, die im Training nicht vorkamen, erreicht TSAM einen Jaccard-Wert von 54,58 %. EEMC kommt auf 49,54 %. Das sind 5,04 Prozentpunkte Vorsprung für TSAM. Fehlt das Objekt, entscheidet die Kennzahl S. Hier ist ein kleinerer Wert besser. EEMC erreicht 0,007, TSAM 0,017. Der Satz „TSAM gewinnt in jedem Test“ wäre also falsch. Belegt ist, dass TSAM unbekannte Kategorien besser segmentiert und EEMC besser abschneidet, wenn es nichts zu segmentieren gibt.

Wie startest du die Streamlit-Demo und was kostet ein Durchlauf?

Die Anleitung zeigt, wie du die Streamlit-Demo auf deinem Rechner startest. Installiere die Python-Abhängigkeiten, hinterlege die Zugangsdaten für deinen Modellanbieter und führe den Befehl im Hauptverzeichnis des Repositorys aus. Die Oberfläche ruft das Kommandozeilenprogramm auf. Fertige Manuskripte kannst du in der Projektgalerie direkt im Browser ansehen. Offizielle Startanleitung für Streamlit · Repository und Installationsanleitung von Google Research

streamlit run frontend/app.py

In Tabelle 9 der COLM-Studie schätzt das Team den Aufwand auf 50 bis 70 Modellaufrufe pro Manuskript. Es maß die Laufzeit von zehn Durchläufen mit je einem Worker. Ohne den schnellsten und den langsamsten Durchlauf ergab sich für die übrigen acht ein Mittelwert von 39,6 Minuten. Einen Dollarbetrag pro Manuskript nennt die Studie nicht. Für deine Kalkulation brauchst du den Modellverbrauch samt Wiederholungen und die Arbeitszeit für die Prüfung von Ergebnissen, Quellen und Korrekturen. Die ursprünglichen Experimente kosten zusätzlich.

Was solltest du vor der Einreichung prüfen?

Prüfe die Regeln für das jeweilige Jahr und den konkreten Konferenztrack, bevor du ein Manuskript generierst. Für Positionspapiere bei der NeurIPS 2026 müssen Menschen den wesentlichen Inhalt selbst verfassen. KI darf den Text sprachlich redigieren oder ähnlich geringfügig ändern. Für den Haupttrack gelten eigene Regeln zum Einsatz von Agenten. NeurIPS-Regeln 2026 für Positionspapiere · Handbuch für den NeurIPS-Haupttrack 2026

  1. Gleiche Tabellen und Grafiken mit den Protokollen ab. Fehlt eine Spalte oder ein Vergleichsverfahren? Stimmen Einheiten und Testgruppen? Ist bei jeder Kennzahl klar, ob ein höherer oder niedrigerer Wert besser ist? Erstelle quantitative Diagramme noch einmal aus den protokollierten Daten.
  2. Lies die Quellen zu den stärksten Aussagen. Halte für jede Aussage die Tabelle, den Abschnitt oder die Textstelle fest, die sie belegt. Trifft sie nur auf einen Datensatz zu, benenne ihn im Manuskript.
  3. Öffne nach der letzten Änderung die PDF erneut. Prüfe Bildunterschriften, Querverweise, Angaben zur Autorenschaft und die Vorgaben zu Anonymisierung und Offenlegung. Lass die Person, die das Experiment verantwortet, die Formulierung freigeben. Unser Leitfaden zur Prüfung von Agentenergebnissen zeigt, wie ein Team solche Nachweise für spätere Prüfungen aufbewahren kann.

Wie viel Arbeit eine einzelne Konferenz bewältigt, zeigen die Zahlen der ICLR 2026. Die Konferenzleitung zählte 19.525 gültige Einreichungen und 76.139 Gutachten. Wie sich ein Schreibwerkzeug auf die Zahl der Einreichungen oder den Zeitaufwand der Gutachter auswirkt, hat die PaperOrchestra-Studie nicht erhoben. Rückblick der ICLR 2026 auf das Begutachtungsverfahren

Häufige Fragen zu PaperOrchestra

Reicht eine Forschungsidee für PaperOrchestra?
Neben deiner Projektskizze braucht das System Ergebnisse aus einem abgeschlossenen Experiment und eine LaTeX-Vorlage für die Konferenz. Bei einer neuen Hypothese steht zuerst das Experiment an, dessen Ergebnis du später beschreiben willst.
Wo kann ich ein fertiges Manuskript ohne Installation ansehen?
Die Projektgalerie zeigt vier Beispiele aus der CVPR und der ICLR. Für jede Konferenz gibt es einen Entwurf mit Originalabbildungen und einen mit generierten Grafiken. Mit der Streamlit-Anleitung kannst du das Programm auf deinem Rechner starten.
Prüft PaperOrchestra, ob die zitierten Quellen existieren?
Der Literaturagent gleicht bibliografische Angaben mit Semantic Scholar ab. Ob die Ergebnisse der zitierten Studie genau deine Aussage im Entwurf stützen, prüfst du anhand der entsprechenden Passage in der Originalarbeit.
Wie lange braucht PaperOrchestra für ein Manuskript?
Das Forschungsteam nennt im Mittel 39,6 Minuten. Aus den zehn gemessenen Durchläufen nahm es den schnellsten und den langsamsten heraus. Plane für deine Experimente und die abschließende Prüfung zusätzliche Zeit ein.
Hat eine Konferenz die generierten Manuskripte angenommen?
Die Studie berichtet über verblindete Vergleiche und simulierte Gutachterentscheidungen. Die angenommenen Arbeiten in PaperWritingBench sind die von Menschen verfassten Originale. Aus ihnen wurden die Eingaben rekonstruiert. Eine tatsächliche Annahmequote der generierten Entwürfe nennt die Studie nicht.

Die Pilotentscheidung mit Belegen treffen

Ein Workflow, repräsentative Beispiele und ein klares Abnahmeziel bilden den Ausgangspunkt. Daraus entstehen ein Evaluierungsdatensatz, Fehlergrenzen und die Nachweise für die Skalierung eines bestehenden KI-Systems.

Passender Service:

Postfach, ohne Lärm

Folge der Arbeit, die für dich zählt

Du bekommst eine kurze E-Mail, wenn wir etwas Neues veröffentlichen. Folge dem ganzen Blog oder nur den Themen, die dich interessieren.

Was möchtest du erhalten?
Themen auswählen

Kostenlos, Double-Opt-in, ohne Tracking-Pixel.

Zurück
Kevin Riedl

7 min Lesezeit · 16. Nov. 2026
Zuletzt geprüft

Weiter

Erhalte die nächste Feldnotiz zu Delivery und QA

Eine kurze E-Mail, wenn wir veröffentlichen. Ohne Tracking-Pixel und ohne Postfachfüller.

Kostenlos, Double-Opt-in, ohne Tracking-Pixel.