In diesem Beitrag
Kann ich ein PaperOrchestra-Manuskript einreichen?
Im öffentlichen Beispiel von PaperOrchestra stimmt jede Zahl in einer Ergebniszeile mit dem Original überein. Trotzdem fehlt eine ganze Messgröße. Das fällt auf, sobald du die beiden Tabellen nebeneinanderlegst.
PaperOrchestra ist ein Framework von Google Cloud AI Research. Aus einer Projektskizze und den Protokollen abgeschlossener Experimente erstellt es ein LaTeX-Manuskript. Es sucht Quellen, erstellt Abbildungen und überarbeitet den Text. Ob du den Entwurf einreichen kannst, hängt auch davon ab, welche Messwerte deine Aussage stützen und welche KI-Nutzung die Konferenz erlaubt.
Geprüft am 16. November 2026. Wir haben einen öffentlichen Entwurf mit der Originalarbeit verglichen, ein zweites Beispiel anhand des Versuchsprotokolls geprüft und den veröffentlichten Code gelesen. Laufzeiten und Bewertungen stammen aus der Studie des Forschungsteams. Für diesen Vergleich haben wir kein neues Manuskript generiert.
Welche Kennzahl fehlt im Entwurf von PaperOrchestra?
Im CVPR-Beispiel mit generierten Abbildungen fehlt die gemessene Kollisionsrate aus Tabelle 1. Die Originalarbeit Certified Human Trajectory Prediction vergleicht Verfahren, die den Weg von Fußgängern vorhersagen. Vergrößere im Entwurf die mittlere Seite und suche die Zeile „Smoothed D-Pool“. Vergleiche sie mit Tabelle 1 auf Seite 7 der Original-PDF. Generierter CVPR-Entwurf · Tabellen 1 und 2 bei Bahari et al.
| Kennzahl für Smoothed D-Pool | Tabelle 1 im Original | Tabelle 1 im Entwurf |
|---|---|---|
| Positionsfehler am Endpunkt | 1,23 m | 1,23 m |
| Zertifizierter Positionsfehler am Endpunkt | 2,0 m | 2,00 m |
| Gemessene Kollisionsrate (Col) | 9,0 % | Spalte fehlt |
| Zertifizierte Kollisionsrate (Certified-Col) | 49 % | 49 % |
Für die gewöhnliche Kollisionsrate von 9,0 % vergleichen die Forscher den vorhergesagten Weg mit den aufgezeichneten Wegen benachbarter Fußgänger. Die 49 % geben an, in wie vielen Fällen mindestens eine andere Person im zertifizierten Bereich um den vorhergesagten Weg liegt. Der zweite Entwurf zur selben Arbeit verwendet die Originalabbildungen und enthält alle vier Spalten. Auch im Versuchsprotokoll stehen die vier Werte in dieser Reihenfolge. Mit diesem Befehl findest du die Zeile im heruntergeladenen Datensatz. CVPR-Entwurf mit Originalabbildungen · Geprüfte Version des Benchmark-Datensatzes
unzip -p datasets.zip \
'*/cvpr2025_5f3288a486/raw_materials/experimental_log.md' | grep 'Smoothed D-Pool'In Tabelle 2 des Entwurfs mit generierten Abbildungen stimmen alle drei Werte für das verbleibende Rauschen nach dem Diffusionsverfahren mit dem Original überein (0,06, 0,14 und 0,24). Die Stichprobe zeigt, an welcher Stelle du Tabelle 1 ergänzen müsstest. Warum die Spalte fehlt und wie häufig so etwas vorkommt, lässt sich aus zwei Entwürfen nicht ermitteln.
Was braucht PaperOrchestra für ein Manuskript?
Ausgangspunkt sind die Fragestellung, die Methode und die Ergebnisse deines Experiments. Die Kommandozeilenversion erwartet einen Ordner mit idea_sparse.md und experimental_log.md sowie einen Ordner mit der LaTeX-Vorlage der Konferenz. Abbildungen generiert sie nur, wenn du die Option dafür aktivierst. Kommandozeilenprogramm und erwartete Dateinamen
Ein Agent plant die Gliederung. Ein zweiter sucht Literatur und gleicht die bibliografischen Angaben mit Semantic Scholar ab. Bei aktivierter Grafikfunktion erstellt ein weiterer Agent Abbildungen, darunter Diagramme aus Code. Der Schreibagent setzt das Manuskript in LaTeX. Anschließend überarbeitet ein Agent den Entwurf anhand simulierter Gutachten. Fordert ein Gutachten ein weiteres Experiment, musst du es selbst durchführen. Ablauf und Beispielmanuskripte des Forschungsteams
Mit dem geprüften Literaturverweis findest du die Quelle. Ob sie eine Aussage belegt, siehst du an der zitierten Passage. Auf welche Fälle, welche Methode und welche Bedingungen bezieht sich das Ergebnis? Wer schon früher im Projekt Quellen sammeln oder eine Replikation planen möchte, findet beides in unserem Test des Rechercheagenten Feynman.
Wie schneiden die KI-Manuskripte im Vergleich zu den Originalen ab?
Elf Fachleute aus der KI-Forschung bewerteten 40 Arbeiten in 180 verblindeten Paarvergleichen. PaperOrchestra lag vor beiden automatisierten Schreibverfahren. Am besten schnitten die veröffentlichten Originalarbeiten ab. Die Autoren fassen die Stimmen je Arbeit zusammen. Die Tabelle zeigt den Anteil der auf dieser Ebene gewonnenen Vergleiche abzüglich des Anteils der verlorenen Vergleiche. Ein Unentschieden zählt für keine der beiden Seiten. COLM-Studie 2026, Abbildung 7 und Anhang E.6
| Vergleichsgrundlage | Literaturüberblick | Manuskript insgesamt |
|---|---|---|
| Einzelner Schreibagent | +67,6 Punkte | +37,8 Punkte |
| AI Scientist-v2 | +50,0 Punkte | +13,9 Punkte |
| Von Menschen verfasste Originalarbeit | −37,8 Punkte | −75,7 Punkte |
Für PaperWritingBench rekonstruierte das Team Ideen und Ergebnisse aus je 100 angenommenen Arbeiten der CVPR 2025 und der ICLR 2025. Selbst die kurzen Projektskizzen umfassten im Schnitt rund 590 Wörter. Für den direkten Vergleich erhielten die Systeme die Originalabbildungen. Die generierten Grafiken prüfte das Team separat. Der Benchmark misst, wie gut die Systeme vorhandene Ergebnisse beschreiben. Wie oft solche Entwürfe eine Konferenz annimmt oder wie gut ein System neue Erkenntnisse gewinnt, müsste eine andere Studie klären. Datensatz PaperWritingBench
Wie prüfst du eine Aussage am Versuchsprotokoll?
Nimm die weitreichendste Aussage im Abstract und suche nach dem Testfall, der sie widerlegen könnte. Im Beispielprotokoll in Anhang D.4 geht es um TSAM. Das System markiert anhand von Text und Ton ein Objekt im Video. Die Originalarbeit prüft auch, was geschieht, wenn das gesuchte Objekt gar nicht im Bild ist. Tabelle 1 bei Radman und Laaksonen
Bei Objektkategorien, die im Training nicht vorkamen, erreicht TSAM einen Jaccard-Wert von 54,58 %. EEMC kommt auf 49,54 %. Das sind 5,04 Prozentpunkte Vorsprung für TSAM. Fehlt das Objekt, entscheidet die Kennzahl S. Hier ist ein kleinerer Wert besser. EEMC erreicht 0,007, TSAM 0,017. Der Satz „TSAM gewinnt in jedem Test“ wäre also falsch. Belegt ist, dass TSAM unbekannte Kategorien besser segmentiert und EEMC besser abschneidet, wenn es nichts zu segmentieren gibt.
Wie startest du die Streamlit-Demo und was kostet ein Durchlauf?
Die Anleitung zeigt, wie du die Streamlit-Demo auf deinem Rechner startest. Installiere die Python-Abhängigkeiten, hinterlege die Zugangsdaten für deinen Modellanbieter und führe den Befehl im Hauptverzeichnis des Repositorys aus. Die Oberfläche ruft das Kommandozeilenprogramm auf. Fertige Manuskripte kannst du in der Projektgalerie direkt im Browser ansehen. Offizielle Startanleitung für Streamlit · Repository und Installationsanleitung von Google Research
streamlit run frontend/app.pyIn Tabelle 9 der COLM-Studie schätzt das Team den Aufwand auf 50 bis 70 Modellaufrufe pro Manuskript. Es maß die Laufzeit von zehn Durchläufen mit je einem Worker. Ohne den schnellsten und den langsamsten Durchlauf ergab sich für die übrigen acht ein Mittelwert von 39,6 Minuten. Einen Dollarbetrag pro Manuskript nennt die Studie nicht. Für deine Kalkulation brauchst du den Modellverbrauch samt Wiederholungen und die Arbeitszeit für die Prüfung von Ergebnissen, Quellen und Korrekturen. Die ursprünglichen Experimente kosten zusätzlich.
Was solltest du vor der Einreichung prüfen?
Prüfe die Regeln für das jeweilige Jahr und den konkreten Konferenztrack, bevor du ein Manuskript generierst. Für Positionspapiere bei der NeurIPS 2026 müssen Menschen den wesentlichen Inhalt selbst verfassen. KI darf den Text sprachlich redigieren oder ähnlich geringfügig ändern. Für den Haupttrack gelten eigene Regeln zum Einsatz von Agenten. NeurIPS-Regeln 2026 für Positionspapiere · Handbuch für den NeurIPS-Haupttrack 2026
- Gleiche Tabellen und Grafiken mit den Protokollen ab. Fehlt eine Spalte oder ein Vergleichsverfahren? Stimmen Einheiten und Testgruppen? Ist bei jeder Kennzahl klar, ob ein höherer oder niedrigerer Wert besser ist? Erstelle quantitative Diagramme noch einmal aus den protokollierten Daten.
- Lies die Quellen zu den stärksten Aussagen. Halte für jede Aussage die Tabelle, den Abschnitt oder die Textstelle fest, die sie belegt. Trifft sie nur auf einen Datensatz zu, benenne ihn im Manuskript.
- Öffne nach der letzten Änderung die PDF erneut. Prüfe Bildunterschriften, Querverweise, Angaben zur Autorenschaft und die Vorgaben zu Anonymisierung und Offenlegung. Lass die Person, die das Experiment verantwortet, die Formulierung freigeben. Unser Leitfaden zur Prüfung von Agentenergebnissen zeigt, wie ein Team solche Nachweise für spätere Prüfungen aufbewahren kann.
Wie viel Arbeit eine einzelne Konferenz bewältigt, zeigen die Zahlen der ICLR 2026. Die Konferenzleitung zählte 19.525 gültige Einreichungen und 76.139 Gutachten. Wie sich ein Schreibwerkzeug auf die Zahl der Einreichungen oder den Zeitaufwand der Gutachter auswirkt, hat die PaperOrchestra-Studie nicht erhoben. Rückblick der ICLR 2026 auf das Begutachtungsverfahren
