Skip to content

Review prüft auch die Korrektheit - #54

Merged
Musiker15 merged 1 commit into
mainfrom
review-correctness
Nov 8, 2026
Merged

Musiker15 merged 1 commit into
mainfrom
review-correctness

Conversation

@Musiker15

@Musiker15 Musiker15 commented Nov 8, 2026 •

Copy link
Copy Markdown
Member

Unser Review war ein reines Security-Review: Es suchte nur Schwachstellen, die der Diff einführt, und ließ einen Befund nur mit Beweis gelten. Fachliche Fehler suchte es nicht. In OpenGewerk/opengewerk#866 und #867 hat CodeRabbit deshalb zwei Fehler gefunden und unser Review keinen: eine Frist im Löschkonzept, die der Takt eines Laufs nicht hielt, und eine Spalte der Tabelle, die am Telefon fehlte. In #866 hatte das Review die Frist sogar angesehen, aber nur am Namen des Helfers, nicht an seinem Code.

Was sich ändert

  • Der Auftrag hat einen Teil 2 „Korrektheit“. Ein Befund dort braucht keinen PoC, aber ein konkretes Szenario mit Datei und Zeile; Stil und Geschmack zählen nicht. Geprüft wird mindestens:
    • Zusagen am Mechanismus nachrechnen, im ungünstigsten Fall (Pause ab Ende des Laufs, Fehlschlag, Neustart),
    • Varianten eines Bildschirms, einer Route oder einer Funktion gegeneinander halten (Telefon und Schreibtisch, Tabelle und Kästen, beide Anwendungen auf dem Fundament),
    • Ränder,
    • ob ein Test rot würde, wenn der Fehler drin wäre.
  • Fehler in Code, den ein PR nicht berührt, stehen unter „Nebenbei gefunden“ und machen das Ergebnis nicht rot.
  • Familien aus beiden Audits als feste Prüfpunkte: Prüfen, dann schreiben ohne Sperre; doppelte oder später geänderte Felder im Abgleich; Aufwand nach Eingabe ohne Grenze; Zwischenspeicher ohne Konto und Mandant im Schlüssel; HTML ohne Escaping; Post, die beim Versand liest, was sich seit dem Einreihen geändert hat.
  • Neues aus dem Fundament braucht jede Anwendung. Fehlt die Einbindung in einer, wird das genannt.
  • Jede Entwarnung im Ledger nennt den Fall, der dagegen versucht wurde.
  • Der Bericht hat zwei Abschnitte, „Sicherheit“ und „Korrektheit“. REVIEW_RESULT: findings gilt für einen Befund in einem der beiden Teile.
  • Das Modell steht seit heute auf claude-opus-5-5 (Variable SECURITY_REVIEW_MODEL der Organisation, auf Wunsch von Moritz). Das war schon vorher die Vorgabe des Workflows; die Variable hatte sie mit Sonnet überschrieben.

Probe

Zwei Probe-PRs mit dem ersten Stand von #866 und #867, jeweils auf ihrer damaligen Basis und mit diesem Commit als Pin (OpenGewerk/opengewerk#868 und #869, danach geschlossen). Das Review hat in beiden genau den Fehler gefunden, den CodeRabbit gefunden hatte, mit demselben Vorschlag:

  • #868: es rechnet die Frist an repeat.ts nach und schlägt den stündlichen Lauf vor,
  • #869: es hält Tabelle und Kasten gegeneinander und vermisst den Link zum Regiebericht und die Artikelnummer.

Dazu kommt jeweils der erwartete Befund, dass der Pin nicht auf main liegt. In #868 nennt es außerdem die fehlende Einbindung in der Haustechnik als offenen Punkt.

Nach dem Merge hebe ich den Pin in den fünf Repositories an.

Summary by CodeRabbit

  • Chores
    • Automated reviews now assess both security and correctness, with separate findings for each.
    • Review results remain clean only when there are no findings or unresolved proof gaps.
    • Review guidance now covers implementation guarantees, variants, edge cases, and test coverage.

Das Review war ein reines Security-Review mit Beweispflicht und hat Fehler wie eine nicht gehaltene Frist (opengewerk#866) oder eine Spalte, die am Telefon fehlte (opengewerk#867), nicht gesucht. Teil 2 prüft Zusagen am Mechanismus, Varianten eines Bildschirms gegeneinander, Ränder und Tests; dazu die Familien aus den Audits und eine Gegenprobe jeder Entwarnung.
@coderabbitai

coderabbitai Bot commented Nov 8, 2026 •

Copy link
Copy Markdown

Explain Change →

Caution

Review failed

The pull request is closed.

Walkthrough

The workflow prompt now requests separate security and correctness reviews. It adds correctness review criteria, updates result markers, and specifies distinct finding formats for each review type.

Changes: Review prompt changes

Layer / File(s) Summary
Review scope and criteria
.github/workflows/security-review.yml
The workflow description and prompt now cover separate security and correctness reviews. Added correctness criteria address guarantees, variants, edge cases, test coverage, concrete scenarios, and attempted counterexamples. Project-specific guidance also covers platform capability adoption and previously observed bug families.
Result classification and findings
.github/workflows/security-review.yml
The clean result requires no findings or open proof gaps or follow-up items in either review. Security and correctness findings now use separate formats.

Estimated code review effort: 2 (Simple) | ~15 minutes

Change: Feature

Merge Risk: Low · up to 08d57

A review reporting only an issue in untouched code could incorrectly request changes. Clarify the result rule before merging, or accept this bounded risk.

- [ ] Autofix · Keep fixing CodeRabbit findings and required CI, and resolving merge conflicts

@Musiker15
Musiker15 merged commit 520efcc into main Nov 8, 2026
5 of 6 checks passed
@Musiker15
Musiker15 deleted the review-correctness branch November 8, 2026 13:59
Musiker15 added a commit to OpenGewerk/opengewerk-api-spec that referenced this pull request Nov 8, 2026
Hebt den Pin des Reviews der Organisation auf `520efcc` an, den Merge
von OpenGewerk/.github#54. Das Review prüft seitdem neben der Sicherheit
auch die Korrektheit eines Pull Requests: Zusagen am Mechanismus
nachrechnen, Varianten eines Bildschirms gegeneinander halten, Ränder,
ob ein Test den Fehler fangen würde. Dazu kommen die Fehlerfamilien aus
den Audits als feste Prüfpunkte. Das Modell steht seit dem 08.11.2026
auf Opus.

Warum: In OpenGewerk/opengewerk#866 und #867 hat CodeRabbit zwei Fehler
gefunden, die unser Review nicht gesucht hat. Die Probe mit dem neuen
Stand an genau diesen beiden Diffs hat beide gefunden
(OpenGewerk/opengewerk#868 und #869, geschlossen).


<!-- This is an auto-generated comment: release notes by coderabbit.ai
-->

<!-- coderabbit-ai-generated:v1 -->

## Summary by CodeRabbit

* **Geändert**
* Die Pull-Request-Prüfung bewertet nun neben Sicherheitsaspekten auch
die Korrektheit und verwendet ein anderes KI-Modell.

<!-- end of auto-generated comment: release notes by coderabbit.ai -->
Musiker15 added a commit to OpenGewerk/opengewerk-kanzlei that referenced this pull request Nov 8, 2026
Hebt den Pin des Reviews der Organisation auf `520efcc` an, den Merge
von OpenGewerk/.github#54. Das Review prüft seitdem neben der Sicherheit
auch die Korrektheit eines Pull Requests: Zusagen am Mechanismus
nachrechnen, Varianten eines Bildschirms gegeneinander halten, Ränder,
ob ein Test den Fehler fangen würde. Dazu kommen die Fehlerfamilien aus
den Audits als feste Prüfpunkte. Das Modell steht seit dem 08.11.2026
auf Opus.

Warum: In OpenGewerk/opengewerk#866 und #867 hat CodeRabbit zwei Fehler
gefunden, die unser Review nicht gesucht hat. Die Probe mit dem neuen
Stand an genau diesen beiden Diffs hat beide gefunden
(OpenGewerk/opengewerk#868 und #869, geschlossen).


<!-- This is an auto-generated comment: release notes by coderabbit.ai
-->

<!-- coderabbit-ai-generated:v1 -->

## Summary by CodeRabbit

* **Geändert**
* Der Organisations-Review prüft Pull Requests nun zusätzlich zur
Sicherheit auch auf Korrektheit.
  * Für den Review wird Opus statt Sonnet verwendet.
* **Dokumentation**
* Das Änderungsprotokoll wurde um die aktualisierten Review-Angaben
ergänzt.

<!-- end of auto-generated comment: release notes by coderabbit.ai -->
Musiker15 added a commit to OpenGewerk/opengewerk that referenced this pull request Nov 8, 2026
Hebt den Pin des Reviews der Organisation auf `520efcc` an, den Merge
von OpenGewerk/.github#54. Das Review prüft seitdem neben der Sicherheit
auch die Korrektheit eines Pull Requests: Zusagen am Mechanismus
nachrechnen, Varianten eines Bildschirms gegeneinander halten, Ränder,
ob ein Test den Fehler fangen würde. Dazu kommen die Fehlerfamilien aus
den Audits als feste Prüfpunkte. Das Modell steht seit dem 08.11.2026
auf Opus.

Warum: In #866 und #867 hat CodeRabbit zwei Fehler
gefunden, die unser Review nicht gesucht hat. Die Probe mit dem neuen
Stand an genau diesen beiden Diffs hat beide gefunden
(#868 und #869, geschlossen).


<!-- This is an auto-generated comment: release notes by coderabbit.ai
-->
<!-- coderabbit-ai-generated:v1 -->

## Summary by CodeRabbit

* **Geändert**
* Der Sicherheitsprüfungsprozess verwendet eine aktualisierte Version
des Prüfablaufs und nun Opus statt Sonnet als Prüfmodell.
  * Der Changelog dokumentiert diese Anpassungen.
* Die Änderungen betreffen den internen Prüf- und Dokumentationsablauf.
Die Nutzung der Anwendung und ihre Funktionen bleiben unverändert.
<!-- end of auto-generated comment: release notes by coderabbit.ai -->
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant