Skip to content

Releases: akkie76/code-review-skills

v1.0.0

Choose a tag to compare

@akkie76 akkie76 released this 10 Oct 09:52
ca7b11c

Code Review Skills v1.0.0 is the first stable release of an evidence-driven code review workflow for Codex and Claude Code.

This release establishes a stable, documented review-output contract. It does not make review findings deterministic: results can vary with the model, agent version, available tools, repository guidance, and project context. The Skill does not guarantee that every defect will be found or that every reported finding will be correct.

What is stable in v1.0.0

The compatibility contract covers the documented structure of actionable findings:

  • Finding titles use the ACTION(Viewpoint): format.
  • Action levels communicate the expected response: MUST, SHOULD, BETTER, and NITS.
  • Viewpoint tags identify the concern, such as Functionality, Test, Simplicity, or Document.
  • Actionable findings include a location, concrete evidence, trigger or conditions, impact, and a proportionate direction.

The contract stabilizes the output format—not the exact wording, finding count, line range, severity judgment, or detection rate. The versioning policy explains compatibility expectations and how incompatible changes are versioned.

Highlights

  • Strengthened the workflow for checking supporting claims, including claims made in questions, summaries, and qualified statements, while avoiding findings for accurate, non-actionable scope notes.
  • Clarified when to report new violations of mandatory repository rules, setup instructions that prevent startup, change-created dead helpers, and behavior-specific test gaps.
  • Distributed the shared review workflow as packages for Codex and Claude Code.
  • Added an opt-in local evaluation runner with isolated revision snapshots and recorded invocation evidence.
  • Added a separate human-adjudicated scoring workflow, using an agreed threshold of 80 points per agent.
  • Updated installation, support, security, and release documentation for stable use.

Evaluation evidence

The v2 evaluation used 29 synthetic primary fixtures. Strict primary scoring recorded:

  • Codex: 27/29 passes
  • Claude Code: 26/29 passes

Both results exceeded the pre-agreed 80% threshold. The campaign also included six diagnostic repeats per agent. Claude Code runs were reused from the original campaign; Codex runs were replaced after a timeout. Scoring was adjudicated by the maintainer with assistant-assisted analysis, and the agents ran with different permission and isolation configurations.

These results are limited to the stated fixtures and evaluation conditions. They are not a measure of production review accuracy and do not establish that the Skill alone caused the outcomes. The evaluation report documents the methodology, case-level decisions, and limitations: English · 日本語.

Known deviations

Strict mismatches remain recorded as failures in the evaluation report; they have not been reclassified as passes.

  • Codex: used MUST(Style) instead of the expected NITS(Style) for a minor project-style issue, and omitted a required BETTER(Simplicity) finding while offering a valid test suggestion.
  • Claude Code: used MUST(Test) instead of the expected SHOULD(Test) for an ineffective regression test; included unsupported or inaccurate supporting details in two cases; and used an imprecise location for a dead helper in one repeat.

The maintainer accepted these deviations for v1.0.0 because the required core defects were detected and both agents exceeded the agreed threshold. The strict evaluation still counts each mismatch as a failure.

Install or upgrade

Install the complete package from the v1.0.0 tag by following the installation guide. When upgrading, replace the complete installed package rather than copying only SKILL.md; then confirm that its version marker reads <!-- skill-version: v1.0.0 -->.

For review conventions, support, and security reporting, see the review comment guide, support policy, and security policy.

日本語

Code Review Skills v1.0.0は、CodexとClaude Code向けの、根拠を重視したコードレビュー手法の初回安定版です。

本リリースでは、文書化されたレビュー出力形式を安定仕様として定めました。一方、レビュー結果が常に同一になるわけではありません。モデル、エージェントのバージョン、利用可能なツール、リポジトリのガイドライン、プロジェクトの文脈によって結果は変わります。すべての不具合を検出できることや、すべての指摘が正しいことは保証しません。

v1.0.0で安定する仕様

互換性の対象は、対応が必要な指摘の文書化された出力形式です。

  • 指摘タイトルはACTION(Viewpoint):形式です。
  • 対応レベルは、期待する対応を示すMUST、SHOULD、BETTER、NITSです。
  • 観点タグは、Functionality、Test、Simplicity、Documentなど、指摘の観点を示します。
  • 対応が必要な指摘には、対象箇所、具体的な根拠、発生条件、影響、問題に応じた修正の方向性を含めます。

安定するのは出力形式であり、表現、指摘数、行番号、重要度の判断、検出率ではありません。互換性と破壊的変更のバージョン方針はバージョン方針を参照してください。

主な変更

  • 質問、要約、断り付きの文を含む補強根拠を確認し、正確で対応不要な対象範囲の注記を指摘として扱わないよう、レビュー手順を強化しました。
  • 必須のリポジトリ規約への新たな違反、起動を妨げるセットアップ手順、変更によって生じた未使用ヘルパー、挙動変更に対応するテスト不足の扱いを明確にしました。
  • 共通のレビュー手法からCodexとClaude Code向けのパッケージを提供します。
  • revisionごとの隔離snapshotと呼び出し根拠を記録する、任意実行のローカル評価runnerを追加しました。
  • エージェントごとに合意済みの80点を基準とする、人手判定の採点手順を追加しました。
  • 安定版の利用に向け、インストール、サポート、セキュリティ、リリースに関するドキュメントを整備しました。

評価結果とその制約

v2評価では29件の合成fixtureを用いました。厳密な基本評価の結果は次のとおりです。

  • Codex:29件中27件合格
  • Claude Code:29件中26件合格

どちらも事前に合意した80%基準を上回りました。また、エージェントごとに6件の診断用反復を実施しました。Claude Codeの実行記録は最初のcampaignから再利用し、Codexはtimeout後に実行を置き換えています。採点はアシスタントの支援を伴うメンテナー判定で、両エージェントの権限・隔離条件も異なります。

この結果は、記載されたfixtureと評価条件に限られます。実運用のレビュー精度を示すものではなく、結果がSkillだけによって生じたことを証明するものでもありません。方法、caseごとの判定、制約は評価レポート(英語) · 評価レポート(日本語)に記載しています。

既知の不一致

厳密な採点上の不一致は、合格に読み替えず、評価レポートに失敗として記録しています。

  • Codex: 軽微なプロジェクトスタイルの問題を、期待されたNITS(Style)ではなくMUST(Style)としました。また、有効なテスト提案を出した一方で、必要なBETTER(Simplicity)の指摘を省略しました。
  • Claude Code: 効果のない回帰テストを、期待されたSHOULD(Test)ではなくMUST(Test)としました。また、2件で根拠のない、または不正確な補足を含み、反復評価の1件ではデッドコードの位置が不正確でした。

必須の中核的な不具合は検出され、両エージェントが合意済みの基準を超えたため、メンテナーはこれらの差異をv1.0.0で許容しました。ただし、厳密な評価では各不一致を引き続き失敗として扱っています。

インストールと更新

インストールガイドに従い、v1.0.0タグのパッケージ全体をインストールしてください。更新時もSKILL.mdだけではなく、パッケージ全体を置き換え、バージョン表記が<!-- skill-version: v1.0.0 -->であることを確認してください。

レビューコメントの規約、サポート、脆弱性報告については、レビューコメントガイド、サポート方針、セキュリティポリシーを参照してください。

v0.1.0-beta.2

v0.1.0-beta.2 Pre-release
Pre-release

Choose a tag to compare

@akkie76 akkie76 released this 04 Oct 11:22
6f6b54d

Overview

日本語版リリースノート

This beta expands behavioral evaluation, makes installed Skill versions identifiable, and clarifies how the Skill works alongside repository-specific review instructions.

Included

  • Ten new behavioral evaluation cases, bringing the suite to 28. They include Go, Java, and Python changes, a larger multi-file change, and cases designed to detect unsupported findings.
  • CI checks that apply fixture patches and verify Java 17, Go 1.22, and Python 3.11 sources. These checks validate the fixtures; they do not measure AI review accuracy.
  • A skill-version comment in both generated packages and a documented versioning and compatibility policy.
  • Clarified guidance for using the Skill alongside repository instructions such as AGENTS.md and CLAUDE.md, including explicit invocation in Claude Code.
  • A link to コードレビューの教科書, whose ideas informed this independently authored Skill.

Beta limitations

  • In single-run, manually scored release-candidate evaluations, exact fixture expectations were met in 25 of 29 Codex runs and 27 of 29 Claude Code runs. These results are not a general accuracy rate.
  • An unsupported supporting claim was observed in Claude Code evaluation and remains tracked in issue #35.
  • This release does not intentionally change the documented finding-prefix or output contract. As a pre-1.0 beta, it does not guarantee compatibility in future releases or identical findings across runs. Results depend on the agent, model, repository context, and available tools.
  • Evidence-backed Issues are welcome. Please read the support policy before reporting an issue; pull requests require prior agreement, and responses or fixes are not guaranteed.

Follow the installation instructions in the English or Japanese README and review the Skill before enabling it in a development environment.

Code Review Skills v0.1.0-beta.1

Pre-release

Choose a tag to compare

@akkie76 akkie76 released this 27 Sep 08:35
6822a87

Overview

This is the first beta release of Code Review Skills, an evidence-driven
code-review workflow for Codex and Claude Code.

The Skill is designed to help AI coding agents identify actionable defects
while reducing style-only comments, unsupported speculation, and false
positives.

Highlights

  • Installable evidence-code-review Skill packages for Codex and Claude Code.
  • Evidence-backed findings with explicit location, trigger, impact, and
    remediation direction.
  • Consistent MUST, SHOULD, BETTER, and NITS action levels.
  • Review viewpoints for functionality, design, simplicity, naming, style,
    tests, and documentation.
  • Risk-based checks covering correctness, interfaces, security, reliability,
    maintainability, tests, and operations.
  • Tracing of existing callers, shared-handler variants, and equivalent paths
    within the same diff.
  • Focused verification of risky inputs and candidate findings.
  • Optional multi-agent decomposition with independent validation and a required
    reconciliation pass.
  • Detection of dead code introduced by the reviewed change after confirming
    that no consumer remains.
  • English and Japanese review output.
  • Reproducible offline package generation and structural validation.
  • Behavioral evaluation fixtures for defect detection and false-positive
    control.
  • Structured Issue forms for evidence-backed beta feedback.

Installation

Clone the repository and copy the complete package directory for the agent you
use. Copying only SKILL.md omits required references.

See the installation instructions:

Beta limitations

  • Review accuracy depends on the host agent, model, repository context, project
    guidance, and available tools.
  • The included evaluation runner validates fixture structure but does not call
    an AI service. Agent behavior requires separate manual evaluation.
  • Marketplace-based plugin installation is not included in this release.
  • Evidence-backed Issues are welcome, but responses and fixes are not
    guaranteed.
  • Pull requests require prior agreement with the maintainer.

Please review the Skill instructions before enabling them in a development
environment.


概要

Code Review Skillsの最初のベータ版です。

CodexとClaude Codeによるコードレビューで、スタイル上の好みや根拠のない推測、
誤検知を抑えながら、対応すべき問題を発見するためのワークフローを提供します。

主な内容

  • CodexとClaude Code向けのevidence-code-review Skillパッケージ
  • 指摘箇所、根拠、発生条件、影響、修正方向を明確にする出力ルール
  • MUST、SHOULD、BETTER、NITSによる一貫した対応要否
  • Functionality、Design、Simplicity、Naming、Style、Test、Documentの
    レビュー観点
  • 正しさ、インターフェース、セキュリティ、信頼性、保守性、テスト、運用に対する
    リスクベースの確認
  • 既存の呼び出し元、共有handlerのvariant、同一diff内の同等処理の追跡
  • 危険な入力や指摘候補に対するfocused verification
  • 独立した検証と必須の統合確認を伴う、任意の複数エージェント分解
  • 利用箇所が残っていないことを確認したうえで、変更が生んだデッドコードを検出する観点
  • 英語と日本語によるレビュー出力
  • 再現可能なオフライン生成と構造検証
  • 不具合検出と誤検知抑制を評価する行動評価fixture
  • 根拠を添えたベータ版feedbackを受け付けるIssue form

インストール

リポジトリをcloneし、利用するエージェント向けのpackage directory全体を
コピーしてください。SKILL.mdだけをコピーすると、必要なreferenceが含まれません。

インストール手順:

ベータ版の制約

  • レビュー精度は、ホストエージェント、モデル、リポジトリのcontext、
    プロジェクト固有の情報、利用可能なtoolに依存します。
  • 評価runnerはfixtureの構造を検証しますが、AIサービスは呼び出しません。
    エージェントの動作は別途手動で評価する必要があります。
  • このリリースにはmarketplace経由のプラグインインストールを含みません。
  • 根拠を添えたIssueを受け付けますが、返信や修正は保証しません。
  • Pull Requestにはメンテナーとの事前合意が必要です。

開発環境で有効化する前に、Skillの内容を確認してください。