twin-eval｜AIスキル大辞典

このSkillでできること

✓rag・finetuned・hybridの生成モードをホールドアウトサンプルで評価する
✓盲検LLMによる基準別スコアと平均を記録する
✓モード間の差分を比較し、注意点を表示する
✓評価結果から自己完結型のHTMLレポートを作成する

使い方

STEP 1

評価用のpairs.jsonl・holdout.jsonlとインデックスを準備する

STEP 2

判定モデルに加え、finetuned・hybridでは必要なモデル提供環境を準備する

STEP 3

モードごとに評価を実行し、必要に応じて少数サンプルで確認する

STEP 4

比較結果と注意点を確認し、HTMLレポートを生成する

Skillのインストール

AIにこのSkillを追加してもらう

GitHub URLごとCodexやClaude Codeへ渡し、現在の環境に合う方法を判断してもらいます。

このGitHubリポジトリにあるSkillを確認し、現在の環境に適した方法でインストールしてください。
インストール後、正常に利用できることを確認し、基本的な使い方も簡潔に説明してください。

Repository:
https://github.com/klitale/digital-twin

手動でインストールする

README / SKILL.mdから機械抽出できたコマンドのみ表示しています。推測したコマンドではありません。

git clone https://github.com/klitale/digital-twin && cd digital-twin
uv sync && uv run pre-commit install
cp .env.example .env               # tokens, ids, model ids; see the comments inside
uv run twin ingest                 # messages -> pairs + time-based holdout, profiling report
uv run twin style-profile          # 20-30 Russian style rules (hand-editable)
uv run twin index                  # Chroma index of the training pairs
uv run twin chat                   # talk to the twin in the terminal (rag mode)
uv run twin run --dry-run          # the bot: replies are logged, nothing is sent
uv run twin eval --mode rag && uv run twin compare && uv run twin report

このSkillを使うプロンプト例

Skill名を明示すると、意図したSkillを使わせやすくなります。自動発動型では必須とは限りません。

rag、finetuned、hybridの評価を実行して比較し、HTMLレポートを作成してください。各スコアとフォールバックなどの注意点も示してください。

出力例を見る

モード別の評価結果、ragを基準にした差分、Caveats（異なるサンプル、無応答、フォールバックなど）、およびdata/eval/report.htmlのレポート。

安全性チェック

自動解析による参考情報です。Skillの安全性を保証するものではありません。

外部API通信検出あり

Shellコマンド実行明確な記述なし

ファイル読み取り明確な記述なし

ファイル書き込み検出あり

ネットワークアクセス検出あり

認証情報検出あり

検出根拠を見る

file_write: & cd digital-twin uv sync && uv run pre-commit install cp .env.example .env # tokens, ids, model ids; see the comments inside # put th
network: Architecture [large code block omitted]bash git clone https://github.com/klitale/digital-twin && cd digital-twin uv sync && uv run pre-commit install cp
credential: hable; for `finetuned`/`hybrid` also `FT_BASE_URL`/`FT_API_KEY`/`FT_MODEL` and a deployed serving app (`uv run twin smoke-test-model --model ` first
credential: refuse commits containing Telegram ids, phone numbers, API keys or any string from a private blocklist; tests and docs use synthetic fixtures only. The

twin-eval

このSkillでできること

使い方

Skillのインストール

AIにこのSkillを追加してもらう

このSkillを使うプロンプト例

安全性チェック

関連Skill

create-verification-skill

asd-ste100

mintlify