extraction-pipeline-patterns

抽出パイプラインパターン

形式検出から抽出器の選択、後処理、フォールバック、キャッシュ、並行性まで文書抽出パイプライン全体を扱うスキル。

AIスキル大辞典による日本語要約
品質評価90/100評価確度:十分
人気度(GitHub Star) 100発掘スコア 59
01

このSkillでできること

  • ✓MIMEやバイト列から形式を検出し、優先度に基づいて抽出器を選択する
  • ✓抽出後の検証、品質処理、チャンク化、フック実行の流れを診断する
  • ✓PDFのOCRフォールバック、暗号化、ネストしたアーカイブ、破損入力を扱う
  • ✓キャッシュキー、設定ハッシュ、CPU数やcgroup上限に基づく並行性を確認する
02

使い方

01
STEP 1

形式検出、抽出器ルーティング、抽出、後処理の順に処理経路を確認する

02
STEP 2

すべての抽出結果がrun_pipelineまたはrun_pipeline_syncを通ることを確認する

03
STEP 3

フォールバック対象をUnsupportedFormatとPluginエラーに限定し、他のエラーは中断させる

04
STEP 4

SecurityLimits、キャッシュのビルド識別子、全入力読み込みの仕様を確認する

03

Skillのインストール

このGitHubリポジトリにあるSkillを確認し、現在の環境に適した方法でインストールしてください。
インストール後、正常に利用できることを確認し、基本的な使い方も簡潔に説明してください。

Repository:
https://github.com/kreuzberg-dev/kreuzberg
手動でインストールする

README / SKILL.mdから機械抽出できたコマンドのみ表示しています。推測したコマンドではありません。

pip install xberg
pip install xberg --extra-index-url https://xberg-io.github.io/python-wheels/simple/
npm install @xberg-io/xberg
npm install @xberg-io/xberg-wasm
04

このSkillを使うプロンプト例

Skill名を明示すると、意図したSkillを使わせやすくなります。自動発動型では必須とは限りません。

抽出パイプラインの変更を診断してください。形式検出、抽出器の優先度、後処理、フォールバック条件、キャッシュキー、並行性、安全制限の順に、既存の設計ルールに沿って確認してください。
出力例を見る
検出後にMIMEへ対応する最高優先度の抽出器を選択し、抽出結果を必ず後処理パイプラインへ渡します。UnsupportedFormatとPluginエラーのみフォールバック対象とし、アーカイブにはSecurityLimitsを適用します。
05

安全性チェック

自動解析による参考情報です。Skillの安全性を保証するものではありません。

外部API通信検出あり
Shellコマンド実行明確な記述なし
ファイル読み取り明確な記述なし
ファイル書き込み明確な記述なし
ネットワークアクセス検出あり
認証情報検出あり
検出根拠を見る
  • network: :fs::read`; there is no ` […truncated…] sirchmunk](https://github.com/modelscope/sirchmunk)** | Turns raw data into a self-evolving, real-time search
  • network: ng, real-time search and intelligence layer | ![Stars](https://img.shields.io/github/stars/modelscope/sirchmunk?color=007ec6) | | **[support-chatbot](htt
  • credential: kage under `extractors/`. ## Fallback strategies - **Password-protected PDFs** — try the configured password, then the secondary list; on failure rep
  • credential: es - **Password-protected PDFs** — try the configured password, then the secondary list; on failure report `is_encrypted` in metadata rather than erro
06

関連Skill