extraction-pipeline-patterns

抽出パイプラインパターン

形式検出、抽出器の優先度ルーティング、後処理、フォールバック、キャッシュ、並行性を扱う文書抽出パイプライン設計の指針。

AIスキル大辞典による日本語要約
品質評価90/100評価確度:十分
人気度(GitHub Star) 100発掘スコア 59
01

このSkillでできること

  • ✓MIMEやバイト列から形式を検出し、対応する抽出器へルーティングする設計を整理できる
  • ✓抽出結果を検証、品質処理、チャンク化、フック処理へ通す後処理フローを設計できる
  • ✓PDFのOCR、暗号化、入れ子アーカイブ、破損入力などのフォールバック方針を扱える
  • ✓キャッシュキー、設定ハッシュ、CPU数やcgroupに基づく並行性の考え方を確認できる
02

使い方

01
STEP 1

拡張子だけに依存せず、MIME検出と対応形式の検証を先に行う

02
STEP 2

形式ごとの抽出器を登録し、MIMEごとにpriorityが最も高い抽出器を選択する

03
STEP 3

すべての抽出結果を非同期またはWASM向けのパイプラインで後処理する

04
STEP 4

SecurityLimitsを適用し、部分結果とエラー位置を返す失敗時の挙動を確認する

03

Skillのインストール

このGitHubリポジトリにあるSkillを確認し、現在の環境に適した方法でインストールしてください。
インストール後、正常に利用できることを確認し、基本的な使い方も簡潔に説明してください。

Repository:
https://github.com/xberg-io/xberg
手動でインストールする

README / SKILL.mdから機械抽出できたコマンドのみ表示しています。推測したコマンドではありません。

pip install xberg
npm install @xberg-io/xberg
npm install @xberg-io/xberg-wasm
04

このSkillを使うプロンプト例

Skill名を明示すると、意図したSkillを使わせやすくなります。自動発動型では必須とは限りません。

文書抽出パイプラインの設計を確認してください。形式検出、抽出器の優先度ルーティング、後処理、PDFのOCRフォールバック、キャッシュ、並行性について、既存のパターンに沿って整理してください。
出力例を見る
形式検出→抽出器ルーティング→InternalDocument生成→検証・品質処理・チャンク化・フック処理→ExtractedDocument返却。PDFでは抽出テキストがないページをOCRへ回し、暗号化失敗時はis_encryptedをメタデータに記録する。
05

安全性チェック

自動解析による参考情報です。Skillの安全性を保証するものではありません。

外部API通信検出あり
Shellコマンド実行明確な記述なし
ファイル読み取り明確な記述なし
ファイル書き込み明確な記述なし
ネットワークアクセス検出あり
認証情報検出あり
検出根拠を見る
  • network: s exist, but no hit-rate ta […truncated…] sirchmunk](https://github.com/modelscope/sirchmunk)** | Turns raw data into a self-evolving, real-time search
  • network: ng, real-time search and intelligence layer | ![Stars](https://img.shields.io/github/stars/modelscope/sirchmunk?color=007ec6) | | **[support-chatbot](htt
  • credential: kage under `extractors/`. ## Fallback strategies - **Password-protected PDFs** — try the configured password, then the secondary list; on failure rep
  • credential: es - **Password-protected PDFs** — try the configured password, then the secondary list; on failure report `is_encrypted` in metadata rather than erro
06

関連Skill