Skip to content

[P9] 構造化ベンチ出力とマトリクス実行スクリプトを追加する #38

Description

@thawk105

親イシュー: #29
依存: なし(いつでも着手可能)

概要

現在のベンチ出力は構造化されておらず、複数プロトコルを一括実行して結果を比較するワークフローが構築されていない。--output-format=json 対応とマトリクス実行スクリプトを追加することで、再現性の高いベンチマーク環境を構築する。

やること

  • common/--output-format=json / --output=run.json フラグを追加する
    • 出力フォーマット例:
{
  "config": {"protocol": "silo", "workload": "ycsb", "threads": 16},
  "env": {"cpu": "...", "freq_ghz": 3.2},
  "per_thread": [...],
  "aggregate": {"throughput_txps": 1234567, "abort_rate": 0.02}
}
  • scripts/run_matrix.py を作成する
    • 実行マトリクス(プロトコル×ワークロード×スレッド数等)をYAMLで定義する
    • 定義に従って各バイナリを順次実行し、結果をディレクトリに保存する
  • ccdata リポジトリとの連携次第を定義する(結果保存先の明記)

完了条件

  • --output-format=json で実行すると構造化されたJSONが出力されること
  • scripts/run_matrix.py がマトリクYAMLを読み込みベンチを一括実行できること
  • ccdata リポジトリの役割がドキュメント化されていること

備考

  • 実験の再現性向上に寄与し、論文投稿時の結果引用を容易にするタスク

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions