# 現在のスケジューラ確認
cat /sys/block/sda/queue/scheduler
# [mq-deadline] bfq none
# → [] で囲まれているのが現在のスケジューラ
 
# 全ブロックデバイスのスケジューラ確認
for dev in /sys/block/*/queue/scheduler; do
  echo "$(dirname $(dirname $dev) | xargs basename): $(cat $dev)"
done
# sda: [mq-deadline] bfq none
# nvme0n1: [none] mq-deadline bfq
 
# スケジューラ変更（一時的）
echo "mq-deadline" | sudo tee /sys/block/sda/queue/scheduler
echo "none" | sudo tee /sys/block/nvme0n1/queue/scheduler
 
# スケジューラ変更（永続化、udevルール）
# /etc/udev/rules.d/60-ioschedulers.rules
# HDD向け
ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="1", \
  ATTR{queue/scheduler}="mq-deadline"
 
# SSD向け
ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="0", \
  ATTR{queue/scheduler}="none"
 
# NVMe向け
ACTION=="add|change", KERNEL=="nvme[0-9]*", \
  ATTR{queue/scheduler}="none"
 
# udevルールのリロード
sudo udevadm control --reload-rules
sudo udevadm trigger
 
# 回転デバイスかどうかの確認
cat /sys/block/sda/queue/rotational
# 1 = HDD（回転ディスク）
# 0 = SSD（非回転）
 
# スケジューラのパラメータ確認
ls /sys/block/sda/queue/iosched/
# → read_expire, write_expire, writes_starved, ...
 
# パラメータの変更
echo 300 | sudo tee /sys/block/sda/queue/iosched/read_expire
echo 3000 | sudo tee /sys/block/sda/queue/iosched/write_expire

# ページキャッシュの状態確認
free -h
# total   used   free   shared  buff/cache  available
# 16Gi   4.5Gi  1.2Gi  256Mi   10.3Gi       11.0Gi
# → buff/cache の 10.3GB がページキャッシュ + バッファ
# → available の 11.0GB が実際に使えるメモリ
 
# より詳細な情報
cat /proc/meminfo | grep -E "^(MemTotal|MemFree|Buffers|Cached|Dirty|Writeback)"
# MemTotal:       16384000 kB
# MemFree:         1200000 kB
# Buffers:          256000 kB
# Cached:         10000000 kB   ← ページキャッシュ
# Dirty:             32000 kB   ← 未書き出しデータ
# Writeback:             0 kB   ← 書き出し中データ
 
# ページキャッシュのクリア（テスト・ベンチマーク用）
# 注意: 本番環境では実行しないこと！
sudo sync                                    # dirty ページを書き出し
echo 1 | sudo tee /proc/sys/vm/drop_caches  # ページキャッシュクリア
echo 2 | sudo tee /proc/sys/vm/drop_caches  # dentry/inodeキャッシュ
echo 3 | sudo tee /proc/sys/vm/drop_caches  # 両方クリア
 
# ダーティページの設定（書き出しタイミング制御）
# ダーティ比率（全メモリに対するダーティページの割合）
cat /proc/sys/vm/dirty_ratio           # デフォルト: 20
cat /proc/sys/vm/dirty_background_ratio # デフォルト: 10
cat /proc/sys/vm/dirty_expire_centisecs # デフォルト: 3000 (30秒)
cat /proc/sys/vm/dirty_writeback_centisecs # デフォルト: 500 (5秒)
 
# dirty_ratio: この割合を超えるとwrite()がブロック
# dirty_background_ratio: この割合を超えるとバックグラウンド書き出し開始
 
# DB サーバー向け設定（より頻繁に書き出し）
sudo sysctl -w vm.dirty_ratio=5
sudo sysctl -w vm.dirty_background_ratio=2
sudo sysctl -w vm.dirty_expire_centisecs=500
 
# 大容量メモリサーバー向け（バイト単位で指定）
sudo sysctl -w vm.dirty_bytes=268435456           # 256MB
sudo sysctl -w vm.dirty_background_bytes=67108864 # 64MB

# 先読みサイズの確認
cat /sys/block/sda/queue/read_ahead_kb
# デフォルト: 128 (128KB)
 
# 先読みサイズの変更
echo 256 | sudo tee /sys/block/sda/queue/read_ahead_kb   # 256KB
echo 2048 | sudo tee /sys/block/sda/queue/read_ahead_kb  # 2MB
 
# 推奨設定:
# HDD: 256〜1024KB（シーケンシャル読み取りが多い場合）
# SSD: 128〜256KB（デフォルトで十分）
# RAID: 1024〜4096KB（ストライプサイズに合わせる）
# データベース: 小さめ（ランダムI/Oが多い）
 
# blockdev での設定
sudo blockdev --getra /dev/sda    # 先読みサイズ取得（セクタ単位）
sudo blockdev --setra 512 /dev/sda # 256KB（512セクタ×512B）
 
# アプリケーション単位の先読み制御
# posix_fadvise() システムコール
# POSIX_FADV_SEQUENTIAL: シーケンシャルアクセスを宣言
# POSIX_FADV_RANDOM:     ランダムアクセスを宣言
# POSIX_FADV_WILLNEED:   近い将来アクセスする
# POSIX_FADV_DONTNEED:   もうアクセスしない（キャッシュ解放ヒント）

// io_uring の基本的な使用例（C言語）
#include <liburing.h>
#include <fcntl.h>
#include <stdio.h>
#include <string.h>
 
int main() {
    struct io_uring ring;
    struct io_uring_sqe *sqe;
    struct io_uring_cqe *cqe;
    char buf[4096];
    int fd;
 
    // io_uring の初期化（キュー深度128）
    io_uring_queue_init(128, &ring, 0);
 
    // ファイルオープン
    fd = open("test.txt", O_RDONLY);
 
    // Submission Queue Entry を取得
    sqe = io_uring_get_sqe(&ring);
 
    // 読み取りリクエストを準備
    io_uring_prep_read(sqe, fd, buf, sizeof(buf), 0);
 
    // リクエストを投入
    io_uring_submit(&ring);
 
    // 完了待ち
    io_uring_wait_cqe(&ring, &cqe);
 
    printf("Read %d bytes\n", cqe->res);
 
    // 完了エントリを消費
    io_uring_cqe_seen(&ring, cqe);
 
    // クリーンアップ
    close(fd);
    io_uring_queue_exit(&ring);
    return 0;
}
 
// コンパイル: gcc -o io_uring_example io_uring_example.c -luring

# === iostat: デバイスレベルの I/O 統計 ===
iostat -x 1 5     # 拡張統計、1秒間隔、5回
# Device  r/s   w/s   rkB/s  wkB/s  rrqm/s  wrqm/s  %util  await
# sda     50.0  30.0  200.0  120.0  5.0     10.0    45.0   8.50
 
# 主要な指標:
# r/s, w/s:      読み取り/書き込みの IOPS
# rkB/s, wkB/s:  読み取り/書き込みのスループット
# await:         I/O の平均待ち時間（ms）
# %util:         デバイスの稼働率（100%に近いと飽和）
# avgqu-sz:      平均キュー長
# svctm:         平均サービス時間（非推奨、不正確）
 
# === iotop: プロセスレベルの I/O 統計 ===
sudo iotop -o     # I/O を行っているプロセスのみ表示
sudo iotop -b     # バッチモード（スクリプト用）
sudo iotop -a     # 累積表示
 
# === blktrace: ブロックレベルの詳細トレース ===
# トレースの開始
sudo blktrace -d /dev/sda -o trace
 
# トレースの解析
blkparse -i trace -d output.bin
 
# BPF ベースのトレース（より軽量）
sudo biosnoop-bpfcc             # I/O レイテンシの表示
sudo biotop-bpfcc               # I/O のトップ表示
sudo biolatency-bpfcc           # I/O レイテンシのヒストグラム
 
# === pidstat: プロセスごとの I/O 統計 ===
pidstat -d 1      # I/O 統計、1秒間隔
# PID   kB_rd/s  kB_wr/s  kB_ccwr/s  Command
# 1234  500.0    200.0    0.0        mysqld
 
# === vmstat: システム全体の I/O 概要 ===
vmstat 1
# bi: ブロック入力（読み取り、blocks/s）
# bo: ブロック出力（書き込み、blocks/s）
# wa: I/O 待ち時間の割合（%）

# === fio: 標準的なストレージベンチマークツール ===
 
# シーケンシャル読み取り
fio --name=seq_read \
    --rw=read \
    --bs=1M \
    --size=4G \
    --numjobs=1 \
    --runtime=60 \
    --time_based \
    --ioengine=libaio \
    --direct=1 \
    --iodepth=64
 
# ランダム読み取り（4K、データベースワークロード模擬）
fio --name=rand_read_4k \
    --rw=randread \
    --bs=4k \
    --size=4G \
    --numjobs=8 \
    --runtime=60 \
    --time_based \
    --ioengine=libaio \
    --direct=1 \
    --iodepth=32 \
    --group_reporting
 
# ランダム書き込み（4K）
fio --name=rand_write_4k \
    --rw=randwrite \
    --bs=4k \
    --size=4G \
    --numjobs=8 \
    --runtime=60 \
    --time_based \
    --ioengine=libaio \
    --direct=1 \
    --iodepth=32 \
    --group_reporting
 
# 混合ワークロード（70% 読み取り / 30% 書き込み）
fio --name=mixed \
    --rw=randrw \
    --rwmixread=70 \
    --bs=4k \
    --size=4G \
    --numjobs=8 \
    --runtime=60 \
    --time_based \
    --ioengine=libaio \
    --direct=1 \
    --iodepth=32 \
    --group_reporting
 
# io_uring エンジンの使用（Linux 5.1+）
fio --name=io_uring_test \
    --rw=randread \
    --bs=4k \
    --size=4G \
    --numjobs=4 \
    --runtime=60 \
    --time_based \
    --ioengine=io_uring \
    --direct=1 \
    --iodepth=128 \
    --fixedbufs=1 \
    --registerfiles=1 \
    --sqthread_poll=1
 
# レイテンシ分布の確認
fio --name=latency \
    --rw=randread \
    --bs=4k \
    --size=1G \
    --numjobs=1 \
    --runtime=30 \
    --time_based \
    --ioengine=libaio \
    --direct=1 \
    --iodepth=1 \
    --lat_percentiles=1 \
    --percentile_list=50:90:95:99:99.9:99.99
 
# 結果の読み方:
# IOPS:     1秒あたりのI/O操作数
# BW:       帯域幅（スループット）
# lat:      レイテンシ（avg, min, max, percentiles）
# clat:     完了レイテンシ
# slat:     提出レイテンシ

# 全デバイスのスケジューラ確認
for dev in /sys/block/*/queue/scheduler; do
  echo "$(dirname $(dirname $dev) | xargs basename): $(cat $dev)"
done
 
# スケジューラの変更（一時的）
echo "bfq" | sudo tee /sys/block/sda/queue/scheduler
cat /sys/block/sda/queue/scheduler
 
# スケジューラパラメータの確認
ls /sys/block/sda/queue/iosched/
for param in /sys/block/sda/queue/iosched/*; do
  echo "$(basename $param): $(cat $param)"
done
 
# デバイス種別の確認
for dev in /sys/block/*/queue/rotational; do
  name=$(dirname $(dirname $dev) | xargs basename)
  type=$(cat $dev)
  echo "$name: $([ $type -eq 1 ] && echo 'HDD' || echo 'SSD')"
done

# テスト用の大きなファイルを作成
dd if=/dev/urandom of=/tmp/testfile bs=1M count=512
 
# キャッシュクリア
sudo sync
echo 3 | sudo tee /proc/sys/vm/drop_caches
 
# 1回目の読み取り（ディスクから）
echo "=== 1回目（ディスクから）==="
time dd if=/tmp/testfile of=/dev/null bs=1M
# → 数秒かかる
 
# 2回目の読み取り（ページキャッシュから）
echo "=== 2回目（キャッシュから）==="
time dd if=/tmp/testfile of=/dev/null bs=1M
# → 1秒未満
 
# キャッシュ状態の確認
cat /proc/meminfo | grep -E "^(Cached|Buffers)"
 
# 特定ファイルのキャッシュ状態確認（fincore, Linux 4.2+）
fincore /tmp/testfile
# → RES: キャッシュに載っているサイズ
# → PAGES: キャッシュされたページ数
 
# クリーンアップ
rm /tmp/testfile

# iostat で I/O 状況をモニタリング
# ターミナル1: I/O 負荷の発生
fio --name=load --rw=randrw --bs=4k --size=1G \
    --numjobs=4 --runtime=60 --time_based \
    --ioengine=libaio --direct=1 --iodepth=32
 
# ターミナル2: モニタリング
iostat -x 1 | tee /tmp/iostat.log
 
# 主要指標の解析
# await が高い → I/O レイテンシ問題
# %util が 100% に近い → デバイス飽和
# avgqu-sz が大きい → キューが長い
# rrqm/s, wrqm/s → I/O マージの効果
 
# iotop でプロセスレベルの分析
sudo iotop -o -d 1
 
# BPF ツールによる詳細分析（bcc-tools パッケージ）
# I/O レイテンシのヒストグラム
sudo biolatency-bpfcc 10 1
# → レイテンシの分布を確認
 
# 個々のI/Oリクエストの詳細
sudo biosnoop-bpfcc
# TIME     COMM     PID  DISK  T  SECTOR  BYTES  LAT(ms)
 
# I/O パターンの可視化
sudo bitesize-bpfcc
# → I/O サイズの分布を確認

# 各スケジューラでのベンチマーク比較
for sched in mq-deadline bfq none; do
  echo "=== Scheduler: $sched ==="
  echo "$sched" | sudo tee /sys/block/sda/queue/scheduler
 
  fio --name=${sched}_test \
      --rw=randread --bs=4k --size=1G \
      --numjobs=4 --runtime=30 --time_based \
      --ioengine=libaio --direct=1 --iodepth=32 \
      --group_reporting \
      --output-format=terse \
    | awk -F';' '{print "IOPS:", $8, "BW:", $7, "lat:", $40}'
 
  echo ""
done

# デバッグ用ユーティリティ
import logging
import traceback
from functools import wraps
 
# ロガーの設定
logging.basicConfig(
    level=logging.DEBUG,
    format='%(asctime)s [%(levelname)s] %(name)s: %(message)s'
)
logger = logging.getLogger(__name__)
 
def debug_decorator(func):
    """関数の入出力をログ出力するデコレータ"""
    @wraps(func)
    def wrapper(*args, **kwargs):
        logger.debug(f"呼び出し: {func.__name__}(args={args}, kwargs={kwargs})")
        try:
            result = func(*args, **kwargs)
            logger.debug(f"戻り値: {func.__name__} -> {result}")
            return result
        except Exception as e:
            logger.error(f"例外発生: {func.__name__}: {e}")
            logger.error(traceback.format_exc())
            raise
    return wrapper
 
@debug_decorator
def process_data(items):
    """データ処理（デバッグ対象）"""
    if not items:
        raise ValueError("空のデータ")
    return [item * 2 for item in items]

# 設計判断の記録テンプレート
class ArchitectureDecisionRecord:
    """ADR (Architecture Decision Record) の作成"""
 
    def __init__(self, title: str):
        self.title = title
        self.context = ""
        self.decision = ""
        self.consequences = []
        self.alternatives = []
 
    def set_context(self, context: str):
        """背景と課題の記述"""
        self.context = context
        return self
 
    def set_decision(self, decision: str):
        """決定内容の記述"""
        self.decision = decision
        return self
 
    def add_consequence(self, consequence: str, positive: bool = True):
        """結果の追加"""
        self.consequences.append({
            'description': consequence,
            'type': 'positive' if positive else 'negative'
        })
        return self
 
    def add_alternative(self, name: str, reason_rejected: str):
        """却下した代替案の追加"""
        self.alternatives.append({
            'name': name,
            'reason_rejected': reason_rejected
        })
        return self
 
    def to_markdown(self) -> str:
        """Markdown形式で出力"""
        md = f"# ADR: {self.title}\n\n"
        md += f"## 背景\n{self.context}\n\n"
        md += f"## 決定\n{self.decision}\n\n"
        md += "## 結果\n"
        for c in self.consequences:
            icon = "✅" if c['type'] == 'positive' else "⚠️"
            md += f"- {icon} {c['description']}\n"
        md += "\n## 却下した代替案\n"
        for a in self.alternatives:
            md += f"- **{a['name']}**: {a['reason_rejected']}\n"
        return md