#Persistence 운영 런북

프로세스 재시작 후에도 데이터가 유지되어야 하는가?
├── 아니오 → InMemoryPersistenceStore (테스트 전용)
└── 예    → 강력한 내구성이 필요한가 (감사 추적, 보상 로그)?
            ├── 예    → PostgresPersistenceStore
            └── 아니오 → 서브밀리초 체크포인트 지연이 필요한가?
                        ├── 예    → RedisPersistenceStore
                        └── 아니오 → PostgresPersistenceStore (기본 안전 선택)

# Cargo.toml
[features]
persistence-postgres = ["ranvier-runtime/persistence-postgres"]

let pool = sqlx::PgPool::connect(&env::var("DATABASE_URL")?).await?;
let store = PostgresPersistenceStore::new(pool.clone());
store.ensure_schema().await?;   // 멱등성 — 시작 시 한 번 호출

[features]
persistence-redis = ["ranvier-runtime/persistence-redis"]

let store = RedisPersistenceStore::connect(&env::var("REDIS_URL")?).await?;

// 재시작 시 중단된 트레이스를 로드
let trace_id = "order-trace-abc123";
let persisted = store.load(trace_id).await?;

if let Some(trace) = persisted {
    if trace.completion.is_none() {
        // 마지막으로 성공한 스텝을 찾기
        let last_step = trace.events.last().map(|e| e.step).unwrap_or(0);
        let cursor = store.resume(trace_id, last_step).await?;

        // 커서 위치부터 파이프라인 재실행
        tracing::info!(
            trace_id,
            resume_from = cursor.next_step,
            "resuming interrupted workflow"
        );
        // ... 커서로 재실행
    }
}

match store.append(envelope).await {
    Ok(()) => { /* 계속 진행 */ }
    Err(e) => {
        tracing::error!(
            trace_id = %envelope.trace_id,
            step = envelope.step,
            error = %e,
            "checkpoint failed — applying circuit breaker"
        );
        // 옵션 A: 파이프라인 중지 (가장 안전 — 부분 진행 없음)
        return Outcome::Fault(anyhow::anyhow!("persistence unavailable: {e}"));
        // 옵션 B: 체크포인트 없이 계속 (멱등 워크플로우에만 해당)
        // tracing::warn!("continuing without checkpoint");
    }
}

// 지수 백오프로 재시도
for attempt in 0..3 {
    match store.append(envelope.clone()).await {
        Ok(()) => break,
        Err(e) if attempt < 2 => {
            tokio::time::sleep(Duration::from_millis(100 * 2u64.pow(attempt))).await;
        }
        Err(e) => return Outcome::Fault(e.into()),
    }
}

-- 30일 이상 전에 완료된 트레이스의 이벤트 삭제
DELETE FROM ranvier_persistence_events
WHERE trace_id IN (
    SELECT trace_id FROM ranvier_persistence_state
    WHERE completion IS NOT NULL
      AND completed_at < NOW() - INTERVAL '30 days'
);

DELETE FROM ranvier_persistence_state
WHERE completion IS NOT NULL
  AND completed_at < NOW() - INTERVAL '30 days';

let cutoff_ms = (Utc::now() - Duration::days(30)).timestamp_millis();
let purged = idempotency_store.purge_older_than_ms(cutoff_ms).await?;
tracing::info!(purged_rows = purged, "idempotency cleanup complete");

// 체크포인트 7일 후 만료
let store = RedisPersistenceStore::with_prefix_and_ttl(
    manager,
    "ranvier:persistence:prod",
    7 * 24 * 60 * 60,  // 초 단위
);

let pool = sqlx::postgres::PgPoolOptions::new()
    .max_connections(20)     // DB max_connections / 예상 동시성에 맞춤
    .min_connections(5)      // 웜 커넥션 유지
    .acquire_timeout(Duration::from_secs(3))
    .connect(&database_url).await?;

-- 이벤트 테이블을 16개 버킷으로 파티셔닝
CREATE TABLE ranvier_persistence_events (
    trace_id TEXT NOT NULL,
    ...
) PARTITION BY HASH (trace_id);

CREATE TABLE ranvier_persistence_events_0
    PARTITION OF ranvier_persistence_events
    FOR VALUES WITH (MODULUS 16, REMAINDER 0);
-- ... 1..15에 대해 반복

// 클러스터 인식 클라이언트 URL 사용
let store = RedisPersistenceStore::connect(
    "redis+cluster://redis-node1:6379,redis-node2:6379,redis-node3:6379"
).await?;

# 전체 덤프 (소규모 데이터베이스용)
pg_dump -U postgres -d mydb -t 'ranvier_persistence_*' \
  --format=custom -f ranvier_persistence_$(date +%Y%m%d).dump

# 지속적 WAL 아카이빙 (프로덕션용)
# postgresql.conf 설정:
# wal_level = replica
# archive_mode = on
# archive_command = 'cp %p /mnt/backup/wal/%f'

# 덤프에서 복원
pg_restore -U postgres -d mydb ranvier_persistence_20260226.dump

# 복원 후 행 수 확인
psql -U postgres -d mydb -c \
  "SELECT COUNT(*) FROM ranvier_persistence_state WHERE completion IS NOT NULL;"

# 즉시 저장 트리거
redis-cli BGSAVE

# 덤프 파일 복사
cp /var/lib/redis/dump.rdb /mnt/backup/redis_$(date +%Y%m%d).rdb

# Redis 중지, dump.rdb 교체, 재시작
systemctl stop redis
cp /mnt/backup/redis_20260226.rdb /var/lib/redis/dump.rdb
systemctl start redis

# persistence 키 존재 여부 확인
redis-cli KEYS "ranvier:persistence:*" | wc -l