[OCR Phase3] 实现并发处理和动态批处理优化

## 任务描述 实现并发请求处理和批处理优化，提升 OCR 服务在高并发场景下的吞吐量和响应时间。 **关联主 Issue**: #2348 Phase 3: 模型微调与优化 ## 任务目标 - [ ] 实现动态批处理（Dynamic Batching） - [ ] 实现请求队列和调度机制 - [ ] 优化多进程/多线程并发处理 - [ ] 实现连接池和资源复用 - [ ] 添加并发限流和背压机制 ## 技术方案 ### 1. 动态批处理 - 实现请求聚合器（Request Aggregator） - 等待时间窗口：50-100ms - 最大 batch size：4-8（根据显存调整） - padding 策略：动态 padding，减少计算浪费 ### 2. 请求队列 - 使用异步队列（asyncio.Queue） - 实现优先级队列（Priority Queue） - 支持请求超时和取消机制 - 队列长度监控和告警 ### 3. 并发处理 - FastAPI 异步模式（async/await） - Uvicorn workers 配置（建议 2x CPU cores） - 模型实例池化（避免重复加载） - GPU 资源调度优化 ### 4. 资源管理 - 实现模型实例池（Model Pool） - 图像预处理缓存 - 连接池复用（数据库、Redis 等） - 内存占用监控和回收 ### 5. 限流和背压 - 实现 Token Bucket 限流算法 - 配置 QPS 限制（默认 100 req/s） - 队列满时返回 503 Service Unavailable - 添加熔断机制（Circuit Breaker） ## 测试要求 ### 功能测试 - [ ] 测试动态批处理的正确性 - [ ] 测试请求队列的 FIFO/优先级调度 - [ ] 测试并发请求的响应正确性 - [ ] 测试限流机制的触发和恢复 ### 性能测试 - [ ] 压力测试：逐步增加并发量（1/10/50/100/200 req/s） - [ ] 吞吐量测试：测量最大 QPS - [ ] 延迟测试：P50/P95/P99 延迟 - [ ] 稳定性测试：持续运行 1 小时以上 ### 基准测试工具 - Apache Bench (ab) - Locust - wrk - 自定义压测脚本 ### 监控指标 - QPS (Queries Per Second) - 平均响应时间 - P50/P95/P99 延迟 - 队列长度 - GPU 利用率 - 内存占用 ## 验收标准 - ✅ 支持 100 QPS 并发（单机单卡） - ✅ P95 延迟 < 500ms（batch=4） - ✅ GPU 利用率 > 80% - ✅ 动态批处理命中率 > 60% - ✅ 限流机制准确触发，无误杀 - ✅ 提供完整的性能测试报告和监控面板 ## 依赖项 - fastapi >= 0.109.0 - uvicorn[standard] >= 0.27.0 - aiohttp (异步 HTTP 客户端) - prometheus-client (监控指标导出) ## 配置参数 ### 批处理配置 ```yaml batch: max_batch_size: 4 wait_timeout_ms: 100 enable_dynamic_batching: true ``` ### 并发配置 ```yaml concurrency: max_workers: 4 max_queue_size: 100 request_timeout_s: 30 ``` ### 限流配置 ```yaml rate_limit: qps: 100 burst: 20 enable_circuit_breaker: true ``` ## 优先级 **P1** - 重要优化，提升服务吞吐量和稳定性 ## 预计工时 7-10 天