#AIMC172. AI-MC-172 推理服务把批量大小由1增至32,吞吐增加但低负载P95恶化。最应检查哪个机制?
AI-MC-172 推理服务把批量大小由1增至32,吞吐增加但低负载P95恶化。最应检查哪个机制?
推理服务把批量大小由1增至32,吞吐增加但低负载P95恶化。最应检查哪个机制? {{ select(1) }}
- 仅检查模型训练批量大小
- 等待凑满批次的排队时间
- 只比较CPU峰值推定原因
- 增加最大批量以解决低负载等待
满分 2 分。人工智能工程技术人员 · 推理部署及应用 · 进阶。题族 AI-F052,同题族不要出现在同一张卷。状态:内部待专家复核。组卷:待审通过后可用。