线上批量推理以提高吞吐，必须同时考虑？ {{ select(1) }}

• 只比较吞吐而不限制尾延迟与内存
• 等待批次对延迟和内存的影响
• 按批均值延迟推定所有请求均满足SLA
• 批量越大单请求等待必然越短

满分 2 分。人工智能工程技术人员 · 推理部署及应用 · 进阶。题族 AI-F052，同题族不要出现在同一张卷。状态：内部待专家复核。组卷：待审通过后可用。