1. 项目概述为什么我们需要一个专业的LLM性能测试工具在部署和优化大语言模型服务时我们经常会遇到一些灵魂拷问我的服务器到底能扛住多少并发请求响应延迟的瓶颈在哪里是GPU算力不足还是网络带宽成了短板又或者当我把上下文长度从1K调到32K时性能会衰减多少这些问题单靠“感觉”或者零星的手工测试是远远不够的。你需要一个像“压力测试仪”一样的工具能对LLM服务进行系统性的、可量化的性能评估。这就是lework/llm-benchmark诞生的背景。它不是一个简单的“发几个请求看看”的脚本而是一个专为LLM服务设计的、工业级的并发性能测试框架。无论是你本地用Ollama跑着玩的模型还是生产环境用vLLM、TGI部署的集群这个工具都能帮你摸清它的性能底细。它通过模拟从低到高的并发压力自动收集吞吐量、延迟、错误率等关键指标并生成直观的报告让你对服务的承载能力心中有数。对于模型服务开发者、运维工程师和架构师来说这个工具的价值在于“数据驱动决策”。在扩容机器前在调整批处理大小参数时在对比不同推理后端如vLLM vs. Hugging Face Text Generation Inference时一份详实的性能报告远比猜测来得可靠。接下来我将带你深入拆解这个工具的设计思路、核心用法以及我在实际压测中积累的一手经验。2. 核心设计思路如何科学地给LLM服务“上压力”给一个Web服务做压测你可能熟悉用wrk或locust。但LLM服务有其特殊性请求处理时间Token生成长、计算密集、且响应通常是流式的。一个粗暴的高并发测试可能瞬间拖垮服务却得不到有意义的性能曲线。llm-benchmark的设计巧妙地规避了这些问题其核心思路可以概括为“循序渐进多维度观测”。2.1 多阶段并发测试从热身到极限工具的核心脚本run_benchmarks.py采用了一种智能的压测策略。它不会一上来就用300个并发连接猛攻你的服务器而是设计了一个递增的并发序列例如[1, 2, 5, 10, 20, 50, 100, 200, 300]。这个序列背后有它的逻辑低并发阶段1, 2, 5这相当于服务的“热身”阶段。目的是在无竞争条件下测量服务单请求的最佳响应时间P99延迟和资源利用率基线。此时如果延迟就很高那说明模型加载、单次推理本身就有问题。中并发阶段10, 20, 50模拟典型的生产负载。观察随着并发数增加吞吐量是否线性增长延迟是否平稳。这个阶段最容易发现资源竞争瓶颈比如GPU内存带宽、CPU调度或Python的GIL限制。高并发阶段100, 200, 300压力测试旨在探寻服务的极限容量和稳定性边界。此时会关注吞吐量是否达到平台期不再增长延迟是否急剧上升错误率如超时、OOM是否开始出现这个数据对于确定服务的最大安全并发数至关重要。这种阶梯式的测试方法能绘制出一条完整的“性能-并发数”曲线让你清晰地看到服务从健康到过载的全过程。2.2 关键性能指标我们到底在测量什么工具收集的指标远不止“快慢”而是一套组合拳吞吐量最重要的容量指标通常用Tokens Per Second或Requests Per Second表示。它直接反映了服务在单位时间内的处理能力。延迟分不同分位数统计如P50中位数、P90、P99。P99延迟尤其关键它代表了最慢的那1%的请求的体验直接关系到用户感知的“卡顿”。错误率任何非2xx的HTTP状态码或异常都会被记录。一个在低并发下正常的服务可能在高压下因资源耗尽而开始返回错误。Token统计记录每个请求消耗的Prompt Tokens和Completion Tokens。这对于估算成本、验证流式输出是否正确至关重要。llm-benchmark会将上述指标以JSON格式详细记录并为每个并发级别生成独立的报告。run_benchmarks.py则会汇总所有数据生成一个带有趋势图表的综合报告让你一眼就能看出性能拐点在哪里。2.3 长短文本双场景测试LLM的性能对输入长度极其敏感。处理一段10个token的提示词和处理一篇5000token的文档对GPU内存KV Cache和计算量的消耗是天壤之别。因此工具设计了--use_long_context标志。短文本模式使用默认或较短的提示词测试服务在高吞吐、低延迟场景下的能力。这对应着聊天、问答等交互式应用。长文本模式使用长提示词例如数千token测试服务在长上下文理解和内存带宽压力下的表现。这对应着文档总结、代码生成等场景。开启此模式后工具会自动切换为长文本测试集其报告会明确反映出随着上下文变长吞吐量下降和延迟上升的幅度。这个设计使得测试结果更具参考价值。你可能会发现某个服务在短文本下吞吐量惊人但一切换到长文本模式性能就骤降这很可能指向了优化KV Cache或注意力机制的必要性。3. 工具部署与环境准备工欲善其事必先利其器。在开始疯狂压测之前我们需要先把测试工具和环境准备好。llm-benchmark提供了纯Python和Docker两种运行方式适应不同场景。3.1 本地Python环境部署对于喜欢深度定制或需要集成到CI/CD流水线中的开发者本地部署是首选。首先克隆项目仓库并安装依赖git clone https://github.com/lework/llm-benchmark.git cd llm-benchmark pip install -r requirements.txt注意务必确认你的Python版本在3.8以上。依赖项主要包括aiohttp用于高性能异步HTTP请求、numpy、pandas用于数据处理和matplotlib用于生成图表。如果安装缓慢可以考虑使用清华或阿里云的PyPI镜像源。安装完成后你可以直接运行python llm_benchmark.py --help来验证安装是否成功并查看所有可用的参数。3.2 Docker容器化部署对于追求环境一致性、快速启动或者不想污染本地Python环境的用户Docker方式是最佳选择。它封装了所有依赖真正做到开箱即用。方案一从Docker Hub拉取预构建镜像推荐这是最快捷的方式镜像由项目维护者定期构建。# 拉取最新的镜像 docker pull samge/llm-benchmark:latest # 为了方便使用可以给它一个简短的标签 docker tag samge/llm-benchmark:latest llm-benchmark:latest方案二本地构建镜像如果你修改了源代码或者希望锁定特定版本可以自行构建。# 在项目根目录下执行 docker build -t llm-benchmark:custom .准备输出目录测试报告需要持久化保存到宿主机因此需要事先创建一个目录。mkdir -p ./benchmark_output这个./benchmark_output目录将在运行容器时通过-v参数挂载到容器内的/app/output路径。3.3 目标服务准备Ollama与vLLM在运行压测之前你当然需要一个正在运行的LLM服务。这里以最常用的两种部署方式为例1. 测试本地Ollama服务Ollama是本地运行开源模型的利器。假设你已经在本地运行了llama3.2:1b模型。ollama run llama3.2:1b此时Ollama的API服务通常运行在http://localhost:11434。你的压测命令中的--llm_url就需要指向这个地址。Ollama的API默认不需要密钥所以--api_key参数通常可以省略。2. 测试vLLM生产服务vLLM是一个高性能的生产级推理和服务引擎。假设你通过以下命令启动了一个vLLM服务python -m vllm.entrypoints.api_server \ --model meta-llama/Llama-3.2-1B \ --served-model-name llama-3b \ --port 8000那么你的服务地址就是http://localhost:8000。vLLM的OpenAI兼容API通常也不需要API密钥除非你额外配置了认证。实操心得在压测前务必先用curl或postman手动发一个请求确认服务是通的且能正常返回结果。这样可以避免因为服务配置错误而浪费大量压测时间。例如curl http://localhost:11434/api/generate -d {model:llama3.2:1b, prompt:Hello, stream:false}。4. 核心组件深度解析与实战了解了设计和环境我们来深入工具的两个核心脚本看看它们具体是如何工作的以及在实际使用中如何配置。4.1llm_benchmark.py并发测试引擎这个文件是执行单次并发测试的核心。它利用Python的asyncio和aiohttp库高效地模拟大量并发客户端。核心工作流程如下参数解析与初始化读取命令行参数初始化HTTP会话aiohttp.ClientSession和连接池。这里特别注意request_timeout参数它设置了每个请求的总超时时间。对于生成较长文本的请求这个值需要适当调大。任务创建根据--num_requests和--concurrency参数创建指定数量的异步任务协程。每个任务代表一个独立的请求客户端。发送请求与指标收集所有任务同时启动向目标URL发送POST请求。请求体是符合OpenAI API格式的JSON数据。工具会精确记录每个请求的start_time任务创建时间。send_time请求真正发出的时间受限于信号量控制的实际并发数。first_chunk_time收到流式响应第一个块的时间TTFB首字节时间。end_time收到完整响应的时间。status_codeHTTP状态码。response_text响应的完整文本用于计算输出token数如果可能。结果汇总与输出所有请求完成后工具会计算总耗时、吞吐量(RPS)、各分位延迟(P50, P90, P99)并统计错误率。结果可以以易读的“line”格式打印在终端也可以以结构化的“json”格式输出便于后续处理。关键参数配置指南--num_requests总请求数。这个数要足够大才能让统计结果稳定。一般建议至少是并发数的10倍以上。例如并发10请求数至少100。--concurrency并发数。这是模拟的同时在线用户数。需要根据你对服务能力的预估来设置可以从一个较小的值开始逐步增加。--output_tokens限制模型生成的最大token数。强烈建议在压测时设置一个固定值比如50这能保证每次请求的计算量大致相同使测试结果可比。如果不限制不同请求的响应长度差异会带来很大的性能波动。--request_timeout单个请求的超时时间。如果测试长文本生成需要根据output_tokens和预估的生成速度如50 tok/s来估算并留有余量。例如生成500个token至少需要10秒那么超时应设为15-20秒。一个典型的单次测试命令如下# 测试本地Ollama服务10个并发总共100个请求 python llm_benchmark.py \ --llm_url http://localhost:11434/v1/chat/completions \ --model llama3.2:1b \ --num_requests 100 \ --concurrency 10 \ --output_tokens 50 \ --output_format json result_concurrency_10.json注意Ollama的OpenAI兼容端点通常是/v1/chat/completions而vLLM默认也是这个路径。但有些服务可能不同需要根据目标服务的API文档确认。4.2run_benchmarks.py自动化压测调度器如果说llm_benchmark.py是单兵武器那run_benchmarks.py就是自动化作战平台。它的主要职责是编排一系列不同并发级别的测试并生成综合报告。其执行步骤为读取配置除了基本的LLM服务地址和模型参数它内部预设了一个并发数序列如[1, 2, 5, 10, 20, 50, 100, 200, 300]。顺序执行它循环遍历这个并发序列对每一个并发级别c调用llm_benchmark.py的逻辑或直接使用其函数执行一次完整的并发测试。每次测试的num_requests通常会根据并发数动态调整例如num_requests max(100, c * 20)以保证每个并发级别下都有足够的样本量。数据收集每次测试的结果JSON格式都会被保存下来。报告生成所有测试完成后脚本会使用pandas读取所有JSON结果用matplotlib绘制关键指标的趋势图并生成一个格式美观的HTML或Markdown报告。报告中通常包含吞吐量 (RPS) vs. 并发数曲线观察服务容量增长趋势。延迟 (P99) vs. 并发数曲线观察服务质量随压力下降的情况。错误率 vs. 并发数柱状图定位服务的稳定性边界。详细的数据表格列出每个并发级别下的所有指标。运行全套测试的命令非常简单python run_benchmarks.py \ --llm_url http://localhost:8000/v1/chat/completions \ --model llama-3b \ --use_long_context加上--use_long_context标志它会自动将提示词切换为长文本进行另一轮完整的阶梯测试。Docker下的完整测试示例# 假设镜像已拉取并重命名为 llm-benchmark输出目录已创建 docker run -it --rm \ -v $(pwd)/benchmark_output:/app/output \ # 挂载输出目录 llm-benchmark:latest \ python run_benchmarks.py \ --llm_url http://host.docker.internal:11434/v1/chat/completions \ --model llama3.2:1b重要提示在Docker容器内访问宿主机的服务不能使用localhost而应使用host.docker.internalMac/Windows或宿主机的实际IP地址Linux。这是Docker网络的一个常见坑点。5. 性能报告解读与优化分析跑完测试拿到那份图文并茂的报告才是真正开始“诊断”的时候。报告不是一堆冰冷的数字而是服务健康状况的“体检表”。我们来看如何解读关键图表并基于此做出优化决策。5.1 解读核心性能图表1. 吞吐量-并发数曲线图这是最重要的图表。理想情况下吞吐量会随着并发数增加而线性增长资源未饱和。当并发数达到某个点后吞吐量增长会变缓最终形成一条水平线或缓慢上升的曲线这个拐点就是服务的理论最大吞吐量。如果曲线过早地趋于平缓甚至下降说明存在瓶颈。优化方向如果瓶颈出现在较低并发可能的原因包括GPU算力不足、模型本身速度慢、服务器单线程处理能力有限检查Python GIL或单个工作进程。对于vLLM可以尝试增加--max-num-seqs批处理大小或启用paged-attention来提升吞吐。2. P99延迟-并发数曲线图这张图反映了用户体验。在低并发时P99延迟应该比较稳定。随着并发增加延迟会逐渐上升。你需要关注的是延迟开始急剧上升的并发点这个点通常早于吞吐量饱和点它定义了服务的可用性边界。例如虽然服务在100并发时吞吐量最大但P99延迟在50并发时就已经从100ms飙升到1000ms那么从用户体验角度50并发才是更合理的负载上限。优化方向延迟高通常意味着请求排队等待时间长。可以优化服务端的请求调度算法或者考虑水平扩展增加服务实例。对于流式响应确保服务器能尽快返回第一个tokenTTFB这对用户体验至关重要。3. 错误率图表在接近或超过服务极限时错误率如HTTP 503、超时、GPU OOM会上升。错误率一旦开始超过0.1%就说明服务已经处于不稳定状态。优化方向错误通常与资源耗尽有关。检查服务器的GPU内存使用情况nvidia-smiCPU和系统内存使用率。如果是OOM错误可能需要减小vLLM的批处理大小或者为模型分配更多GPU内存。5.2 长短文本模式对比分析分别运行短文本和长文本测试对比两份报告能揭示出模型服务在不同负载模式下的特性。短文本模式重点关注高RPS和低延迟。这代表了服务的交互响应能力。优化方向可能更侧重于降低每个请求的固定开销例如优化API网关、减少序列化/反序列化时间。长文本模式重点关注吞吐量下降比例和P99延迟增长幅度。长文本会消耗大量GPU内存用于KV Cache并增加计算量。如果性能下降非常严重你可能需要检查是否启用了FlashAttention-2等优化过的注意力算法。调整vLLM的block_size参数来优化PagedAttention的内存管理。考虑使用量化技术如GPTQ, AWQ来减少模型内存占用从而能容纳更长的上下文。5.3 生成自定义报告与数据二次分析工具生成的JSON数据是宝藏。你可以用Python脚本进行更深入的分析import pandas as pd import matplotlib.pyplot as plt # 加载所有测试结果 results [] for conc in [1, 2, 5, 10, 20, 50]: with open(f‘result_concurrency_{conc}.json‘, ‘r‘) as f: data json.load(f) data[‘concurrency‘] conc results.append(data) df pd.DataFrame(results) # 计算每个并发下的平均token生成速度 df[‘avg_tok_per_sec‘] df[‘total_output_tokens‘] / df[‘total_duration‘] # 绘制自定义图表并发 vs. 平均Token生成速度 plt.plot(df[‘concurrency‘], df[‘avg_tok_per_sec‘], marker‘o‘) plt.xlabel(‘Concurrency‘) plt.ylabel(‘Avg Tokens/s‘) plt.title(‘Model Inference Speed under Load‘) plt.grid(True) plt.savefig(‘custom_analysis.png‘)这种二次分析可以帮助你回答更具体的问题比如“在保证P99延迟2秒的前提下系统的最大Token生成速率是多少”6. 实战经验避坑指南与高级技巧纸上得来终觉浅绝知此事要躬行。在实际使用llm-benchmark对各类服务进行压测的过程中我踩过不少坑也总结了一些能让测试更准确、更高效的经验。6.1 常见问题与排查清单问题现象可能原因排查步骤与解决方案压测脚本运行报错ConnectionError或Timeout1. 目标LLM服务未启动或地址端口错误。2. 网络防火墙或安全组策略阻止访问。3. Docker容器网络配置错误。1.确认服务状态curl -X POST llm_url测试连通性。2.检查网络在压测主机上直接ping/curl目标地址。3.Docker网络容器内使用host.docker.internal或宿主机IP检查是否用了--network host模式。测试结果吞吐量极低延迟极高1.--output_tokens设置过大导致每个请求耗时过长。2. 目标服务器资源CPU/GPU已满载。3. 客户端机器性能不足无法产生足够压力。1.控制变量先将--output_tokens设为较小值如10看基础延迟。2.监控服务器压测时用htop,nvidia-smi实时监控资源使用率。3.升级客户端压测本身也消耗资源确保客户端有足够CPU和网络带宽。错误率随并发升高而飙升1. 服务器达到最大连接数或工作线程数限制。2. GPU内存溢出OOM。3. 服务端请求队列满触发熔断。1.检查服务配置查看vLLM/Ollama的--max-num-seqs,--worker-num等参数。2.监控GPU内存nvidia-smi观察Volatile GPU-Util和内存使用量。3.调整压测策略降低并发数或减少每个请求的max_tokens。Docker容器内压测速度慢1. 容器资源限制过低。2. 容器文件系统I/O慢如果生成大量日志。3. 网络模式如bridge带来额外开销。1.增加资源运行容器时使用--cpus,--memory分配足够资源。2.挂载tmpfs对于临时文件可挂载内存盘-v /dev/shm:/dev/shm。3.使用host网络对性能要求极高时可尝试--network host注意安全性。报告中的延迟数据波动很大1. 测试时间太短样本数不足。2. 服务器或客户端有其他干扰进程。3. 网络本身存在波动。1.增加请求数确保num_requests足够大例如 1000。2.净化环境在专用的测试机器上运行关闭不必要的程序。3.多次测试取平均对同一并发级别运行3-5次取中间值或平均值。6.2 高级技巧与场景化应用1. 模拟真实流量模式工具默认使用固定的提示词。要模拟更真实的场景你可以修改llm_benchmark.py中的请求负载生成部分从一个文件或列表中随机读取不同长度、不同类型的提示词。这能更好地反映生产环境中请求的多样性对性能的影响。2. 持续集成与自动化测试将llm-benchmark集成到你的CI/CD流程中。例如每次模型更新或服务部署后自动运行一组基准测试如并发10, 50并与历史基线数据对比。如果核心指标如P99延迟退化超过10%则自动标记构建失败并发出警报。这能有效防止性能回归。3. 结合系统监控进行根因分析压测时不要只看测试工具的报告。同时打开服务器上的系统监控如PrometheusGrafana或简单的nvtophtop。观察在吞吐量达到瓶颈时是GPU利用率先到100%还是CPU先到100%或者是系统内存/网络出现瓶颈。这种关联分析能直接指出性能瓶颈的硬件层级。4. 测试流式输出的性能对于需要实时交互的应用流式响应Server-Sent Events的性能至关重要。llm-benchmark支持流式测试它会测量首Token延迟。确保在测试时服务端和客户端都启用了流式模式。过高的首Token延迟会让用户感觉“卡顿”即使后续Token生成很快。5. 压力测试的“温柔”与“暴力”温柔测试用于建立性能基线。使用较低的并发较长的测试时间观察服务在稳定状态下的表现。暴力测试用于探索极限和验证稳定性。使用run_benchmarks.py直到高并发甚至短时间内发起超过服务能力的请求观察服务是否崩溃、能否优雅降级、以及恢复时间。切记暴力测试应在隔离的预生产环境进行最后记住一点性能测试的目的不是得到一个漂亮的数字而是理解系统的行为。llm-benchmark给了你一把精准的尺子但如何测量、如何解读数据、如何根据数据采取行动才是真正体现工程师价值的地方。每次测试后多问几个为什么为什么曲线在这里拐弯为什么这个并发下错误率突然升高通过不断追问和验证你对你所维护的LLM服务的掌控力会越来越强。