chore: update extended_kv_cache config

This commit is contained in:
jialin
2025-10-31 15:03:23 +08:00
parent f6a3497b0c
commit 2006827968
7 changed files with 74 additions and 36 deletions
+8 -1
View File
@@ -201,5 +201,12 @@ export default {
'仅在内置后端(vLLM / SGLang)可用 —— 请在<span class="bold-text">高级</span>配置中切换后端以启用。',
'models.form.kvCache.tips2':
'仅在使用内置推理后端(vLLM 或 SGLang)时支持 KV 缓存。',
'models.form.scheduling': '调度'
'models.form.scheduling': '调度',
'models.form.ramRatio': '内存与显存比例',
'models.form.ramSize': '内存最大占用 (GiB)',
'models.form.ramRatio.tips':
'KV 缓存在系统内存与 GPU 显存之间的比例。例如设置为 2.0 表示系统内存中可缓存的数据量是显存的两倍。',
'models.form.ramSize.tips': `KV 缓存在系统内存中的最大值。当设置该值时,将覆盖 "{content}" 的配置。`,
'models.form.chunkSize.tips':
'每个 KV 缓存块包含的 token 数量。数值越大可提升吞吐量,但也会增加内存占用。'
};