refactor: deployments dir tree
This commit is contained in:
jialin
@@ -1,55 +0,0 @@
|
||||
// preset backend parameters for built-in backends
|
||||
import llamaParameters from './llama';
|
||||
import mindieParameters from './mindie';
|
||||
import sglangParameters from './sglang';
|
||||
import vllmParameters from './vllm';
|
||||
|
||||
/**
|
||||
* backend label map
|
||||
*/
|
||||
export const backendOptionsMap = {
|
||||
llamaBox: 'llama-box',
|
||||
vllm: 'vLLM',
|
||||
voxBox: 'VoxBox',
|
||||
ascendMindie: 'MindIE',
|
||||
custom: 'Custom',
|
||||
SGLang: 'SGLang'
|
||||
};
|
||||
|
||||
// for checking built-in backends when selecting a gguf
|
||||
export const BuiltInBackendOptions = [
|
||||
backendOptionsMap.vllm,
|
||||
backendOptionsMap.ascendMindie,
|
||||
backendOptionsMap.SGLang,
|
||||
backendOptionsMap.voxBox
|
||||
];
|
||||
|
||||
export interface BackendParameter {
|
||||
label: string;
|
||||
value: string;
|
||||
options?: Array<string | number>;
|
||||
}
|
||||
|
||||
const generateBackendParameters = (options: BackendParameter[]) => {
|
||||
return options.map((option) => {
|
||||
return {
|
||||
label: option.label,
|
||||
value: option.value,
|
||||
opts: option.options?.map((opt) => {
|
||||
return {
|
||||
label: opt,
|
||||
value: opt
|
||||
};
|
||||
})
|
||||
};
|
||||
});
|
||||
};
|
||||
|
||||
export default {
|
||||
[backendOptionsMap.llamaBox]: generateBackendParameters(llamaParameters),
|
||||
[backendOptionsMap.vllm]: generateBackendParameters(vllmParameters),
|
||||
[backendOptionsMap.ascendMindie]: generateBackendParameters(mindieParameters),
|
||||
[backendOptionsMap.voxBox]: [],
|
||||
[backendOptionsMap.custom]: [],
|
||||
[backendOptionsMap.SGLang]: generateBackendParameters(sglangParameters)
|
||||
};
|
||||
@@ -1,616 +0,0 @@
|
||||
import { BackendParameter } from './index';
|
||||
|
||||
const options: BackendParameter[] = [
|
||||
{
|
||||
label: '--verbose',
|
||||
value: '--verbose'
|
||||
},
|
||||
{
|
||||
label: '--verbosity',
|
||||
value: '--verbosity'
|
||||
},
|
||||
{
|
||||
label: '--host',
|
||||
value: '--host'
|
||||
},
|
||||
{
|
||||
label: '--timeout',
|
||||
value: '--timeout'
|
||||
},
|
||||
{
|
||||
label: '--threads-http',
|
||||
value: '--threads-http'
|
||||
},
|
||||
{
|
||||
label: '--conn-idle',
|
||||
value: '--conn-idle'
|
||||
},
|
||||
{
|
||||
label: '--lora',
|
||||
value: '--lora'
|
||||
},
|
||||
{
|
||||
label: '--lora-scaled',
|
||||
value: '--lora-scaled'
|
||||
},
|
||||
{
|
||||
label: '--conn-keepalive',
|
||||
value: '--conn-keepalive'
|
||||
},
|
||||
{
|
||||
label: '--lora-init-without-apply',
|
||||
value: '--lora-init-without-apply'
|
||||
},
|
||||
{
|
||||
label: '--seed',
|
||||
value: '--seed'
|
||||
},
|
||||
{
|
||||
label: '--main-gpu',
|
||||
value: '--main-gpu'
|
||||
},
|
||||
{
|
||||
label: '--flash-attn',
|
||||
value: '--flash-attn'
|
||||
},
|
||||
{
|
||||
label: '--metrics',
|
||||
value: '--metrics'
|
||||
},
|
||||
{
|
||||
label: '--slots',
|
||||
value: '--slots'
|
||||
},
|
||||
{
|
||||
label: '--no-warmup',
|
||||
value: '--no-warmup'
|
||||
},
|
||||
{
|
||||
label: '--device',
|
||||
value: '--device'
|
||||
},
|
||||
{
|
||||
label: '--gpu-layers',
|
||||
value: '--gpu-layers'
|
||||
},
|
||||
{
|
||||
label: '--split-mode',
|
||||
value: '--split-mode'
|
||||
},
|
||||
{
|
||||
label: '--tensor-split',
|
||||
value: '--tensor-split'
|
||||
},
|
||||
{
|
||||
label: '--override-kv',
|
||||
value: '--override-kv'
|
||||
},
|
||||
{
|
||||
label: '--chat-template',
|
||||
value: '--chat-template',
|
||||
options: [
|
||||
'chatglm3',
|
||||
'chatglm4',
|
||||
'chatml',
|
||||
'command-r',
|
||||
'deepseek',
|
||||
'deepseek2',
|
||||
'deepseek3',
|
||||
'exaone3',
|
||||
'falcon',
|
||||
'falcon3',
|
||||
'gemma',
|
||||
'gigachat',
|
||||
'granite',
|
||||
'llama2',
|
||||
'llama2-sys',
|
||||
'llama2-sys-bos',
|
||||
'llama2-sys-strip',
|
||||
'llama3',
|
||||
'llava',
|
||||
'llava-mistral',
|
||||
'megrez',
|
||||
'minicpm',
|
||||
'mistral-v1',
|
||||
'mistral-v3',
|
||||
'mistral-v3-tekken',
|
||||
'mistral-v7',
|
||||
'monarch',
|
||||
'openchat',
|
||||
'orion',
|
||||
'phi3',
|
||||
'phi4',
|
||||
'rwkv-world',
|
||||
'vicuna',
|
||||
'vicuna-orca',
|
||||
'zephyr'
|
||||
]
|
||||
},
|
||||
{
|
||||
label: '--chat-template-file',
|
||||
value: '--chat-template-file'
|
||||
},
|
||||
{
|
||||
label: '--slot-save-path',
|
||||
value: '--slot-save-path'
|
||||
},
|
||||
{
|
||||
label: '--slot-prompt-similarity',
|
||||
value: '--slot-prompt-similarity'
|
||||
},
|
||||
{
|
||||
label: '--tokens-per-second',
|
||||
value: '--tokens-per-second'
|
||||
},
|
||||
{
|
||||
label: '--threads',
|
||||
value: '--threads'
|
||||
},
|
||||
{
|
||||
label: '--cpu-mask',
|
||||
value: '--cpu-mask'
|
||||
},
|
||||
{
|
||||
label: '--cpu-range',
|
||||
value: '--cpu-range'
|
||||
},
|
||||
{
|
||||
label: '--cpu-strict',
|
||||
value: '--cpu-strict',
|
||||
options: ['0', '1']
|
||||
},
|
||||
{
|
||||
label: '--prio',
|
||||
value: '--prio',
|
||||
options: ['0', '1', '2', '3']
|
||||
},
|
||||
{
|
||||
label: '--poll',
|
||||
value: '--poll'
|
||||
},
|
||||
{
|
||||
label: '--threads-batch',
|
||||
value: '--threads-batch'
|
||||
},
|
||||
{
|
||||
label: '--cpu-mask-batch',
|
||||
value: '--cpu-mask-batch'
|
||||
},
|
||||
{
|
||||
label: '--cpu-range-batch',
|
||||
value: '--cpu-range-batch'
|
||||
},
|
||||
{
|
||||
label: '--cpu-strict-batch',
|
||||
value: '--cpu-strict-batch',
|
||||
options: ['0', '1']
|
||||
},
|
||||
{
|
||||
label: '--prio-batch',
|
||||
value: '--prio-batch',
|
||||
options: ['0', '1', '2', '3']
|
||||
},
|
||||
{
|
||||
label: '--poll-batch',
|
||||
value: '--poll-batch'
|
||||
},
|
||||
{
|
||||
label: '--ctx-size',
|
||||
value: '--ctx-size',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--no-context-shift',
|
||||
value: '--no-context-shift'
|
||||
},
|
||||
{
|
||||
label: '--predict',
|
||||
value: '--predict',
|
||||
options: ['-1', '-2']
|
||||
},
|
||||
{
|
||||
label: '--parallel',
|
||||
value: '--parallel'
|
||||
},
|
||||
{
|
||||
label: '--batch-size',
|
||||
value: '--batch-size'
|
||||
},
|
||||
{
|
||||
label: '--ubatch-size',
|
||||
value: '--ubatch-size'
|
||||
},
|
||||
{
|
||||
label: '--keep',
|
||||
value: '--keep',
|
||||
options: ['0', '-1']
|
||||
},
|
||||
{
|
||||
label: '--escape',
|
||||
value: '--escape'
|
||||
},
|
||||
{
|
||||
label: '--samplers',
|
||||
value: '--samplers',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--sampling-seq',
|
||||
value: '--sampling-seq'
|
||||
},
|
||||
{
|
||||
label: '--temp',
|
||||
value: '--temp'
|
||||
},
|
||||
{
|
||||
label: '--no-escape',
|
||||
value: '--no-escape'
|
||||
},
|
||||
{
|
||||
label: '--top-k',
|
||||
value: '--top-k'
|
||||
},
|
||||
{
|
||||
label: '--top-p',
|
||||
value: '--top-p'
|
||||
},
|
||||
{
|
||||
label: '--min-p',
|
||||
value: '--min-p'
|
||||
},
|
||||
{
|
||||
label: '--typical',
|
||||
value: '--typical'
|
||||
},
|
||||
{
|
||||
label: '--xtc-probability',
|
||||
value: '--xtc-probability'
|
||||
},
|
||||
{
|
||||
label: '--xtc-threshold',
|
||||
value: '--xtc-threshold'
|
||||
},
|
||||
{
|
||||
label: '--repeat-last-n',
|
||||
value: '--repeat-last-n'
|
||||
},
|
||||
{
|
||||
label: '--repeat-penalty',
|
||||
value: '--repeat-penalty'
|
||||
},
|
||||
{
|
||||
label: '--presence-penalty',
|
||||
value: '--presence-penalty'
|
||||
},
|
||||
{
|
||||
label: '--frequency-penalty',
|
||||
value: '--frequency-penalty'
|
||||
},
|
||||
{
|
||||
label: '--dry-multiplier',
|
||||
value: '--dry-multiplier'
|
||||
},
|
||||
{
|
||||
label: '--dry-base',
|
||||
value: '--dry-base'
|
||||
},
|
||||
{
|
||||
label: '--dry-allowed-length',
|
||||
value: '--dry-allowed-length'
|
||||
},
|
||||
{
|
||||
label: '--dry-penalty-last-n',
|
||||
value: '--dry-penalty-last-n'
|
||||
},
|
||||
{
|
||||
label: '--dry-sequence-breaker',
|
||||
value: '--dry-sequence-breaker'
|
||||
},
|
||||
{
|
||||
label: '--dynatemp-range',
|
||||
value: '--dynatemp-range'
|
||||
},
|
||||
{
|
||||
label: '--dynatemp-exp',
|
||||
value: '--dynatemp-exp'
|
||||
},
|
||||
{
|
||||
label: '--mirostat',
|
||||
value: '--mirostat',
|
||||
options: ['0', '1', '2']
|
||||
},
|
||||
{
|
||||
label: '--mirostat-lr',
|
||||
value: '--mirostat-lr'
|
||||
},
|
||||
{
|
||||
label: '--mirostat-ent',
|
||||
value: '--mirostat-ent'
|
||||
},
|
||||
{
|
||||
label: '--logit-bias',
|
||||
value: '--logit-bias'
|
||||
},
|
||||
{
|
||||
label: '--grammar',
|
||||
value: '--grammar'
|
||||
},
|
||||
{
|
||||
label: '--grammar-file',
|
||||
value: '--grammar-file'
|
||||
},
|
||||
{
|
||||
label: '--json-schema',
|
||||
value: '--json-schema'
|
||||
},
|
||||
{
|
||||
label: '--rope-scaling',
|
||||
value: '--rope-scaling',
|
||||
options: ['linear', 'yarn']
|
||||
},
|
||||
{
|
||||
label: '--rope-scale',
|
||||
value: '--rope-scale'
|
||||
},
|
||||
{
|
||||
label: '--rope-freq-base',
|
||||
value: '--rope-freq-base'
|
||||
},
|
||||
{
|
||||
label: '--rope-freq-scale',
|
||||
value: '--rope-freq-scale'
|
||||
},
|
||||
{
|
||||
label: '--yarn-orig-ctx',
|
||||
value: '--yarn-orig-ctx'
|
||||
},
|
||||
{
|
||||
label: '--yarn-ext-factor',
|
||||
value: '--yarn-ext-factor'
|
||||
},
|
||||
{
|
||||
label: '--yarn-attn-factor',
|
||||
value: '--yarn-attn-factor'
|
||||
},
|
||||
{
|
||||
label: '--yarn-beta-fast',
|
||||
value: '--yarn-beta-fast'
|
||||
},
|
||||
{
|
||||
label: '--yarn-beta-slow',
|
||||
value: '--yarn-beta-slow'
|
||||
},
|
||||
{
|
||||
label: '--no-kv-offload',
|
||||
value: '--no-kv-offload'
|
||||
},
|
||||
{
|
||||
label: '--no-cache-prompt',
|
||||
value: '--no-cache-prompt'
|
||||
},
|
||||
{
|
||||
label: '--cache-reuse',
|
||||
value: '--cache-reuse'
|
||||
},
|
||||
{
|
||||
label: '--cache-type-k',
|
||||
value: '--cache-type-k',
|
||||
options: [
|
||||
'f32',
|
||||
'f16',
|
||||
'bf16',
|
||||
'q8_0',
|
||||
'q4_0',
|
||||
'q4_1',
|
||||
'iq4_nl',
|
||||
'q5_0',
|
||||
'q5_1'
|
||||
]
|
||||
},
|
||||
{
|
||||
label: '--cache-type-v',
|
||||
value: '--cache-type-v',
|
||||
options: [
|
||||
'f32',
|
||||
'f16',
|
||||
'bf16',
|
||||
'q8_0',
|
||||
'q4_0',
|
||||
'q4_1',
|
||||
'iq4_nl',
|
||||
'q5_0',
|
||||
'q5_1'
|
||||
]
|
||||
},
|
||||
{
|
||||
label: '--defrag-thold',
|
||||
value: '--defrag-thold'
|
||||
},
|
||||
{
|
||||
label: '--no-cont-batching',
|
||||
value: '--no-cont-batching'
|
||||
},
|
||||
{
|
||||
label: '--mlock',
|
||||
value: '--mlock'
|
||||
},
|
||||
{
|
||||
label: '--no-mmap',
|
||||
value: '--no-mmap'
|
||||
},
|
||||
{
|
||||
label: '--mmap',
|
||||
value: '--mmap'
|
||||
},
|
||||
{
|
||||
label: '--visual-max-image-size',
|
||||
value: '--visual-max-image-size'
|
||||
},
|
||||
{
|
||||
label: '--images',
|
||||
value: '--images'
|
||||
},
|
||||
{
|
||||
label: '--model',
|
||||
value: '--model'
|
||||
},
|
||||
{
|
||||
label: '--image-max-batch',
|
||||
value: '--image-max-batch'
|
||||
},
|
||||
{
|
||||
label: '--image-max-height',
|
||||
value: '--image-max-height'
|
||||
},
|
||||
{
|
||||
label: '--image-max-width',
|
||||
value: '--image-max-width'
|
||||
},
|
||||
{
|
||||
label: '--image-guidance',
|
||||
value: '--image-guidance'
|
||||
},
|
||||
{
|
||||
label: '--image-strength',
|
||||
value: '--image-strength'
|
||||
},
|
||||
{
|
||||
label: '--image-sample-method',
|
||||
value: '--image-sample-method',
|
||||
options: [
|
||||
'euler_a',
|
||||
'euler',
|
||||
'heun',
|
||||
'dpm2',
|
||||
'dpm++2s_a',
|
||||
'dpm++2m',
|
||||
'dpm++2mv2',
|
||||
'ipndm',
|
||||
'ipndm_v',
|
||||
'lcm'
|
||||
]
|
||||
},
|
||||
{
|
||||
label: '--image-sampling-steps',
|
||||
value: '--image-sampling-steps'
|
||||
},
|
||||
{
|
||||
label: '--image-cfg-scale',
|
||||
value: '--image-cfg-scale'
|
||||
},
|
||||
{
|
||||
label: '--image-slg-scale',
|
||||
value: '--image-slg-scale'
|
||||
},
|
||||
{
|
||||
label: '--image-slg-skip-layer',
|
||||
value: '--image-slg-skip-layer'
|
||||
},
|
||||
{
|
||||
label: '--image-slg-start',
|
||||
value: '--image-slg-end'
|
||||
},
|
||||
{
|
||||
label: '--image-clip-l-model',
|
||||
value: '--image-clip-l-model'
|
||||
},
|
||||
{
|
||||
label: '--image-clip-g-model',
|
||||
value: '--image-clip-g-model'
|
||||
},
|
||||
{
|
||||
label: '--image-t5xxl-model',
|
||||
value: '--image-t5xxl-model'
|
||||
},
|
||||
{
|
||||
label: '--image-schedule-method',
|
||||
value: '--image-schedule-method',
|
||||
options: ['default', 'discrete', 'karras', 'exponential', 'ays', 'gits']
|
||||
},
|
||||
{
|
||||
label: '--image-no-text-encoder-model-offload',
|
||||
value: '--image-no-text-encoder-model-offload'
|
||||
},
|
||||
{
|
||||
label: '--image-vae-model',
|
||||
value: '--image-vae-model'
|
||||
},
|
||||
{
|
||||
label: '--image-no-vae-model-offload',
|
||||
value: '--image-no-vae-model-offload'
|
||||
},
|
||||
{
|
||||
label: '--image-vae-tiling',
|
||||
value: '--image-vae-tiling'
|
||||
},
|
||||
{
|
||||
label: '--image-no-vae-tiling',
|
||||
value: '--image-no-vae-tiling'
|
||||
},
|
||||
{
|
||||
label: '--mmproj',
|
||||
value: '--mmproj'
|
||||
},
|
||||
{
|
||||
label: '--image-taesd-model',
|
||||
value: '--image-taesd-model'
|
||||
},
|
||||
{
|
||||
label: '--image-upscale-model',
|
||||
value: '--image-upscale-model'
|
||||
},
|
||||
{
|
||||
label: '--image-upscale-repeats',
|
||||
value: '--image-upscale-repeats'
|
||||
},
|
||||
{
|
||||
label: '--image-no-control-net-model-offload',
|
||||
value: '--image-no-control-net-model-offload'
|
||||
},
|
||||
{
|
||||
label: '--image-control-net-model',
|
||||
value: '--image-control-net-model'
|
||||
},
|
||||
{
|
||||
label: '--image-control-strength',
|
||||
value: '--image-control-strength'
|
||||
},
|
||||
{
|
||||
label: '--image-control-canny',
|
||||
value: '--image-control-canny'
|
||||
},
|
||||
{
|
||||
label: '--image-free-compute-memory-immediately',
|
||||
value: '--image-free-compute-memory-immediately'
|
||||
},
|
||||
{
|
||||
label: '--jinja',
|
||||
value: '--jinja'
|
||||
},
|
||||
{
|
||||
label: '--context-shift',
|
||||
value: '--context-shift'
|
||||
},
|
||||
{
|
||||
label: '--visual-max-image-cache',
|
||||
value: '--visual-max-image-cache'
|
||||
},
|
||||
{
|
||||
label: '--max-projected-cache',
|
||||
value: '--max-projected-cache'
|
||||
},
|
||||
{
|
||||
label: '--swa-full',
|
||||
value: '--swa-full'
|
||||
},
|
||||
{
|
||||
label: '--no-enable-reasoning',
|
||||
value: '--no-enable-reasoning'
|
||||
},
|
||||
{
|
||||
label: '--override-tensor',
|
||||
value: '--override-tensor'
|
||||
}
|
||||
];
|
||||
|
||||
export default options;
|
||||
@@ -1,215 +0,0 @@
|
||||
import { BackendParameter } from './index';
|
||||
|
||||
const options: BackendParameter[] = [
|
||||
{
|
||||
label: '--log-level',
|
||||
value: '--log-level',
|
||||
options: ['Info', 'Verbose', 'Warning', 'Warn', 'Error', 'Debug']
|
||||
},
|
||||
{
|
||||
label: '--max-seq-len',
|
||||
value: '--max-seq-len'
|
||||
},
|
||||
{
|
||||
label: '--max-input-token-len',
|
||||
value: '--max-input-token-len'
|
||||
},
|
||||
{
|
||||
label: '--cpu-mem-size',
|
||||
value: '--cpu-mem-size'
|
||||
},
|
||||
{
|
||||
label: '--npu-memory-fraction',
|
||||
value: '--npu-memory-fraction'
|
||||
},
|
||||
{
|
||||
label: '--cache-block-size',
|
||||
value: '--cache-block-size'
|
||||
},
|
||||
{
|
||||
label: '--max-prefill-batch-size',
|
||||
value: '--max-prefill-batch-size'
|
||||
},
|
||||
{
|
||||
label: '--prefill-time-ms-per-req',
|
||||
value: '--prefill-time-ms-per-req',
|
||||
options: ['0', '1', '2', '3']
|
||||
},
|
||||
{
|
||||
label: '--prefill-policy-type',
|
||||
value: '--prefill-policy-type'
|
||||
},
|
||||
{
|
||||
label: '--max-batch-size',
|
||||
value: '--max-batch-size'
|
||||
},
|
||||
{
|
||||
label: '--decode-time-ms-per-req',
|
||||
value: '--decode-time-ms-per-req'
|
||||
},
|
||||
{
|
||||
label: '--decode-policy-type',
|
||||
value: '--decode-policy-type',
|
||||
options: ['0', '1', '2', '3']
|
||||
},
|
||||
{
|
||||
label: '--max-preempt-count',
|
||||
value: '--max-preempt-count'
|
||||
},
|
||||
{
|
||||
label: '--support-select-batch',
|
||||
value: '--support-select-batch'
|
||||
},
|
||||
{
|
||||
label: '--max-queue-delay-microseconds',
|
||||
value: '--max-queue-delay-microseconds'
|
||||
},
|
||||
{
|
||||
label: '--enable-prefix-caching',
|
||||
value: '--enable-prefix-caching'
|
||||
},
|
||||
{
|
||||
label: '--metrics',
|
||||
value: '--metrics'
|
||||
},
|
||||
{
|
||||
label: '--enforce-eager',
|
||||
value: '--enforce-eager'
|
||||
},
|
||||
{
|
||||
label: '--trust-remote-code',
|
||||
value: '--trust-remote-code'
|
||||
},
|
||||
{
|
||||
label: '--truncation',
|
||||
value: '--truncation'
|
||||
},
|
||||
{
|
||||
label: '--max-link-num',
|
||||
value: '--max-link-num'
|
||||
},
|
||||
{
|
||||
label: '--dtype',
|
||||
value: '--dtype',
|
||||
options: ['auto', 'half', 'float16', 'bfloat16', 'float', 'float32']
|
||||
},
|
||||
{
|
||||
label: '--rope-scaling',
|
||||
value: '--rope-scaling'
|
||||
},
|
||||
{
|
||||
label: '--rope-theta',
|
||||
value: '--rope-theta'
|
||||
},
|
||||
{
|
||||
label: '--override-generation-config',
|
||||
value: '--override-generation-config'
|
||||
},
|
||||
{
|
||||
label: '--enable-split',
|
||||
value: '--enable-split'
|
||||
},
|
||||
{
|
||||
label: '--policy-type',
|
||||
value: '--policy-type',
|
||||
options: [0, 4, 5, 6, 7]
|
||||
},
|
||||
{
|
||||
label: '--split-chunk-tokens',
|
||||
value: '--split-chunk-tokens'
|
||||
},
|
||||
{
|
||||
label: '--split-start-batch-size',
|
||||
value: '--split-start-batch-size'
|
||||
},
|
||||
{
|
||||
label: '--enable-memory-decoding',
|
||||
value: '--enable-memory-decoding'
|
||||
},
|
||||
{
|
||||
label: '--memory-decoding-length',
|
||||
value: '--memory-decoding-length'
|
||||
},
|
||||
{
|
||||
label: '--memory-decoding-dynamic-algo',
|
||||
value: '--memory-decoding-dynamic-algo'
|
||||
},
|
||||
{
|
||||
label: '--enable-lookahead',
|
||||
value: '--enable-lookahead'
|
||||
},
|
||||
{
|
||||
label: '--lookahead-level',
|
||||
value: '--lookahead-level'
|
||||
},
|
||||
{
|
||||
label: '--lookahead-window',
|
||||
value: '--lookahead-window'
|
||||
},
|
||||
{
|
||||
label: '--lookahead-guess-set-size',
|
||||
value: '--lookahead-guess-set-size'
|
||||
},
|
||||
{
|
||||
label: '--tensor-parallel-size',
|
||||
value: '--tensor-parallel-size'
|
||||
},
|
||||
{
|
||||
label: '--data-parallel-size',
|
||||
value: '--data-parallel-size'
|
||||
},
|
||||
{
|
||||
label: '--enable-buffer-response',
|
||||
value: '--enable-buffer-response'
|
||||
},
|
||||
{
|
||||
label: '--prefill-expected-time-ms',
|
||||
value: '--prefill-expected-time-ms'
|
||||
},
|
||||
{
|
||||
label: '--decode-expected-time-ms',
|
||||
value: '--decode-expected-time-ms'
|
||||
},
|
||||
{
|
||||
label: '--pipeline-parallel-size',
|
||||
value: '--pipeline-parallel-size'
|
||||
},
|
||||
{
|
||||
label: '--sequence-parallel-size',
|
||||
value: '--sequence-parallel-size'
|
||||
},
|
||||
{
|
||||
label: '--moe-expert-parallel-size',
|
||||
value: '--moe-expert-parallel-size'
|
||||
},
|
||||
{
|
||||
label: '--moe-tensor-parallel-size',
|
||||
value: '--moe-tensor-parallel-size'
|
||||
},
|
||||
{
|
||||
label: '--enable-multi-token-prediction',
|
||||
value: '--enable-multi-token-prediction'
|
||||
},
|
||||
{
|
||||
label: '--multi-token-prediction-tokens',
|
||||
value: '--multi-token-prediction-tokens'
|
||||
},
|
||||
{
|
||||
label: '--context-parallel-size',
|
||||
value: '--context-parallel-size'
|
||||
},
|
||||
{
|
||||
label: '--models',
|
||||
value: '--models'
|
||||
},
|
||||
{
|
||||
label: '--max-prefill-tokens',
|
||||
value: '--max-prefill-tokens'
|
||||
},
|
||||
{
|
||||
label: '--max-iter-times',
|
||||
value: '--max-iter-times'
|
||||
}
|
||||
];
|
||||
|
||||
export default options;
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,780 +0,0 @@
|
||||
import { BackendParameter } from './index';
|
||||
|
||||
const options: BackendParameter[] = [
|
||||
{
|
||||
label: '--uvicorn-log-level',
|
||||
value: '--uvicorn-log-level',
|
||||
options: ['debug', 'info', 'warning', 'error', 'critical', 'trace']
|
||||
},
|
||||
{
|
||||
label: '--disable-uvicorn-access-log',
|
||||
value: '--disable-uvicorn-access-log',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--allow-credentials',
|
||||
value: '--allow-credentials',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--allowed-origins',
|
||||
value: '--allowed-origins',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--allowed-methods',
|
||||
value: '--allowed-methods',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--allowed-headers',
|
||||
value: '--allowed-headers',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--api-key',
|
||||
value: '--api-key',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--lora-modules',
|
||||
value: '--lora-modules',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--prompt-adapters',
|
||||
value: '--prompt-adapters',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--chat-template',
|
||||
value: '--chat-template',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--response-role',
|
||||
value: '--response-role',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--ssl-keyfile',
|
||||
value: '--ssl-keyfile',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--ssl-certfile',
|
||||
value: '--ssl-certfile',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--data-parallel-size-local',
|
||||
value: '--data-parallel-size-local',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enable-ssl-refresh',
|
||||
value: '--enable-ssl-refresh',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--ssl-ca-certs',
|
||||
value: '--ssl-ca-certs',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--ssl-cert-reqs',
|
||||
value: '--ssl-cert-reqs',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--root-path',
|
||||
value: '--root-path',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--middleware',
|
||||
value: '--middleware',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--return-tokens-as-token-ids',
|
||||
value: '--return-tokens-as-token-ids',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--disable-frontend-multiprocessing',
|
||||
value: '--disable-frontend-multiprocessing',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enable-request-id-headers',
|
||||
value: '--enable-request-id-headers',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enable-auto-tool-choice',
|
||||
value: '--enable-auto-tool-choice',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--tool-call-parser',
|
||||
value: '--tool-call-parser',
|
||||
options: [
|
||||
'phi4_mini_json',
|
||||
'llama3_json',
|
||||
'llama4_json',
|
||||
'pythonic',
|
||||
'jamba',
|
||||
'xlam',
|
||||
'llama4_pythonic',
|
||||
'hunyuan_a13b',
|
||||
'mistral',
|
||||
'deepseek_v3',
|
||||
'kimi_k2',
|
||||
'step3',
|
||||
'qwen3_coder',
|
||||
'hermes',
|
||||
'glm45',
|
||||
'granite',
|
||||
'minimax',
|
||||
'granite-20b-fc',
|
||||
'internlm'
|
||||
]
|
||||
},
|
||||
{
|
||||
label: '--task',
|
||||
value: '--task',
|
||||
options: [
|
||||
'auto',
|
||||
'generate',
|
||||
'embedding',
|
||||
'embed',
|
||||
'classify',
|
||||
'score',
|
||||
'reward',
|
||||
'transcription'
|
||||
]
|
||||
},
|
||||
{
|
||||
label: '--allowed-local-media-path',
|
||||
value: '--allowed-local-media-path',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--tool-parser-plugin',
|
||||
value: '--tool-parser-plugin',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--model',
|
||||
value: '--model',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--tokenizer',
|
||||
value: '--tokenizer',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--hf-config-path',
|
||||
value: '--hf-config-path',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--skip-tokenizer-init',
|
||||
value: '--skip-tokenizer-init',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--revision',
|
||||
value: '--revision',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--code-revision',
|
||||
value: '--code-revision',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--tokenizer-revision',
|
||||
value: '--tokenizer-revision',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--tokenizer-mode',
|
||||
value: '--tokenizer-mode',
|
||||
options: ['auto', 'slow', 'mistral', 'custom']
|
||||
},
|
||||
{
|
||||
label: '--trust-remote-code',
|
||||
value: '--trust-remote-code',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--download-dir',
|
||||
value: '--download-dir',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--load-format',
|
||||
value: '--load-format',
|
||||
options: [
|
||||
'auto',
|
||||
'pt',
|
||||
'safetensors',
|
||||
'npcache',
|
||||
'dummy',
|
||||
'tensorizer',
|
||||
'sharded_state',
|
||||
'gguf',
|
||||
'bitsandbytes',
|
||||
'mistral',
|
||||
'runai_streamer',
|
||||
'fastsafetensors'
|
||||
]
|
||||
},
|
||||
{
|
||||
label: '--chat-template-content-format',
|
||||
value: '--chat-template-content-format',
|
||||
options: ['auto', 'string', 'openai']
|
||||
},
|
||||
{
|
||||
label: '--enable-reasoning',
|
||||
value: '--enable-reasoning',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--reasoning-parser',
|
||||
value: '--reasoning-parser',
|
||||
options: [
|
||||
'deepseek_r1',
|
||||
'glm45',
|
||||
'GptOss',
|
||||
'granite',
|
||||
'hunyuan_a13b',
|
||||
'mistral',
|
||||
'qwen3',
|
||||
'step3'
|
||||
]
|
||||
},
|
||||
{
|
||||
label: '--config-format',
|
||||
value: '--config-format',
|
||||
options: ['auto', 'hf', 'mistral']
|
||||
},
|
||||
{
|
||||
label: '--disable-cascade-attn',
|
||||
value: '--disable-cascade-attn',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--dtype',
|
||||
value: '--dtype',
|
||||
options: ['auto', 'half', 'float16', 'bfloat16', 'float', 'float32']
|
||||
},
|
||||
{
|
||||
label: '--kv-cache-dtype',
|
||||
value: '--kv-cache-dtype',
|
||||
options: ['auto', 'fp8', 'fp8_e5m2', 'fp8_e4m3']
|
||||
},
|
||||
{
|
||||
label: '--disable-chunked-mm-input',
|
||||
value: '--disable-chunked-mm-input',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: 'DISABLE_CHUNKED_MM_INPUT',
|
||||
value: 'DISABLE_CHUNKED_MM_INPUT',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--quantization-param-path',
|
||||
value: '--quantization-param-path',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-model-len',
|
||||
value: '--max-model-len',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--guided-decoding-backend',
|
||||
value: '--guided-decoding-backend',
|
||||
options: ['outlines', 'lm-format-enforcer', 'xgrammar']
|
||||
},
|
||||
{
|
||||
label: '--logits-processor-pattern',
|
||||
value: '--logits-processor-pattern',
|
||||
options: []
|
||||
},
|
||||
|
||||
{
|
||||
label: '--model-impl',
|
||||
value: '--model-impl',
|
||||
options: ['auto', 'vllm', 'transformers']
|
||||
},
|
||||
{
|
||||
label: '--distributed-executor-backend',
|
||||
value: '--distributed-executor-backend',
|
||||
options: ['ray', 'mp', 'uni', 'external_launcher']
|
||||
},
|
||||
{
|
||||
label: '--worker-use-ray',
|
||||
value: '--worker-use-ray',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--data-parallel-size',
|
||||
value: '--data-parallel-size',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enable-expert-parallel',
|
||||
value: '--enable-expert-parallel',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--pipeline-parallel-size',
|
||||
value: '--pipeline-parallel-size',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--tensor-parallel-size',
|
||||
value: '--tensor-parallel-size',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-parallel-loading-workers',
|
||||
value: '--max-parallel-loading-workers',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--ray-workers-use-nsight',
|
||||
value: '--ray-workers-use-nsight',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--block-size',
|
||||
value: '--block-size',
|
||||
options: ['8', '16', '32', '64', '128']
|
||||
},
|
||||
{
|
||||
label: '--enable-prefix-caching',
|
||||
value: '--enable-prefix-caching',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--prefix-caching-hash-algo',
|
||||
value: '--prefix-caching-hash-algo',
|
||||
options: ['builtin', 'sha256']
|
||||
},
|
||||
{
|
||||
label: '--disable-sliding-window',
|
||||
value: '--disable-sliding-window',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--use-v2-block-manager',
|
||||
value: '--use-v2-block-manager',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--num-lookahead-slots',
|
||||
value: '--num-lookahead-slots',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--seed',
|
||||
value: '--seed',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--swap-space',
|
||||
value: '--swap-space',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--cpu-offload-gb',
|
||||
value: '--cpu-offload-gb',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--gpu-memory-utilization',
|
||||
value: '--gpu-memory-utilization',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--num-gpu-blocks-override',
|
||||
value: '--num-gpu-blocks-override',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-num-batched-tokens',
|
||||
value: '--max-num-batched-tokens',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-num-partial-prefills',
|
||||
value: '--max-num-partial-prefills',
|
||||
options: []
|
||||
},
|
||||
|
||||
{
|
||||
label: '--max-long-partial-prefills',
|
||||
value: '--max-long-partial-prefills',
|
||||
options: []
|
||||
},
|
||||
|
||||
{
|
||||
label: '--long-prefill-token-threshold',
|
||||
value: '--long-prefill-token-threshold',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-num-seqs',
|
||||
value: '--max-num-seqs',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-logprobs',
|
||||
value: '--max-logprobs',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--disable-log-stats',
|
||||
value: '--disable-log-stats',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--hf-overrides',
|
||||
value: '--hf-overrides',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--hf-token',
|
||||
value: '--hf-token',
|
||||
options: []
|
||||
},
|
||||
|
||||
{
|
||||
label: 'HF_TOKEN',
|
||||
value: 'HF_TOKEN',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--disable-mm-preprocessor-cache',
|
||||
value: '--disable-mm-preprocessor-cache',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--quantization',
|
||||
value: '--quantization',
|
||||
options: [
|
||||
'aqlm',
|
||||
'awq',
|
||||
'deepspeedfp',
|
||||
'tpu_int8',
|
||||
'fp8',
|
||||
'ptpc_fp8',
|
||||
'fbgemm_fp8',
|
||||
'modelopt',
|
||||
'nvfp4',
|
||||
'marlin',
|
||||
'gguf',
|
||||
'gptq_marlin_24',
|
||||
'gptq_marlin',
|
||||
'awq_marlin',
|
||||
'gptq',
|
||||
'compressed-tensors',
|
||||
'bitsandbytes',
|
||||
'qqq',
|
||||
'hqq',
|
||||
'experts_int8',
|
||||
'neuron_quant',
|
||||
'ipex',
|
||||
'quark',
|
||||
'moe_wna16',
|
||||
'torchao',
|
||||
'ascend',
|
||||
'None'
|
||||
]
|
||||
},
|
||||
{
|
||||
label: '--enable-lora-bias',
|
||||
value: '--enable-lora-bias',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--rope-theta',
|
||||
value: '--rope-theta',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enforce-eager',
|
||||
value: '--enforce-eager',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-context-len-to-capture',
|
||||
value: '--max-context-len-to-capture',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-seq-len-to-capture',
|
||||
value: '--max-seq-len-to-capture',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--disable-custom-all-reduce',
|
||||
value: '--disable-custom-all-reduce',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--tokenizer-pool-size',
|
||||
value: '--tokenizer-pool-size',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--tokenizer-pool-type',
|
||||
value: '--tokenizer-pool-type',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--tokenizer-pool-extra-config',
|
||||
value: '--tokenizer-pool-extra-config',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--limit-mm-per-prompt',
|
||||
value: '--limit-mm-per-prompt',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--mm-processor-kwargs',
|
||||
value: '--mm-processor-kwargs',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enable-lora',
|
||||
value: '--enable-lora',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-loras',
|
||||
value: '--max-loras',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-lora-rank',
|
||||
value: '--max-lora-rank',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--lora-extra-vocab-size',
|
||||
value: '--lora-extra-vocab-size',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--lora-dtype',
|
||||
value: '--lora-dtype',
|
||||
options: ['auto', 'float16', 'bfloat16']
|
||||
},
|
||||
{
|
||||
label: '--long-lora-scaling-factors',
|
||||
value: '--long-lora-scaling-factors',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-cpu-loras',
|
||||
value: '--max-cpu-loras',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--fully-sharded-loras',
|
||||
value: '--fully-sharded-loras',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enable-prompt-adapter',
|
||||
value: '--enable-prompt-adapter',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-prompt-adapters',
|
||||
value: '--max-prompt-adapters',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-prompt-adapter-token',
|
||||
value: '--max-prompt-adapter-token',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--device',
|
||||
value: '--device',
|
||||
options: ['auto', 'cuda', 'neuron', 'cpu', 'tpu', 'xpu', 'hpu']
|
||||
},
|
||||
{
|
||||
label: '--speculative-config',
|
||||
value: '--speculative-config',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--num-scheduler-steps',
|
||||
value: '--num-scheduler-steps',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--multi-step-stream-outputs',
|
||||
value: '--multi-step-stream-outputs',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--scheduler-delay-factor',
|
||||
value: '--scheduler-delay-factor',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enable-chunked-prefill',
|
||||
value: '--enable-chunked-prefill',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--model-loader-extra-config',
|
||||
value: '--model-loader-extra-config',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--scheduler-cls',
|
||||
value: '--scheduler-cls',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--use-tqdm-on-load',
|
||||
value: '--use-tqdm-on-load',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--ignore-patterns',
|
||||
value: '--ignore-patterns',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--show-hidden-metrics-for-version',
|
||||
value: '--show-hidden-metrics-for-version',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--preemption-mode',
|
||||
value: '--preemption-mode',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--served-model-name',
|
||||
value: '--served-model-name',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--qlora-adapter-name-or-path',
|
||||
value: '--qlora-adapter-name-or-path',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--otlp-traces-endpoint',
|
||||
value: '--otlp-traces-endpoint',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--collect-detailed-traces',
|
||||
value: '--collect-detailed-traces',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--disable-async-output-proc',
|
||||
value: '--disable-async-output-proc',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--override-neuron-config',
|
||||
value: '--override-neuron-config',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--compilation-config',
|
||||
value: '--compilation-config',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--override-pooler-config',
|
||||
value: '--override-pooler-config',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--kv-transfer-config',
|
||||
value: '--kv-transfer-config',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--worker-cls',
|
||||
value: '--worker-cls',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--override-generation-config',
|
||||
value: '--override-generation-config',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enable-sleep-mode',
|
||||
value: '--enable-sleep-mode',
|
||||
options: []
|
||||
},
|
||||
|
||||
{
|
||||
label: '--calculate-kv-scales',
|
||||
value: '--calculate-kv-scales',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--generation-config',
|
||||
value: '--generation-config',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--scheduling-policy',
|
||||
value: '--scheduling-policy',
|
||||
options: ['fcfs', 'priority']
|
||||
},
|
||||
{
|
||||
label: '--disable-log-requests',
|
||||
value: '--disable-log-requests',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--additional-config',
|
||||
value: '--additional-config',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--max-log-len',
|
||||
value: '--max-log-len',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--disable-fastapi-docs',
|
||||
value: '--disable-fastapi-docs',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enable-prompt-tokens-details',
|
||||
value: '--enable-prompt-tokens-details',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enable-server-load-tracking',
|
||||
value: '--enable-server-load-tracking',
|
||||
options: []
|
||||
}
|
||||
];
|
||||
|
||||
export default options;
|
||||
@@ -1,87 +0,0 @@
|
||||
// this list is copied from llamacpp repo
|
||||
enum FileType {
|
||||
F32 = 0,
|
||||
F16 = 1,
|
||||
Q4_0 = 2,
|
||||
Q4_1 = 3,
|
||||
Q4_1_SOME_F16 = 4,
|
||||
Q8_0 = 7,
|
||||
Q5_0 = 8,
|
||||
Q5_1 = 9,
|
||||
Q2_K = 10,
|
||||
Q3_K_S = 11,
|
||||
Q3_K_M = 12,
|
||||
Q3_K_L = 13,
|
||||
Q4_K_S = 14,
|
||||
Q4_K_M = 15,
|
||||
Q5_K_S = 16,
|
||||
Q5_K_M = 17,
|
||||
Q6_K = 18,
|
||||
IQ2_XXS = 19,
|
||||
IQ2_XS = 20,
|
||||
Q2_K_S = 21,
|
||||
IQ3_XS = 22,
|
||||
IQ3_XXS = 23,
|
||||
IQ1_S = 24,
|
||||
IQ4_NL = 25,
|
||||
IQ3_S = 26,
|
||||
IQ3_M = 27,
|
||||
IQ2_S = 28,
|
||||
IQ2_M = 29,
|
||||
IQ4_XS = 30,
|
||||
IQ1_M = 31,
|
||||
BF16 = 32,
|
||||
Q4_0_4_4 = 33,
|
||||
Q4_0_4_8 = 34,
|
||||
Q4_0_8_8 = 35,
|
||||
TQ1_0 = 36,
|
||||
TQ2_0 = 37
|
||||
}
|
||||
|
||||
export const fileTypeList = [
|
||||
'F32',
|
||||
'F16',
|
||||
'Q4_0',
|
||||
'Q4_1',
|
||||
'Q4_1_SOME_F16',
|
||||
'Q8_0',
|
||||
'Q5_0',
|
||||
'Q5_1',
|
||||
'Q2_K',
|
||||
'Q3_K_S',
|
||||
'Q3_K_M',
|
||||
'Q3_K_L',
|
||||
'Q4_K_S',
|
||||
'Q4_K_M',
|
||||
'Q5_K_S',
|
||||
'Q5_K_M',
|
||||
'Q6_K',
|
||||
'IQ2_XXS',
|
||||
'IQ2_XS',
|
||||
'Q2_K_S',
|
||||
'IQ3_XS',
|
||||
'IQ3_XXS',
|
||||
'IQ1_S',
|
||||
'IQ4_NL',
|
||||
'IQ3_S',
|
||||
'IQ3_M',
|
||||
'IQ2_S',
|
||||
'IQ2_M',
|
||||
'IQ4_XS',
|
||||
'IQ1_M',
|
||||
'BF16',
|
||||
'Q4_0_4_4',
|
||||
'Q4_0_4_8',
|
||||
'Q4_0_8_8',
|
||||
'TQ1_0',
|
||||
'TQ2_0'
|
||||
];
|
||||
|
||||
export const getFileType = (fileName: string): string | null => {
|
||||
const pattern = new RegExp(`[._-](${fileTypeList.join('|')})\\.gguf$`, 'i');
|
||||
const match = fileName.match(pattern);
|
||||
|
||||
return match ? match[1].toUpperCase() : null;
|
||||
};
|
||||
|
||||
export default FileType;
|
||||
@@ -1,6 +1,6 @@
|
||||
import { StatusMaps } from '@/config';
|
||||
import { EditOutlined } from '@ant-design/icons';
|
||||
import { backendOptionsMap } from './backend-parameters';
|
||||
import { backendOptionsMap } from '../constants/backend-parameters';
|
||||
|
||||
export const backendTipsList = [
|
||||
{
|
||||
|
||||
@@ -1,204 +0,0 @@
|
||||
export default {
|
||||
items: [
|
||||
{
|
||||
backend_name: 'vLLM',
|
||||
is_built_in: true,
|
||||
backend_source: 'built-in',
|
||||
default_version: '0.13.0',
|
||||
default_backend_param: [],
|
||||
versions: [
|
||||
{
|
||||
version: '0.13.0',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: '0.12.0',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: '0.11.2',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: '0.11.0',
|
||||
is_deprecated: true
|
||||
},
|
||||
{
|
||||
version: '0.10.2',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: '0.10.1.1',
|
||||
is_deprecated: true
|
||||
},
|
||||
{
|
||||
version: '0.10.0',
|
||||
is_deprecated: true
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
backend_name: 'SGLang',
|
||||
backend_source: 'built-in',
|
||||
is_built_in: true,
|
||||
default_version: '0.5.7',
|
||||
default_backend_param: [],
|
||||
versions: [
|
||||
{
|
||||
version: '0.5.7',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: '0.5.6.post2',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: '0.5.5.post3',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: '0.5.5',
|
||||
is_deprecated: true
|
||||
},
|
||||
{
|
||||
version: '0.5.4.post3',
|
||||
is_deprecated: false
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
backend_name: 'MindIE',
|
||||
backend_source: 'built-in',
|
||||
is_built_in: true,
|
||||
default_version: null,
|
||||
default_backend_param: [],
|
||||
versions: []
|
||||
},
|
||||
{
|
||||
backend_name: 'VoxBox',
|
||||
backend_source: 'built-in',
|
||||
is_built_in: true,
|
||||
default_version: '0.0.21',
|
||||
default_backend_param: [],
|
||||
versions: [
|
||||
{
|
||||
version: '0.0.21',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: '0.0.20',
|
||||
is_deprecated: true
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
backend_name: 'kokoro',
|
||||
backend_source: 'community',
|
||||
is_built_in: false,
|
||||
default_version: '',
|
||||
default_backend_param: [],
|
||||
versions: [
|
||||
{
|
||||
version: 'latest',
|
||||
is_deprecated: false
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
backend_name: 'llama.cpp',
|
||||
backend_source: 'community',
|
||||
is_built_in: false,
|
||||
default_version: 'cpu',
|
||||
default_backend_param: [],
|
||||
versions: [
|
||||
{
|
||||
version: 'cuda',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: 'cpu',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: 'vulkan',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: 'musa',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: 'rocm',
|
||||
is_deprecated: false
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
backend_name: 'MinerU',
|
||||
backend_source: 'community',
|
||||
is_built_in: false,
|
||||
default_version: 'v2.7.0',
|
||||
default_backend_param: [],
|
||||
versions: [
|
||||
{
|
||||
version: 'v2.7.0',
|
||||
is_deprecated: false
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
backend_name: 'paddlex-genai',
|
||||
backend_source: 'community',
|
||||
is_built_in: false,
|
||||
default_version: 'latest',
|
||||
default_backend_param: [],
|
||||
versions: [
|
||||
{
|
||||
version: 'latest',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: 'latest-dcu',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: 'latest-metax-gpu',
|
||||
is_deprecated: false
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
backend_name: 'text-embeddings-inference',
|
||||
is_built_in: false,
|
||||
backend_source: 'community',
|
||||
default_version: 'cpu-1.8',
|
||||
default_backend_param: [],
|
||||
versions: [
|
||||
{
|
||||
version: 'cpu-1.8',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: 'cuda-sm89-1.8',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: 'cuda-sm86-1.8',
|
||||
is_deprecated: false
|
||||
},
|
||||
{
|
||||
version: 'cuda-sm80-1.8',
|
||||
is_deprecated: false
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
backend_name: 'Custom',
|
||||
backend_source: 'custom',
|
||||
is_built_in: false,
|
||||
default_version: null,
|
||||
default_backend_param: null,
|
||||
versions: []
|
||||
}
|
||||
]
|
||||
};
|
||||
@@ -1,71 +0,0 @@
|
||||
import _ from 'lodash';
|
||||
import { backendOptionsMap } from '../config/backend-parameters';
|
||||
import { FormData } from './types';
|
||||
|
||||
// generate the gpu_selector field for form initial values, when eidting a model
|
||||
export const generateGPUSelector = (data: any, gpuOptions: any[]) => {
|
||||
const gpu_ids = _.get(data, 'gpu_selector.gpu_ids', []);
|
||||
if (gpu_ids.length === 0) {
|
||||
return {
|
||||
gpu_selector: null
|
||||
};
|
||||
}
|
||||
|
||||
const valueMap = new Map<string, string>();
|
||||
gpuOptions?.forEach((item) => {
|
||||
item.children?.forEach((child: any) => {
|
||||
valueMap.set(child.value, item.value);
|
||||
});
|
||||
});
|
||||
|
||||
const gpuids: string[][] = gpu_ids
|
||||
.map((id: string) => {
|
||||
const parent = valueMap.get(id);
|
||||
return parent ? [parent, id] : null;
|
||||
})
|
||||
.filter(Boolean) as string[][];
|
||||
|
||||
const result = data.backend === backendOptionsMap.voxBox ? gpuids[0] : gpuids;
|
||||
|
||||
return {
|
||||
gpu_selector: {
|
||||
gpu_ids: result
|
||||
}
|
||||
};
|
||||
};
|
||||
|
||||
/**
|
||||
* before submit the form, generate the gpu_selector field, and clear worker_selector if needed
|
||||
* @param data
|
||||
* @returns
|
||||
*/
|
||||
export const generateGPUIds = (data: FormData) => {
|
||||
const gpu_ids = _.get(data, 'gpu_selector.gpu_ids', []);
|
||||
|
||||
if (!gpu_ids.length) {
|
||||
return {
|
||||
gpu_selector: null
|
||||
};
|
||||
}
|
||||
|
||||
const result = _.reduce(
|
||||
gpu_ids,
|
||||
(acc: string[], item: string | string[], index: number) => {
|
||||
if (Array.isArray(item)) {
|
||||
acc.push(item[1]);
|
||||
} else if (index === 1) {
|
||||
acc.push(item);
|
||||
}
|
||||
return acc;
|
||||
},
|
||||
[]
|
||||
);
|
||||
|
||||
return {
|
||||
gpu_selector: {
|
||||
gpu_ids: result || [],
|
||||
gpus_per_replica: data.gpu_selector?.gpus_per_replica || null
|
||||
},
|
||||
worker_selector: null
|
||||
};
|
||||
};
|
||||
Reference in New Issue
Block a user