gpustack-ui/src/pages/llmodels/config/vllm-config.ts

const options = [
  {
    label: '--uvicorn-log-level',
    value: '--uvicorn-log-level',
    options: ['debug', 'info', 'warning', 'error', 'critical', 'trace']
  },
  {
    label: '--allow-credentials',
    value: '--allow-credentials',
    options: []
  },
  {
    label: '--allowed-origins',
    value: '--allowed-origins',
    options: []
  },
  {
    label: '--allowed-methods',
    value: '--allowed-methods',
    options: []
  },
  {
    label: '--allowed-headers',
    value: '--allowed-headers',
    options: []
  },
  {
    label: '--api-key',
    value: '--api-key',
    options: []
  },
  {
    label: '--lora-modules',
    value: '--lora-modules',
    options: []
  },
  {
    label: '--prompt-adapters',
    value: '--prompt-adapters',
    options: []
  },
  {
    label: '--chat-template',
    value: '--chat-template',
    options: []
  },
  {
    label: '--response-role',
    value: '--response-role',
    options: []
  },
  {
    label: '--ssl-keyfile',
    value: '--ssl-keyfile',
    options: []
  },
  {
    label: '--ssl-certfile',
    value: '--ssl-certfile',
    options: []
  },
  {
    label: '--ssl-ca-certs',
    value: '--ssl-ca-certs',
    options: []
  },
  {
    label: '--ssl-cert-reqs',
    value: '--ssl-cert-reqs',
    options: []
  },
  {
    label: '--root-path',
    value: '--root-path',
    options: []
  },
  {
    label: '--middleware',
    value: '--middleware',
    options: []
  },
  {
    label: '--return-tokens-as-token-ids',
    value: '--return-tokens-as-token-ids',
    options: []
  },
  {
    label: '--disable-frontend-multiprocessing',
    value: '--disable-frontend-multiprocessing',
    options: []
  },
  {
    label: '--enable-auto-tool-choice',
    value: '--enable-auto-tool-choice',
    options: []
  },
  {
    label: '--tool-call-parser',
    value: '--tool-call-parser',
    options: ['mistral', 'hermes']
  },
  {
    label: '--model',
    value: '--model',
    options: []
  },
  {
    label: '--tokenizer',
    value: '--tokenizer',
    options: []
  },
  {
    label: '--skip-tokenizer-init',
    value: '--skip-tokenizer-init',
    options: []
  },
  {
    label: '--revision',
    value: '--revision',
    options: []
  },
  {
    label: '--code-revision',
    value: '--code-revision',
    options: []
  },
  {
    label: '--tokenizer-revision',
    value: '--tokenizer-revision',
    options: []
  },
  {
    label: '--tokenizer-mode',
    value: '--tokenizer-mode',
    options: ['auto', 'slow', 'mistral']
  },
  {
    label: '--trust-remote-code',
    value: '--trust-remote-code',
    options: []
  },
  {
    label: '--download-dir',
    value: '--download-dir',
    options: []
  },
  {
    label: '--load-format',
    value: '--load-format',
    options: [
      'auto',
      'pt',
      'safetensors',
      'npcache',
      'dummy',
      'tensorizer',
      'sharded_state',
      'gguf',
      'bitsandbytes',
      'mistral'
    ]
  },
  {
    label: '--config-format',
    value: '--config-format',
    options: ['auto', 'hf', 'mistral']
  },
  {
    label: '--dtype',
    value: '--dtype',
    options: ['auto', 'half', 'float16', 'bfloat16', 'float', 'float32']
  },
  {
    label: '--kv-cache-dtype',
    value: '--kv-cache-dtype',
    options: ['auto', 'fp8', 'fp8_e5m2', 'fp8_e4m3']
  },
  {
    label: '--quantization-param-path',
    value: '--quantization-param-path',
    options: []
  },
  {
    label: '--max-model-len',
    value: '--max-model-len',
    options: []
  },
  {
    label: '--guided-decoding-backend',
    value: '--guided-decoding-backend',
    options: ['outlines', 'lm-format-enforcer']
  },
  {
    label: '--distributed-executor-backend',
    value: '--distributed-executor-backend',
    options: ['ray', 'mp']
  },
  {
    label: '--worker-use-ray',
    value: '--worker-use-ray',
    options: []
  },
  {
    label: '--pipeline-parallel-size',
    value: '--pipeline-parallel-size',
    options: []
  },
  {
    label: '--tensor-parallel-size',
    value: '--tensor-parallel-size',
    options: []
  },
  {
    label: '--max-parallel-loading-workers',
    value: '--max-parallel-loading-workers',
    options: []
  },
  {
    label: '--ray-workers-use-nsight',
    value: '--ray-workers-use-nsight',
    options: []
  },
  {
    label: '--block-size',
    value: '--block-size',
    options: ['8', '16', '32']
  },
  {
    label: '--enable-prefix-caching',
    value: '--enable-prefix-caching',
    options: []
  },
  {
    label: '--disable-sliding-window',
    value: '--disable-sliding-window',
    options: []
  },
  {
    label: '--use-v2-block-manager',
    value: '--use-v2-block-manager',
    options: []
  },
  {
    label: '--num-lookahead-slots',
    value: '--num-lookahead-slots',
    options: []
  },
  {
    label: '--seed',
    value: '--seed',
    options: []
  },
  {
    label: '--swap-space',
    value: '--swap-space',
    options: []
  },
  {
    label: '--cpu-offload-gb',
    value: '--cpu-offload-gb',
    options: []
  },
  {
    label: '--gpu-memory-utilization',
    value: '--gpu-memory-utilization',
    options: []
  },
  {
    label: '--num-gpu-blocks-override',
    value: '--num-gpu-blocks-override',
    options: []
  },
  {
    label: '--max-num-batched-tokens',
    value: '--max-num-batched-tokens',
    options: []
  },
  {
    label: '--max-num-seqs',
    value: '--max-num-seqs',
    options: []
  },
  {
    label: '--max-logprobs',
    value: '--max-logprobs',
    options: []
  },
  {
    label: '--disable-log-stats',
    value: '--disable-log-stats',
    options: []
  },
  {
    label: '--quantization',
    value: '--quantization',
    options: [
      'aqlm',
      'awq',
      'deepspeedfp',
      'tpu_int8',
      'fp8',
      'fbgemm_fp8',
      'modelopt',
      'marlin',
      'gguf',
      'gptq_marlin_24',
      'gptq_marlin',
      'awq_marlin',
      'gptq',
      'compressed-tensors',
      'bitsandbytes',
      'qqq',
      'experts_int8',
      'neuron_quant',
      'None'
    ]
  },
  {
    label: '--rope-scaling',
    value: '--rope-scaling',
    options: []
  },
  {
    label: '--rope-theta',
    value: '--rope-theta',
    options: []
  },
  {
    label: '--enforce-eager',
    value: '--enforce-eager',
    options: []
  },
  {
    label: '--max-context-len-to-capture',
    value: '--max-context-len-to-capture',
    options: []
  },
  {
    label: '--max-seq-len-to-capture',
    value: '--max-seq-len-to-capture',
    options: []
  },
  {
    label: '--disable-custom-all-reduce',
    value: '--disable-custom-all-reduce',
    options: []
  },
  {
    label: '--tokenizer-pool-size',
    value: '--tokenizer-pool-size',
    options: []
  },
  {
    label: '--tokenizer-pool-type',
    value: '--tokenizer-pool-type',
    options: []
  },
  {
    label: '--tokenizer-pool-extra-config',
    value: '--tokenizer-pool-extra-config',
    options: []
  },
  {
    label: '--limit-mm-per-prompt',
    value: '--limit-mm-per-prompt',
    options: []
  },
  {
    label: '--enable-lora',
    value: '--enable-lora',
    options: []
  },
  {
    label: '--max-loras',
    value: '--max-loras',
    options: []
  },
  {
    label: '--max-lora-rank',
    value: '--max-lora-rank',
    options: []
  },
  {
    label: '--lora-extra-vocab-size',
    value: '--lora-extra-vocab-size',
    options: []
  },
  {
    label: '--lora-dtype',
    value: '--lora-dtype',
    options: ['auto', 'float16', 'bfloat16', 'float32']
  },
  {
    label: '--long-lora-scaling-factors',
    value: '--long-lora-scaling-factors',
    options: []
  },
  {
    label: '--max-cpu-loras',
    value: '--max-cpu-loras',
    options: []
  },
  {
    label: '--fully-sharded-loras',
    value: '--fully-sharded-loras',
    options: []
  },
  {
    label: '--enable-prompt-adapter',
    value: '--enable-prompt-adapter',
    options: []
  },
  {
    label: '--max-prompt-adapters',
    value: '--max-prompt-adapters',
    options: []
  },
  {
    label: '--max-prompt-adapter-token',
    value: '--max-prompt-adapter-token',
    options: []
  },
  {
    label: '--device',
    value: '--device',
    options: ['auto', 'cuda', 'neuron', 'cpu', 'openvino', 'tpu', 'xpu']
  },
  {
    label: '--num-scheduler-steps',
    value: '--num-scheduler-steps',
    options: []
  },
  {
    label: '--scheduler-delay-factor',
    value: '--scheduler-delay-factor',
    options: []
  },
  {
    label: '--enable-chunked-prefill',
    value: '--enable-chunked-prefill',
    options: []
  },
  {
    label: '--speculative-model',
    value: '--speculative-model',
    options: []
  },
  {
    label: '--speculative-model-quantization',
    value: '--speculative-model-quantization',
    options: [
      'aqlm',
      'awq',
      'deepspeedfp',
      'tpu_int8',
      'fp8',
      'fbgemm_fp8',
      'modelopt',
      'marlin',
      'gguf',
      'gptq_marlin_24',
      'gptq_marlin',
      'awq_marlin',
      'gptq',
      'compressed-tensors',
      'bitsandbytes',
      'qqq',
      'experts_int8',
      'neuron_quant',
      'None'
    ]
  },
  {
    label: '--num-speculative-tokens',
    value: '--num-speculative-tokens',
    options: []
  },
  {
    label: '--speculative-draft-tensor-parallel-size',
    value: '--speculative-draft-tensor-parallel-size',
    options: []
  },
  {
    label: '--speculative-max-model-len',
    value: '--speculative-max-model-len',
    options: []
  },
  {
    label: '--speculative-disable-by-batch-size',
    value: '--speculative-disable-by-batch-size',
    options: []
  },
  {
    label: '--ngram-prompt-lookup-max',
    value: '--ngram-prompt-lookup-max',
    options: []
  },
  {
    label: '--ngram-prompt-lookup-min',
    value: '--ngram-prompt-lookup-min',
    options: []
  },
  {
    label: '--spec-decoding-acceptance-method',
    value: '--spec-decoding-acceptance-method',
    options: ['rejection_sampler', 'typical_acceptance_sampler']
  },
  {
    label: '--typical-acceptance-sampler-posterior-threshold',
    value: '--typical-acceptance-sampler-posterior-threshold',
    options: []
  },
  {
    label: '--typical-acceptance-sampler-posterior-alpha',
    value: '--typical-acceptance-sampler-posterior-alpha',
    options: []
  },
  {
    label: '--disable-logprobs-during-spec-decoding',
    value: '--disable-logprobs-during-spec-decoding',
    options: []
  },
  {
    label: '--model-loader-extra-config',
    value: '--model-loader-extra-config',
    options: []
  },
  {
    label: '--ignore-patterns',
    value: '--ignore-patterns',
    options: []
  },
  {
    label: '--preemption-mode',
    value: '--preemption-mode',
    options: []
  },
  {
    label: '--served-model-name',
    value: '--served-model-name',
    options: []
  },
  {
    label: '--qlora-adapter-name-or-path',
    value: '--qlora-adapter-name-or-path',
    options: []
  },
  {
    label: '--otlp-traces-endpoint',
    value: '--otlp-traces-endpoint',
    options: []
  },
  {
    label: '--collect-detailed-traces',
    value: '--collect-detailed-traces',
    options: []
  },
  {
    label: '--disable-async-output-proc',
    value: '--disable-async-output-proc',
    options: []
  },
  {
    label: '--override-neuron-config',
    value: '--override-neuron-config',
    options: []
  },
  {
    label: '--disable-log-requests',
    value: '--disable-log-requests',
    options: []
  },
  {
    label: '--max-log-len',
    value: '--max-log-len',
    options: []
  }
];

const resultList = options.map((option) => {
  return {
    label: option.label,
    value: option.value,
    opts: option.options.map((opt) => {
      return {
        label: opt,
        value: opt
      };
    })
  };
});

export default resultList;