feat: vllm support

2024-09-25 16:17:25 +08:00
parent 0652f850d6
commit 3cd96ba2e8
47 changed files with 1610 additions and 252 deletions
@@ -0,0 +1,26 @@
+export default [
+  {
+    label: '--chat-template',
+    value: '--chat-template'
+  },
+  {
+    label: '--ctx-size',
+    value: '--ctx-size'
+  },
+  {
+    label: '--flash-attn',
+    value: '--flash-attn'
+  },
+  {
+    label: '--parallel',
+    value: '--parallel'
+  },
+  {
+    label: '--batch-size',
+    value: '--batch-size'
+  },
+  {
+    label: '--ubatch-size',
+    value: '--ubatch-size'
+  }
+];