Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
9d654bcd66 | ||
|
|
5f8e72c6ae | ||
|
|
5dde5cae50 |
@@ -181,7 +181,9 @@ export default (props: any) => {
|
||||
return (
|
||||
initialState?.currentUser?.is_admin &&
|
||||
updateCheck.latest_version &&
|
||||
updateCheck.latest_version !== version?.version
|
||||
updateCheck.latest_version !== version?.version &&
|
||||
updateCheck.latest_version !== '0.0.0' &&
|
||||
updateCheck.latest_version?.indexOf('rc') === -1
|
||||
);
|
||||
}, [updateCheck, version, initialState]);
|
||||
|
||||
|
||||
@@ -161,7 +161,7 @@ const HFModelFile: React.FC<HFModelFileProps> = forwardRef((props, ref) => {
|
||||
}
|
||||
);
|
||||
const fileList = _.filter(_.get(data, ['Data', 'Files']), (file: any) => {
|
||||
return filterRegGGUF.test(file.Path) || _.includes(file.Path, '.gguf');
|
||||
return filterRegGGUF.test(file.Path) && file.Type === 'blob';
|
||||
});
|
||||
|
||||
const list = _.map(fileList, (item: any) => {
|
||||
|
||||
@@ -242,3 +242,32 @@ export const setbackendParameters = (data: any) => {
|
||||
});
|
||||
return result;
|
||||
};
|
||||
|
||||
export const getVllmCliArgs = (inputString: string) => {
|
||||
const arrayOutput = inputString
|
||||
.split(/\s*\[\s*|\s*\]\s*/g) // Split by '[' or ']', removing extra spaces
|
||||
.filter((item) => item) // Remove empty items
|
||||
.map((item) => item.trim()); // Trim spaces around each item
|
||||
|
||||
const result = arrayOutput.map((item) => {
|
||||
const parts = item.split(' ');
|
||||
const label = parts[0].trim(); // Remove leading dashes
|
||||
const value = parts[0].trim();
|
||||
|
||||
if (parts.length === 1) {
|
||||
return { label, value, options: [] };
|
||||
} else if (parts.length > 1) {
|
||||
const optionPart = parts[1];
|
||||
if (optionPart.startsWith('{') && optionPart.endsWith('}')) {
|
||||
const options = optionPart
|
||||
.slice(1, -1)
|
||||
.split(',')
|
||||
.map((opt) => opt.trim());
|
||||
return { label, value, options };
|
||||
}
|
||||
}
|
||||
return { label, value, options: [] }; // Fallback
|
||||
});
|
||||
|
||||
return result;
|
||||
};
|
||||
|
||||
@@ -97,7 +97,12 @@ const options = [
|
||||
{
|
||||
label: '--tool-call-parser',
|
||||
value: '--tool-call-parser',
|
||||
options: ['mistral', 'hermes']
|
||||
options: ['mistral', 'hermes', 'internlm', 'llama3_json']
|
||||
},
|
||||
{
|
||||
label: '--tool-parser-plugin',
|
||||
value: '--tool-parser-plugin',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--model',
|
||||
@@ -312,6 +317,7 @@ const options = [
|
||||
'qqq',
|
||||
'experts_int8',
|
||||
'neuron_quant',
|
||||
'ipex',
|
||||
'None'
|
||||
]
|
||||
},
|
||||
@@ -365,6 +371,11 @@ const options = [
|
||||
value: '--limit-mm-per-prompt',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--mm-processor-kwargs',
|
||||
value: '--mm-processor-kwargs',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--enable-lora',
|
||||
value: '--enable-lora',
|
||||
@@ -430,6 +441,11 @@ const options = [
|
||||
value: '--num-scheduler-steps',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--multi-step-stream-outputs',
|
||||
value: '--multi-step-stream-outputs',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--scheduler-delay-factor',
|
||||
value: '--scheduler-delay-factor',
|
||||
@@ -467,6 +483,7 @@ const options = [
|
||||
'qqq',
|
||||
'experts_int8',
|
||||
'neuron_quant',
|
||||
'ipex',
|
||||
'None'
|
||||
]
|
||||
},
|
||||
@@ -475,6 +492,11 @@ const options = [
|
||||
value: '--num-speculative-tokens',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--speculative-disable-mqa-scorer',
|
||||
value: '--speculative-disable-mqa-scorer',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--speculative-draft-tensor-parallel-size',
|
||||
value: '--speculative-draft-tensor-parallel-size',
|
||||
@@ -565,6 +587,11 @@ const options = [
|
||||
value: '--override-neuron-config',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--scheduling-policy',
|
||||
value: '--scheduling-policy',
|
||||
options: ['fcfs', 'priority']
|
||||
},
|
||||
{
|
||||
label: '--disable-log-requests',
|
||||
value: '--disable-log-requests',
|
||||
@@ -574,6 +601,11 @@ const options = [
|
||||
label: '--max-log-len',
|
||||
value: '--max-log-len',
|
||||
options: []
|
||||
},
|
||||
{
|
||||
label: '--disable-fastapi-docs',
|
||||
value: '--disable-fastapi-docs',
|
||||
options: []
|
||||
}
|
||||
];
|
||||
|
||||
|
||||
@@ -439,7 +439,7 @@ const Resources: React.FC = () => {
|
||||
key="VRAM"
|
||||
render={(text, record: ListItem) => {
|
||||
return (
|
||||
<span className="flex-column">
|
||||
<span className="flex-column flex-gap-2">
|
||||
{_.map(
|
||||
_.sortBy(record?.status?.gpu_devices || [], ['index']),
|
||||
(item: GPUDeviceItem, index: string) => {
|
||||
|
||||
Reference in New Issue
Block a user