chore: check configuration on initial and change values

2025-04-02 14:19:06 +08:00
parent b1d7bb9fd7
commit f8a8314476
13 changed files with 84 additions and 75 deletions
@@ -67,9 +67,10 @@ export default {
    'The default storage directory is <span class="desc-block">/var/lib/gpustack/cache</span> or the directory specified with <span class="desc-block">--data-dir</span>.',
  'resources.modelfiles.retry.download': 'Retry Download',
  'resources.modelfiles.storagePath.holder':
-    'Waiting for download to complete...',
+    'Waiting for the download to complete...',
  'resources.filter.worker': 'Filter by Worker',
  'resources.filter.source': 'Filter by Source',
  'resources.modelfiles.delete.tips': 'Also delete the file from disk!',
-  'resources.modelfiles.copy.tips': 'Copy Full Path'
+  'resources.modelfiles.copy.tips': 'Copy Full Path',
+  'resources.filter.path': 'Filter by Path'
 };
@@ -72,7 +72,8 @@ export default {
  'resources.filter.worker': 'Filter by Worker',
  'resources.filter.source': 'Filter by Source',
  'resources.modelfiles.delete.tips': 'Also delete the file from disk!',
-  'resources.modelfiles.copy.tips': 'Copy Full Path'
+  'resources.modelfiles.copy.tips': 'Copy Full Path',
+  'resources.filter.path': 'Filter by Path'
 };

 // ========== To-Do: Translate Keys (Remove After Translation) ==========
@@ -91,4 +92,5 @@ export default {
 // 13. 'resources.worker.add.step1',
 // 14. 'resources.worker.add.step2.tips',
 // 15. 'resources.modelfiles.copy.tips',
+// 16. 'resources.filter.path',
 // ========== End of To-Do List ==========
@@ -13,10 +13,14 @@ export default {
  'resources.form.enablePartialOffload': 'Разрешить оффлоуд на CPU',
  'resources.form.placementStrategy': 'Стратегия размещения',
  'resources.form.workerSelector': 'Селектор воркеров',
-  'resources.form.enableDistributedInferenceAcrossWorkers': 'Разрешить распределённый инференс между воркерами',
-  'resources.form.spread.tips': 'Равномерно распределяет ресурсы между воркерами. Может увеличить фрагментацию ресурсов на отдельных воркерах.',
-  'resources.form.binpack.tips': 'Максимизирует утилизацию ресурсов, уменьшая фрагментацию на воркерах/GPU.',
-  'resources.form.workerSelector.description': 'Система выбирает подходящие GPU/воркеры для развертывания моделей на основе меток.',
+  'resources.form.enableDistributedInferenceAcrossWorkers':
+    'Разрешить распределённый инференс между воркерами',
+  'resources.form.spread.tips':
+    'Равномерно распределяет ресурсы между воркерами. Может увеличить фрагментацию ресурсов на отдельных воркерах.',
+  'resources.form.binpack.tips':
+    'Максимизирует утилизацию ресурсов, уменьшая фрагментацию на воркерах/GPU.',
+  'resources.form.workerSelector.description':
+    'Система выбирает подходящие GPU/воркеры для развертывания моделей на основе меток.',
  'resources.table.ip': 'IP-адрес',
  'resources.table.cpu': 'CPU',
  'resources.table.memory': 'ОЗУ',
@@ -37,14 +41,19 @@ export default {
  'resources.table.wokers': 'воркеры',
  'resources.worker.linuxormaxos': 'Linux или macOS',
  'resources.table.unified': 'Объединённая память',
-  'resources.worker.add.step1': 'Получить токен <span class="note-text">(Запустить на сервере)</span>',
+  'resources.worker.add.step1':
+    'Получить токен <span class="note-text">(Запустить на сервере)</span>',
  'resources.worker.add.step2': 'Зарегистрировать воркер',
-  'resources.worker.add.step2.tips': 'Примечание: выполнить на подключаемом воркере, <span style="color: #000;font-weight: 600">mytoken</span> это токен, полученный на первом шаге',
-  'resources.worker.add.step3': 'После успешной регистрации обновите список воркеров.',
+  'resources.worker.add.step2.tips':
+    'Примечание: выполнить на подключаемом воркере, <span style="color: #000;font-weight: 600">mytoken</span> это токен, полученный на первом шаге',
+  'resources.worker.add.step3':
+    'После успешной регистрации обновите список воркеров.',
  'resources.worker.container.supported': 'Только для Linux.',
  'resources.worker.current.version': 'Текущая версия: {version}',
-  'resources.worker.driver.install': 'Установите необходимые драйверы и библиотеки перед установкой GPUStack.',
-  'resources.worker.select.command': 'Выберите метку для генерации команды и скопируйте её.',
+  'resources.worker.driver.install':
+    'Установите необходимые драйверы и библиотеки перед установкой GPUStack.',
+  'resources.worker.select.command':
+    'Выберите метку для генерации команды и скопируйте её.',
  'resources.worker.script.install': 'Установка скриптом',
  'resources.worker.container.install': 'Установка контейнером (только Linux)',
  'resources.worker.cann.tips': `Укажите индексы GPU через <span style='color: #000;font-weight: 600'>ASCEND_VISIBLE_DEVICES=0,1,2,3</span> или <span style='color: #000;font-weight: 600'>ASCEND_VISIBLE_DEVICES=0-3</span>.`,
@@ -54,15 +63,17 @@ export default {
  'resources.modelfiles.size': 'Размер',
  'resources.modelfiles.selecttarget': 'Выбрать назначение',
  'resources.modelfiles.form.localdir': 'Локальный каталог',
-  'resources.modelfiles.form.localdir.tips': 'Каталог по умолчанию <span class="desc-block>/var/lib/gpustack/cache</span> или каталог, указанный через <span class="desc-block">--data-dir</span>.',
+  'resources.modelfiles.form.localdir.tips':
+    'Каталог по умолчанию <span class="desc-block>/var/lib/gpustack/cache</span> или каталог, указанный через <span class="desc-block">--data-dir</span>.',
  'resources.modelfiles.retry.download': 'Повторить загрузку',
  'resources.modelfiles.storagePath.holder': 'Ожидание завершения загрузки...',
  'resources.filter.worker': 'Фильтровать по узлу',
  'resources.filter.source': 'Фильтровать по источнику',
  'resources.modelfiles.delete.tips': 'Также удалить файл с диска!',
-  'resources.modelfiles.copy.tips': 'Скопировать полный путь'
+  'resources.modelfiles.copy.tips': 'Скопировать полный путь',
+  'resources.filter.path': 'Filter by Path'
 };

 // ========== To-Do: Translate Keys (Remove After Translation) ==========
-
+// 1. 'resources.filter.path'
 // ========== End of To-Do List ==========
@@ -69,5 +69,6 @@ export default {
  'resources.filter.worker': '按 worker 筛选',
  'resources.filter.source': '按来源筛选',
  'resources.modelfiles.delete.tips': '同时从磁盘删除文件！',
-  'resources.modelfiles.copy.tips': '复制完整路径'
+  'resources.modelfiles.copy.tips': '复制完整路径',
+  'resources.filter.path': '路径查询'
 };
@@ -83,6 +83,8 @@ const AddModal: React.FC<AddModalProps> = (props) => {
    setWarningStatus,
    handleEvaluate,
    generateGPUIds,
+    cancelEvaluate,
+    submitAnyway,
    handleOnValuesChange,
    warningStatus
  } = useCheckCompatibility();
@@ -99,7 +101,6 @@ const AddModal: React.FC<AddModalProps> = (props) => {
  const axiosToken = useRef<any>(null);
  const selectSpecRef = useRef<CatalogSpec>({} as CatalogSpec);
  const specListRef = useRef<any[]>([]);
-  const submitAnyway = useRef<any>(null);

  const handleSumit = () => {
    form.current?.submit?.();
@@ -111,9 +112,11 @@ const AddModal: React.FC<AddModalProps> = (props) => {
  };

  const generateSubmitData = (formData: FormData) => {
+    const gpuSelector = generateGPUIds(formData);
    const data = {
      ..._.omit(selectSpecRef.current, ['name']),
-      ...formData
+      ...formData,
+      ...gpuSelector
    };

    return data;
@@ -233,6 +236,12 @@ const AddModal: React.FC<AddModalProps> = (props) => {
    return evalutionData;
  };

+  const handleCheckFormData = () => {
+    const values = form.current?.getFieldsValue();
+    const allValues = generateSubmitData(values);
+    handleCheckCompatibility(allValues);
+  };
+
  const handleSourceChange = (source: string) => {
    const defaultSpec = _.get(sourceGroupMap.current, `${source}.0`, {});
    initFormDataBySource(defaultSpec);
@@ -245,8 +254,7 @@ const AddModal: React.FC<AddModalProps> = (props) => {
    });
    // set form value
    initFormDataBySource(defaultSpec);
-    const data = generateSubmitData(form.current.getFieldsValue());
-    handleCheckCompatibility(data);
+    handleCheckFormData();
  };

  const checkSize = (list: any[]) => {
@@ -314,7 +322,7 @@ const AddModal: React.FC<AddModalProps> = (props) => {
    form.current.setFieldsValue({
      ...data
    });
-    handleCheckCompatibility(data);
+    handleCheckFormData();
  };

  const fetchSpecData = async () => {
@@ -364,12 +372,14 @@ const AddModal: React.FC<AddModalProps> = (props) => {
        'name',
        _.toLower(current.name).replace(/\s/g, '-') || ''
      );
-      if (defaultSpec.backend === backendOptionsMap.vllm) {
-        setIsGGUF(false);
-      }
+
+      const allValues = generateSubmitData(defaultSpec);
+      handleCheckCompatibility(allValues);

      if (defaultSpec.backend === backendOptionsMap.llamaBox) {
        setIsGGUF(true);
+      } else {
+        setIsGGUF(false);
      }
      console.log('values====', form.current.form.getFieldsValue());
    } catch (error) {
@@ -386,8 +396,7 @@ const AddModal: React.FC<AddModalProps> = (props) => {
    form.current.setFieldsValue({
      ...data
    });
-    const allValues = generateSubmitData(data);
-    handleCheckCompatibility(allValues);
+    handleCheckFormData();
  };

  const handleOnSizeChange = (val: number) => {
@@ -408,21 +417,12 @@ const AddModal: React.FC<AddModalProps> = (props) => {
    form.current.setFieldsValue({
      ...data
    });
-    const allValues = generateSubmitData(data);
-    handleCheckCompatibility(allValues);
+    handleCheckFormData();
  };

  const handleOk = async (values: FormData) => {
    const data = generateSubmitData(values);
-
-    if (submitAnyway.current) {
-      onOk(data);
-      return;
-    }
-    const evaluateResult = await handleCheckCompatibility(data);
-    if (evaluateResult?.compatible) {
-      onOk(data);
-    }
+    onOk(data);
  };

  const handleCancel = useCallback(() => {
@@ -436,6 +436,7 @@ const AddModal: React.FC<AddModalProps> = (props) => {
    }
    return () => {
      axiosToken.current?.cancel?.();
+      cancelEvaluate();
      setWarningStatus({
        show: false,
        title: '',
@@ -117,16 +117,7 @@ const AddModal: FC<AddModalProps> = (props) => {

  const handleOnOk = async (allValues: FormData) => {
    const result = getSourceRepoConfigValue(props.source, allValues).values;
-    if (submitAnyway.current) {
-      onOk(result);
-      return;
-    }
-
-    const evalutionData = await handleEvaluate(result);
-    handleShowCompatibleAlert?.(evalutionData);
-    if (evalutionData?.compatible) {
-      onOk(result);
-    }
+    onOk(result);
  };

  const handleSubmitAnyway = async () => {
@@ -198,22 +189,25 @@ const AddModal: FC<AddModalProps> = (props) => {
    onCancel?.();
  }, [onCancel]);

-  useEffect(() => {
-    if (!open) {
-      return;
-    }
+  const handleOnOpen = useCallback(() => {
    if (props.deploymentType === 'modelFiles') {
      form.current?.form?.setFieldsValue({
        ...props.initialValues
      });
-      setIsGGUF(props.isGGUF || false);
    } else {
      const backend =
        source === modelSourceMap.ollama_library_value
          ? backendOptionsMap.llamaBox
          : backendOptionsMap.vllm;
      form.current?.setFieldValue?.('backend', backend);
-      setIsGGUF(backend === backendOptionsMap.llamaBox);
+    }
+  }, [source, props.initialValues, props.deploymentType]);
+
+  useEffect(() => {
+    if (!open) {
+      return;
+    } else {
+      handleOnOpen();
    }

    return () => {
@@ -225,7 +219,7 @@ const AddModal: FC<AddModalProps> = (props) => {
      });
      checkTokenRef.current?.cancel();
    };
-  }, [open, props.isGGUF, source, props.initialValues, props.deploymentType]);
+  }, [open, handleOnOpen]);

  return (
    <Drawer
@@ -597,7 +597,7 @@ const InstanceItem: React.FC<InstanceItemProps> = ({
              </span>
            </Col>
            <Col span={4}>
-              <span style={{ paddingLeft: 45 }} className="flex">
+              <span style={{ paddingLeft: 43 }} className="flex">
                <AutoTooltip ghost>
                  {dayjs(instanceData.created_at).format('YYYY-MM-DD HH:mm:ss')}
                </AutoTooltip>
@@ -123,7 +123,7 @@ const SearchModel: React.FC<SearchInputProps> = (props) => {
          value: item.name,
          label: item.name,
          isGGUF: checkIsGGUF(item),
-          source: modelSourceMap.modelscope_value
+          source: modelSource
        };
      });
      return list;
@@ -161,7 +161,7 @@ const SearchModel: React.FC<SearchInputProps> = (props) => {
          tags: item.Tags,
          libraries: item.Libraries,
          isGGUF: checkIsGGUF({ tags: item.Tags, libraries: item.Libraries }),
-          source: modelSourceMap.modelscope_value
+          source: modelSource
        };
      });

@@ -182,11 +182,13 @@ const Models: React.FC<ModelsProps> = ({
    hasLinuxWorker?: boolean;
    source: SourceType;
    gpuOptions: any[];
+    isGGUF?: boolean;
    modelFileOptions?: any[];
  }>({
    show: false,
    hasLinuxWorker: false,
    width: 600,
+    isGGUF: false,
    source: modelSourceMap.huggingface_value as SourceType,
    gpuOptions: [],
    modelFileOptions: []
@@ -830,6 +832,7 @@ const Models: React.FC<ModelsProps> = ({
        title={intl.formatMessage({ id: 'models.button.deploy' })}
        source={openDeployModal.source}
        width={openDeployModal.width}
+        isGGUF={openDeployModal.isGGUF}
        hasLinuxWorker={openDeployModal.hasLinuxWorker}
        gpuOptions={openDeployModal.gpuOptions}
        modelFileOptions={openDeployModal.modelFileOptions || []}
@@ -311,23 +311,12 @@ const UpdateModal: React.FC<AddModalProps> = (props) => {
    submitData = {
      ..._.omit(formdata, ['scheduleType']),
      categories: formdata.categories ? [formdata.categories] : [],
-      worker_selector: null,
+      worker_selector:
+        formdata.scheduleType === 'manual' ? null : formdata.worker_selector,
      ...obj,
-      ...(formdata.scheduleType === 'manual'
-        ? generateGPUIds(formdata)
-        : { gpu_selector: null })
+      ...generateGPUIds(formdata)
    };
-
-    if (submitAnyway.current) {
-      onOk(submitData);
-      return;
-    }
-
-    const evalutionData = await handleEvaluate(submitData);
-    handleShowCompatibleAlert?.(evalutionData);
-    if (evalutionData?.compatible) {
-      onOk(submitData);
-    }
+    onOk(submitData);
  };

  const onValuesChange = (changedValues: any, allValues: any) => {
@@ -29,7 +29,7 @@ const icons = {

 export const modalConfig: Record<
  string,
-  { show: boolean; width: string | number; source: any }
+  { show: boolean; width: string | number; source: any; isGGUF?: boolean }
 > = {
  huggingface: {
    show: true,
@@ -39,6 +39,7 @@ export const modalConfig: Record<
  ollama_library: {
    show: true,
    width: 600,
+    isGGUF: true,
    source: modelSourceMap.ollama_library_value
  },
  modelscope: {
@@ -413,6 +413,11 @@ export const useCheckCompatibility = () => {

  const debounceHandleValuesChange = _.debounce(handleOnValuesChange, 300);

+  const cancelEvaluate = () => {
+    checkTokenRef.current?.cancel();
+    checkTokenRef.current = null;
+  };
+
  useEffect(() => {
    return () => {
      checkTokenRef.current?.cancel();
@@ -429,6 +434,7 @@ export const useCheckCompatibility = () => {
    submitAnyway,
    generateGPUIds,
    handleEvaluate,
-    setWarningStatus
+    setWarningStatus,
+    cancelEvaluate
  };
 };
@@ -527,7 +527,7 @@ const ModelFiles = () => {
      <FilterBar
        actionType="dropdown"
        selectHolder="resources.filter.worker"
-        inputHolder="resources.filter.source"
+        inputHolder="resources.filter.path"
        buttonText={intl.formatMessage({ id: 'resources.modelfiles.download' })}
        handleSelectChange={handleWorkerChange}
        handleDeleteByBatch={handleDeleteByBatch}