basic_args:
  - model: alpindale/magnum-v4-12b-fp8
  # The name of the model to broadcast to the API
  - served_model_name: anthracite-org/magnum-v4-12b
  # Inicie el servidor API de Kobold además del de OpenAI.
  - launch_kobold_api: true
  # La longitud máxima de secuencia admitida por el modelo preliminar.
  # Las secuencias que superen esta longitud no se tendrán en cuenta en la especulación.
  - max_model_len: 8192
  # La cantidad de GPU que se utilizarán para cargar el modelo.
  - tensor_parallel_size: 2
  # El tipo de datos para la memoria caché KV. Si es "auto", se utilizará el tipo de datos del modelo.
  # "fp8" lo cuantificará a 8 bits, lo que ofrece un menor uso de memoria y un mejor rendimiento.
  #- kv_cache_dtype: fp8
  # El porcentaje de VRAM que se utilizará por GPU.
  - gpu_memory_utilization: 0.95
  # El número máximo de secuencias que se procesarán en una sola iteración.
  - max_num_seqs: 64
  # The download directory if the `model` is a Hugging Face ID.
  - download_dir: /workspace/models
  # Whether or not to enable prefix caching. This will cache
  # previous prompts so that they're not recomputed. Helps
  # with large prompts.
  - enable_prefix_caching: True
  # Enable chunking the prefill tokens. This greatly reduces memory usage
  # at high contexts, but it is mutually exclusive with kv_cache_dtype=fp8 on Ampere and below GPUs
  # Takes a boolean value (true/false)
  - enable_chunked_prefill: True
  # Capture CUDA graph for sequences as large as this value
  - max_seq_len_to_capture: 8192

api_args:
  # The API key to use for the server. Leave blank to disable API key.
  - api_keys: f2b3a9c2cddf4d8fb7e4a1f7d3c7e8a4
  # The local path or http address to the chat template to use.
  # This will override the model's existing chat template, if
  # it has one.
  #- chat_template: /workspace/alpaca.jinja