Úvod

Spustenie Ministral-3 na vLLM je úžasne výkonné. Model je rýchly, kreatívny a schopný generovať vysoko kvalitné odpovedi aj pri veľkom zaťažení.

Ale keď sa presuniete od jednoduchých štruktúrovaných výstupov, automatizácie alebo programového využitia, veci sa rýchlo stávajú komplikovanými.

vývojom umelo-inteligentnej hry typu Jeopardy s 12 súčasnými hráčmi a stovkami volaní modelu

• Vyskakovanie Markdownu v jednoduchých textových odpovediach
• výstupy v JSON sa stávajú hlboko zanočenými
• Prekročenie limitov tokenov
• Malé rozdiely vo formátovaní rušiace ďalšie logické kroky

Tento prírúčkový dokument shrnuje praktické skúsenosti získané pri riešení týchto problémov, spolu s konkrétnymi vzorami, ktoré si môžete prebrať do vlastných projektov.

Skutočná Scénka z Reálneho Svetu

Naš projekt na vyhodnocovanie simuluje celú hru Jeopardy kde:

• Hostovská AI generuje kategórie a otázky
• Viacerí umelí inteligencie odpovedajú súčasne
• Ďalšia umelá inteligencia hodnotí správnosť
• Skóre sa sleduje po kolách

Jedna hra môže ľahko prekročiť 800 volaní API.

Toto prostredie odhalilo okrajové prípady, ktoré sa zriedka objavia vo jednoduchých ukážkach – čím vytvára skvelý testovací priestor na pochopenie toho, ako sa Ministral správa pri reálnych produkčných náročnosťach.

1. Spúšťanie modelu Ministral-3 na platforme vLLM

Modely Ministralu nepoužívajú štandardnú konfiguráciu tokenizátora HuggingFace

To znamená, že príkaz na spustenie musí explicitne povoliť formát tokenizéra Mistralu.

vllm serve mistralai/Ministral-3-14B-Instruct-2512 \
  --tokenizer_mode mistral \
  --config_format mistral \
  --load_format mistral

Ak vaša aplikácia závisí od volania funkcií, pridajte príslušné nástrojové vlajky:

--enable-auto-tool-choice
--tool-call-parser mistral

Dôležitá obmedzenie

Na rozdiel od niektorých ďalších modelov, Ministral nepodporuje chat_template_kwargs

Ak pošlete žiadost takto:

{
  "chat_template_kwargs": {
    "enable_thinking": false
  }
}

vLLM vráti:

HTTP 400: chat_template is not supported for Mistral tokenizers

To znamená, že funkcie ako explicitné zapnutie režimu „myšlienkového procesu“ (používané u modelov ako Qwen alebo DeepSeek) sú jednoducho nedostupné.

Našťastie, toto sa zriedkavo vyžaduje, pretože Ministral už po predvolene generuje stručné výstupy.

2. Teplota: Najdôležitejší Paraméter

oficiálna dokumentácia vLLM konzistentne používa nasledujúcu hodnotu pre Ministral-3:

temperature = 0.15

Pri prvom pohľade sa to zdá extrémne nízke. Avšak ukázalo sa, že je kritické pre štruktúrované úlohy.

Čo sa děje pri vyšších teplotách

Používajúc predvolenú hodnotu vo štýle OpenAI:

temperature: 0.7

model sa stáva príliš kreatívnym s štruktúrou

Jednoduchá žiadosť ako:

{ "expertise": "2-3 topics they know best" }

môže vrátiť niečo ako:

{
  "expertise": [
    {
      "category": "Gourmet Pizza Alchemy",
      "detail": "Can transform random ingredients into Michelin-star pizza"
    },
    {
      "category": "Sumo Wrestling Physics",
      "detail": "Understands body mechanics and center-of-gravity combat"
    }
  ]
}

Aj keď je technicky platný JSON, nie je to to, čo schéma požiadala.

Výsledok:

• JSON sa stáva väčší ako bolo očakávané
• max_tokens predosiahnuté limity
• Odpovedi sa skracujú
• Nepodarí sa parsovanie

Prečo 0.15 lepšie funguje

Pri nízkych teplotách sa model stáva štruktúrne disciplinovaný.

temperature: 0.15

Výhody:

• JSON dodržiava schémy presne
• použitie tokenov sa stáva predvídateľné
• zanořené štruktúry skoro zmiznú
• odpovedi zostávajú v rámci limitov tokenov

Aj kreatívna generácia textu ostáva silná – model jednoducho prestane improvizovať so štruktúrou.

Odporúčanie: Nastavte ako predvolenú hodnotu pre Ministral-3 temperature: 0.15

3. Generovanie Čistých Odpovedí v Formáte JSON

Vytváranie čitateľného JSONu z LLM je ťažšie ako sa zdá.

Ministral sklónny je vykladáť polia schémy semanticky namiesto štruktúrneho spôsobu, čo vedie k hlboko zanočeným výstupom.

Return JSON with these fields.

{ "expertise": "2-3 topics they know best" }

{
  "expertise": [
    {
      "category": "Ancient Roman Engineering",
      "detail": "Knows aqueduct systems in surprising detail"
    },
    {
      "category": "Pizza Dough Chemistry",
      "detail": "Obsessed with yeast fermentation dynamics"
    }
  ]
}

Respond with ONLY valid JSON.
No markdown, no explanation, no text before or after the JSON.
Keep values as short plain strings — never use nested objects or arrays.

Every value MUST be a short plain string — NO arrays, NO nested objects.

function extractJSON(raw, shape) {
  var text = raw.replace(/^```(?:json)?\s*/i, '').replace(/\s*```$/i, '').trim();
  if (shape === 'array') {
    var m = text.match(/\[[\s\S]*\]/);
    if (m) text = m[0];
  } else {
    var m = text.match(/\{[\s\S]*\}/);
    if (m) text = m[0];
  }
  return text;
}

var stack = [];
var inStr = false, esc = false;

for (var i = 0; i < text.length; i++) {
  var ch = text[i];

  if (esc) { esc = false; continue; }
  if (ch === '\\') { esc = true; continue; }
  if (ch === '"') { inStr = !inStr; continue; }
  if (inStr) continue;

  if (ch === '{') stack.push('}');
  else if (ch === '[') stack.push(']');
  else if (ch === '}' || ch === ']') stack.pop();
}

text = text.replace(/,\s*$/, '');

while (stack.length > 0)
  text += stack.pop();

if (Array.isArray(value)) {
  flat = value.map(function(item) {
    if (typeof item === 'string') return item;
    if (typeof item === 'object') return Object.values(item).join(' — ');
    return String(item);
  }).join(', ');
}

2–3 retry attempts

verdict.toUpperCase().startsWith('CORRECT')

**CORRECT**

function stripMarkdown(text) {
  if (!text) return text;

  var s = text.replace(/\*\*([^*]+)\*\*/g, '$1');
  s = s.replace(/__([^_]+)__/g, '$1');
  s = s.replace(/\*([^*]+)\*/g, '$1');
  s = s.replace(/^#{1,6}\s+/gm, '');
  s = s.replace(/`([^`]+)`/g, '$1');
  s = s.replace(/^```[a-z]*\s*$/gm, '');

  return s.trim();
}

function buildModelProfile(modelName) {
  var lower = modelName.toLowerCase();
  var isMistral = lower.includes('mistral') || lower.includes('ministral');

  return {
    family: isMistral ? 'Mistral' : 'Generic',

    jsonSystemInstruction: isMistral
      ? 'Respond with ONLY valid JSON. No markdown. Keep values as short plain strings.'
      : 'You output only valid JSON. No markdown fences, no explanation.',

    jsonSchemaHint: isMistral
      ? ' Every value MUST be a short plain string — NO arrays, NO nested objects.'
      : '',

    jsonTemperature: isMistral ? 0.15 : 0.7,
    defaultTemperature: isMistral ? 0.15 : 0.7,

    plainTextInstruction: ' Do not use markdown formatting.'
  };
}