Switchyard

нейрожелі

Switchyard — сұраныс құнын оңтайландыруға және нарықтық деректер бойынша провайдерді автоматты таңдауға арналған ашық модельдік роутер.

Сипаттамалары

Кіріс деректер
мәтін, құжаттар
Нәтиже
мәтін
Контекст өлшемі
1 000 000 токен
Жауап ұзындығы бойынша ең көп шек
330 000 токен
bothub
BotHub: Нейрожелілерді тегін қолданып көріңізbot

Caps қалды: 0 CAPS
Switchyard үшін API және код үлгісіБіз OpenAI API-іне толық қолжетімділікті ұсынамыз. Біздің барлық соңғы нүктелер OpenAI-мен толық сәйкес келеді, оларды плагиндермен де, SDK арқылы өз бағдарламаңызды әзірлегенде де қолдануға болады.API кілтін жасау
import OpenAI from 'openai';
const openai = new OpenAI({
  apiKey: '<your bothub access token>',
  baseURL: 'https://openai.bothub.chat/v1'
});


// Sync - Text generation 

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'switchyard',
  });
} 

// Async - Text generation 

async function main() {
  const stream = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'switchyard',
    stream: true
  });

  for await (const chunk of stream) {
    const part: string | null = chunk.choices[0].delta?.content ?? null;
  }
} 
main();
illustaration

Қалай жұмыс істейді Switchyard?

Switchyard — сұраныс құнын оңтайландыру үшін бірнеше модель арасында ауысатын ашық модельдік роутер; әдепкі бойынша танымал модельдерді таңдау үшін OpenRouter нарықтық деректерін пайдаланады. Ол жүктемені автоматты бөлу, резервтеу және есептеу шығындарын басқару маңызды интеграциялар үшін жарамды. BotHub арқылы сіз Switchyard-ты 250-ден астам модельден тұратын экожүйеге қосасыз, мультимодельдік жүйелер үшін бірыңғай OpenAI-үйлесімді API пайдаланасыз, Ресейден VPN-сіз қол жеткізесіз, рубльмен төлейсіз және бір терезеде нұсқаларды ыңғайлы салыстыра аласыз. Пайдалану сценарийлері: өндірістегі inference шығындарын азайту, провайдерлер арасында фоллбек пен балансировка, өнім командасы үшін модельдерді A/B-тестілеу, стартаптар мен DevOps үшін құны бойынша автоматты ауысу.

Switchyard туралы жиі қойылатын сұрақтар

Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.

Switchyard — мәтінді түрлендіруге және құжаттармен жұмыс істеуге арналған модель: TEXT_TO_TEXT және DOCUMENT_TO_TEXT. Үлкен құжаттарды талдау мен суммаризациялауға, ақпаратты алуға және өте үлкен контекстік жадының арқасында ұзын контекст бойынша егжей-тегжейлі жауаптар генерациялауға жарамды.

Switchyard бір жауапта өте көп көлемдегі мәтінді генерациялай алады: біздің деректерде токендердегі шығыс көлемінің максималды мәні көрсетілген. Нақтырақ айтсақ, модель 330 000-ға дейін шығыс токендерін генерациялауды қолдайды, бұл ұзын және егжей-тегжейлі жауаптарды қалыптастыруға мүмкіндік береді.

Біздің деректерде модельдің жауап берер алдында ішкі пайымдау жасайтыны туралы белгіленбеген, сондықтан растау жоқ. Сонымен қатар, үлкен контекст модельден неғұрлым егжей-тегжейлі логикалық қорытындылар алу үшін қадамдық нұсқаулары бар промпттарды құруға мүмкіндік береді.

Біздің деректерде функцияларды шақыру (function calling) қолдауы белгіленбеген. Промпт арқылы JSON форматында құрылымдалған мәтіндік шығысты сұрай аласыз, алайда деректерде модельдегі функцияларды шақырудың жергілікті қолдауы туралы ресми ақпарат жоқ.

Switchyard құжаттарды қабылдайды және DOCUMENT_TO_TEXT режимінде жұмыс істейді. Біздің деректерде құжаттарды қабылдау белгіленген; жеке кескіндерді, аудио немесе бейнелерді жүктеу қолдауы анық көрсетілмеген, сондықтан мұны интеграциялау кезінде нақтылау керек.

Деректерде тілдік қолдау көрсетілмеген, сондықтан нақты бағасын түсіну қиын. Модельдің орыс тілін қаншалықты жақсы түсінетіні оның оқытуына және сіздің тапсырмаларыңызға байланысты. Нақты сценарийлердегі сапаны бағалау үшін типтік промпттар мен құжаттарда тестілеуді ұсынамыз.

Қолдау қызметі10:00-ден 18:00-ге дейін МСК жұмыс істейміз