Jev Router

нейрожелі

Jev Router — TypeSafe ұсынған Jev негізіндегі сұраныс роутері, сапа мен жылдамдықты теңестіру үшін модель мен пайымдау деңгейін таңдайды

Сипаттамалары

Кіріс деректер
мәтін, кескіндер, құжаттар
Нәтиже
мәтін
Контекст өлшемі
1 000 000 токен
Жауап ұзындығы бойынша ең көп шек
64 000 токен
Пайымдау деңгейлері
төмен, орташа, жоғары
Мүмкіндіктер
пайымдау, функцияларды шақыру
bothub
BotHub: Нейрожелілерді тегін қолданып көріңізbot

Caps қалды: 0 CAPS
Jev Router үшін API және код үлгісіБіз OpenAI API-іне толық қолжетімділікті ұсынамыз. Біздің барлық соңғы нүктелер OpenAI-мен толық сәйкес келеді, оларды плагиндермен де, SDK арқылы өз бағдарламаңызды әзірлегенде де қолдануға болады.API кілтін жасау
import OpenAI from 'openai';
const openai = new OpenAI({
  apiKey: '<your bothub access token>',
  baseURL: 'https://openai.bothub.chat/v1'
});


// Sync - Text generation 

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'jev-router',
  });
} 

// Async - Text generation 

async function main() {
  const stream = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'jev-router',
    stream: true
  });

  for await (const chunk of stream) {
    const part: string | null = chunk.choices[0].delta?.content ?? null;
  }
} 
main();
illustaration

Қалай жұмыс істейді Jev Router?

Jev Router — TypeSafe ұсынған Jev негізінде құрылған сұраныс маршрутизаторы. Ол әр сұраныс үшін сапа, жылдамдық және шығын балансын ескере отырып, оңтайлы модель мен қажетті пайымдау күшін таңдайды. Бұл модель шығыс нұсқаларын автоматты түрде таңдау және дәлдік пен жауап беру уақыты арасындағы ымыраға келу қажет болған жағдайда ыңғайлы. BotHub арқылы сіз Jev Router-ге VPN-сіз және шетелдік картасыз, рубльмен төлей отырып, басқа модельдермен бір терезеде қол жеткізе аласыз; платформа сонымен қатар мультимодельді жүйелер үшін бірыңғай OpenAI-үйлесімді API және келісімшарт пен әкімшілік панелі бар корпоративтік шарттарды ұсынады. Қолдану сценарийлері: модельді автоматты таңдау арқылы чат-көмекшілердің тиімділігін арттыру, API сұраныстарының шығындарын оңтайландыру, жауап беруді жылдамдату үшін өнімді сервистерде сұраныстарды бөлу, бірыңғай интерфейсі бар мультимодельді құбырларға (pipeline) интеграциялау.

Jev Router туралы жиі қойылатын сұрақтар

Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.

jev-router мәтінді, құжаттарды және кескіндерді мәтінге түрлендіреді: түйіндеу, деректерді шығару, үлкен құжаттарда іздеу және ұзақ жауаптар құрастыру. Үлкен контекст және жоғары шығыс лимиті оны көлемді құжаттармен, ұзақ есептермен және сұраныс тізбектерімен жұмыс істеуге ыңғайлы етеді.

Біздің деректерде максималды шығыс — 330 000 токен көрсетілген, бұл бір шақыруда өте үлкен құжаттарды жасауға және өте ұзақ жауаптар беруге мүмкіндік береді. Сөздердегі ұзындық токенизацияға және сұраныс құрылымына байланысты екенін ескеріңіз.

Біздің деректерде jev-router жауап алдында пайымдауларды шығаратыны көрсетілмеген. Қажет болса, промптте кезең-кезеңімен пайымдауды сұрай аласыз — үлкен контекст дәйекті пайымдауларды қалыптастыруға мүмкіндік береді, бірақ нақты мінез-құлықты нақты сұраныстарда тексерген жөн.

Біздің деректерде jev-router функцияларды шақыруды және JSON-да құрылымдық шығысты қолдайтыны көрсетілмеген. Мұны API арқылы эксперименттік түрде анықтауға немесе иесінен нақтылауға болады. Сондай-ақ, құрылымдық шығысқа промптинг және жауаптарды кейінгі өңдеу арқылы жиі қол жеткізіледі.

Кескіндер мен құжаттарды жүктеуге болады — jev-router IMAGE_TO_TEXT және құжаттармен жұмысты қолдайды. Аудио немесе видеоны қолдау біздің деректерде көрсетілмеген. Егер сізге кескіннен басқа мультимедиялық кірістер қажет болса, оны тест сұранысында тексеріңіз.

Біздің деректерде орыс тілін түсіну сапасы туралы тікелей ақпарат жоқ. Модель мәтінмен және құжаттармен жұмыс істейді, сондықтан орыс тілін түсінуді өз тест тапсырмаларыңызда тексерген жөн. Нақты мысалдарды орындап, стильді, дәлдікті және контекстті сақтауды бағалауды ұсынамыз.

Қолдау қызметі10:00-ден 18:00-ге дейін МСК жұмыс істейміз