Jev Router
нейрожелі
Jev Router — TypeSafe ұсынған Jev негізіндегі сұраныс роутері, сапа мен жылдамдықты теңестіру үшін модель мен пайымдау деңгейін таңдайды
Сипаттамалары
- Кіріс деректер
- мәтін, кескіндер, құжаттар
- Нәтиже
- мәтін
- Контекст өлшемі
- 1 000 000 токен
- Жауап ұзындығы бойынша ең көп шек
- 64 000 токен
- Пайымдау деңгейлері
- төмен, орташа, жоғары
- Мүмкіндіктер
- пайымдау, функцияларды шақыру
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'jev-router',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'jev-router',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Қалай жұмыс істейді Jev Router?
Jev Router — TypeSafe ұсынған Jev негізінде құрылған сұраныс маршрутизаторы. Ол әр сұраныс үшін сапа, жылдамдық және шығын балансын ескере отырып, оңтайлы модель мен қажетті пайымдау күшін таңдайды. Бұл модель шығыс нұсқаларын автоматты түрде таңдау және дәлдік пен жауап беру уақыты арасындағы ымыраға келу қажет болған жағдайда ыңғайлы. BotHub арқылы сіз Jev Router-ге VPN-сіз және шетелдік картасыз, рубльмен төлей отырып, басқа модельдермен бір терезеде қол жеткізе аласыз; платформа сонымен қатар мультимодельді жүйелер үшін бірыңғай OpenAI-үйлесімді API және келісімшарт пен әкімшілік панелі бар корпоративтік шарттарды ұсынады. Қолдану сценарийлері: модельді автоматты таңдау арқылы чат-көмекшілердің тиімділігін арттыру, API сұраныстарының шығындарын оңтайландыру, жауап беруді жылдамдату үшін өнімді сервистерде сұраныстарды бөлу, бірыңғай интерфейсі бар мультимодельді құбырларға (pipeline) интеграциялау.Jev Router туралы жиі қойылатын сұрақтар
Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.
jev-router мәтінді, құжаттарды және кескіндерді мәтінге түрлендіреді: түйіндеу, деректерді шығару, үлкен құжаттарда іздеу және ұзақ жауаптар құрастыру. Үлкен контекст және жоғары шығыс лимиті оны көлемді құжаттармен, ұзақ есептермен және сұраныс тізбектерімен жұмыс істеуге ыңғайлы етеді.
Біздің деректерде максималды шығыс — 330 000 токен көрсетілген, бұл бір шақыруда өте үлкен құжаттарды жасауға және өте ұзақ жауаптар беруге мүмкіндік береді. Сөздердегі ұзындық токенизацияға және сұраныс құрылымына байланысты екенін ескеріңіз.
Біздің деректерде jev-router жауап алдында пайымдауларды шығаратыны көрсетілмеген. Қажет болса, промптте кезең-кезеңімен пайымдауды сұрай аласыз — үлкен контекст дәйекті пайымдауларды қалыптастыруға мүмкіндік береді, бірақ нақты мінез-құлықты нақты сұраныстарда тексерген жөн.
Біздің деректерде jev-router функцияларды шақыруды және JSON-да құрылымдық шығысты қолдайтыны көрсетілмеген. Мұны API арқылы эксперименттік түрде анықтауға немесе иесінен нақтылауға болады. Сондай-ақ, құрылымдық шығысқа промптинг және жауаптарды кейінгі өңдеу арқылы жиі қол жеткізіледі.
Кескіндер мен құжаттарды жүктеуге болады — jev-router IMAGE_TO_TEXT және құжаттармен жұмысты қолдайды. Аудио немесе видеоны қолдау біздің деректерде көрсетілмеген. Егер сізге кескіннен басқа мультимедиялық кірістер қажет болса, оны тест сұранысында тексеріңіз.
Біздің деректерде орыс тілін түсіну сапасы туралы тікелей ақпарат жоқ. Модель мәтінмен және құжаттармен жұмыс істейді, сондықтан орыс тілін түсінуді өз тест тапсырмаларыңызда тексерген жөн. Нақты мысалдарды орындап, стильді, дәлдікті және контекстті сақтауды бағалауды ұсынамыз.