Mock LLM API juhend
Loo tasuta LLM voogesituse lõpp-punkte, mis jäljendavad OpenAI-d, Claude'i ja teisi AI teenusepakkujaid. Ehita ja testi AI-funktsioone ilma tuhandeid API-päringutele kulutamata.
Alustamine
Mock LLM voogesituse lõpp-punkti loomine võtab vähem kui 30 sekundit. Järgi neid lihtsaid samme:
- 1
Külasta LLM mock lehte
Mine mockapi.dog/llm-mock. Sinu lõpp-punkti jaoks genereeritakse automaatselt unikaalne 6-tähemärgiline kood.
- 2
Vali LLM teenusepakkuja profiil
Vali, millise teenusepakkuja vastusevormingut emuleerida:
- • OpenAI - Chat Completions API vorming (GPT-4, GPT-3.5)
- • Anthropic Claude - Claude voogesituse vorming
- • Generic Stream - Teenusepakkujast sõltumatu tokenite voog
- • Generic JSON - Lihtne JSON-vastus (ilma voogesituseta)
- 3
Vali sisurežiim
Vali, kuidas vastuse sisu genereeritakse:
- • Genereeritud - Genereeri automaatselt LLM-laadset teksti (Vestlus, Tehniline või Markdown stiil)
- • Staatiline - Kasuta oma esitatud teksti täpselt nii nagu on
- • Hübriid - Sinu tekst, millele järgneb genereeritud jätk
- 4
Seadista tokenite genereerimine (valikuline)
Genereeritud või Hübriid režiimide jaoks sea minimaalsed ja maksimaalsed tokenid (soovituslik 100-300). Genereeritud teksti pikkus on juhuslikult nende väärtuste vahel. Staatilise režiimi jaoks pole vaja.
- 5
Lõpeta kontroll ja salvesta
Lõpeta Turnstile kontroll ja seejärel klõpsa "Salvesta mock-lõpp-punkt". Sinu lõpp-punkti URL kopeeritakse automaatselt!
https://abc123.mockapi.dog/v1/chat/completions
Ongi kõik! Hakka koheselt voogesitama
Sinu lõpp-punkt on kasutusvalmis. Asenda oma OpenAI/Claude baseURL mock-lõpp-punktiga ja alusta testimist. Autentimist ega API võtmeid pole vaja.
Kuluprobleem
Päris LLM API-d on kallid. Arenduse, testimise ja prototüüpimise ajal võivad kulud kiiresti kontrolli alt välja kasvada. Siin on, mida maksaksid päris teenusepakkujatega:
OpenAI GPT-4
KallisNäide: Vestlusroboti testimine 1000 vestlusega (keskmiselt 500 tokenit igaüks) = $20+
Anthropic Claude
KulukasCI/CD konveier: Testide käivitamine 100 korda päevas = $300+/kuu
MockAPI Dog'iga: $0
Tasuta voogesituse vastused arenduseks ja testimiseks. Säästa arenduse faasis tuhandeid. Lülita päris API-dele alles tootmisesse minekuks.
Miks kasutada LLM mock API-t?
Säästa raha
Väldi arenduse ajal tuhandete dollarite kulutamist. Testi oma kasutajaliidest, voogesituse loogikat ja vigade käsitlust ilma API krediite raiskamata.
- Pole vaja API võtmeid ega arvelduse seadistust
- Tasuta päringud arenduse ajal
- Ideaalne indie-arendajatele ja idufirmadele
Kohene testimine
Testi voogesituse vastuseid, kasutajaliidese animatsioone ja veaolekuid koheselt. Pole päris API-päringute ootamist ega päringukiiruse limiitidega tegelemist.
- Konfigureeritav vastuse kiirus ja tokenid
- Testi äärejuhtumeid ja veastsenaariume
- Töötab võrguta - internetti pole vaja
Mitu teenusepakkujat
Testi oma rakendust erinevate LLM teenusepakkujatega ilma mitut API võtit haldamata. Vaheta sujuvalt OpenAI, Claude'i ja üldiste vormingute vahel.
- OpenAI-ga ühilduvad lõpp-punktid
- Anthropic Claude vormingu tugi
- Üldine SSE voogesituse vorming
CI/CD integratsioon
Käivita automaattestid oma CI/CD konveieris ilma API kulude või päringukiiruse limiitide pärast muretsemata. Testi oma AI-funktsioone igal commit'il.
- Autentimist ei nõuta
- Järjepidevad, prognoositavad vastused
- Kiire käivitamine kiireks tagasisideks
Toetatud teenusepakkujad
MockAPI Dog toetab populaarsete LLM teenusepakkujate voogesituse vorminguid. Sea lihtsalt oma lõpp-punkt eelistatud SDK-s baseURL-iks.
OpenAI vorming
Ühildub ametliku OpenAI SDK-ga. Toetab voogesituse vastuseid samas vormingus nagu GPT-4 ja GPT-3.5-turbo.
Anthropic vorming
Ühildub Anthropic SDK-ga. Toetab voogesituse vastuseid samas vormingus nagu Claude 3 Opus, Sonnet ja Haiku.
Üldine SSE vorming
Standardne Server-Sent Events (SSE) vorming. Kasuta iga voogesituse kliendiga või ehita oma kohandatud integratsioon.
- Kohandatud LLM integratsioonid
- EventSource implementatsioonide testimine
- Voogesituse protokollide õppimine
Sisurežiimid
Vali, kuidas su mock LLM lõpp-punkt vastuse sisu genereerib. Iga režiim pakub erinevat kontrolli voogesitatava teksti üle.
Genereeritud
Genereeri automaatselt LLM-laadset teksti erinevates stiilides. Vali Vestluse (vestluslik toon), Tehnilise (programmeerimisele keskendunud) või Markdown'i (vorminduse, loendite ja koodiplokkidega) vahel.
Staatiline
Kasuta oma esitatud täpset teksti vastusena. Tekst voogesitatakse täpselt nii, nagu on kirjutatud, ilma genereerimise või muutmiseta.
Hübriid
Ühendab sinu esitatud teksti automaatselt genereeritud jätkuga. Sinu tekst voogesitatakse esimesena, millele järgneb genereeritud LLM-laadne sisu.
Tekstistiilid genereeritud sisu jaoks
Genereeritud või Hübriid režiimide kasutamisel saad valida Vestluse (vestluslik), Tehnilise (programmeerimisele keskendunud) või Markdown'i (sisaldab vormindust, loendeid, koodiplokke) stiili vahel.
Tokenite genereerimise seaded
Häälesta täpselt, kuidas su mock LLM lõpp-punkt tokeneid genereerib ja voogesitab, et see vastaks su testimisvajadustele.
Tokenite arv
Sea genereeritavate tokenite arv (umbkaudu sõnade ekvivalent). Kasulik erinevate vastuste pikkuste testimiseks.
Voogesituse kiirus
Juhi, kui kiiresti tokeneid voogesitatakse. Testi oma kasutajaliidest erinevate voogesituse kiirustega, et tagada sujuvad animatsioonid.
Profi nõuanne
Testi erinevate kiirustega, et tagada, et su kasutajaliides käsitleb sujuvalt nii kiiret kui aeglast voogesitust. Päris LLM API-d võivad vastusajas oluliselt erineda.
Koodinäited
Siin on, kuidas kasutada oma mock LLM lõpp-punkti populaarsete SDK-de ja teekidega.
OpenAI SDK
Asenda baseURL oma mock-lõpp-punktiga. API võtit pole vaja!
import OpenAI from 'openai'; const openai = new OpenAI({baseURL: 'https://xyz789.mockapi.dog/llm',apiKey: 'dummy-api-key', // Mock endpoint doesn't check API keys }); async function main() { const stream = await openai.chat.completions.create({ model: 'gpt-4', messages: [{ role: 'user', content: 'Hello!' }], stream: true, }); for await (const chunk of stream) { const content = chunk.choices[0]?.delta?.content || ''; process.stdout.write(content); } } main();
Anthropic SDK
Kasuta Anthropic SDK-ga, seades kohandatud baseURL-i.
import Anthropic from '@anthropic-ai/sdk'; const anthropic = new Anthropic({baseURL: 'https://xyz789.mockapi.dog/llm',apiKey: 'dummy-api-key', // Mock endpoint doesn't check API keys }); async function main() { const stream = await anthropic.messages.stream({ model: 'claude-3-opus-20240229', max_tokens: 1024, messages: [{ role: 'user', content: 'Hello!' }], }); for await (const chunk of stream) { if (chunk.type === 'content_block_delta' && chunk.delta.type === 'text_delta') { process.stdout.write(chunk.delta.text); } } } main();
Üldine Fetch (SSE)
Kasuta vanilla JavaScript/TypeScript'iga maksimaalseks paindlikkuseks.
async function streamResponse() {const response = await fetch('https://xyz789.mockapi.dog/llm/stream', {method: 'POST', headers: { 'Content-Type': 'application/json', }, body: JSON.stringify({ prompt: 'Hello, world!', max_tokens: 500, }), }); const reader = response.body?.getReader(); const decoder = new TextDecoder(); while (true) { const { done, value } = await reader.read(); if (done) break; const chunk = decoder.decode(value); const lines = chunk.split('\n'); for (const line of lines) { if (line.startsWith('data: ')) { const data = line.slice(6); if (data === '[DONE]') return; try { const json = JSON.parse(data); console.log(json.content); } catch (e) { // Skip invalid JSON } } } } } streamResponse();
Nii lihtne see ongi!
Asenda lihtsalt baseURL ja oledki valmis. Sinu olemasolev kood töötab ilma muudatusteta.
Päriselu kasutusjuhud
Vestlusroboti arendus
Ehita ja testi vestlusroboti kasutajaliideseid ilma API-päringutele kulutamata. Testi sõnumite lõimimist, voogesituse animatsioone ja vigade käsitlust.
- Testi voogesituse sõnumite animatsioone
- Veendu vestluse lõimimises
- Silu kasutajaliidese äärejuhtumeid
Testimine ja QA
Käivita automaatteste ja käsitsi QA-d ilma API kuludeta. Testi erinevaid vastusestsenaariume ja äärejuhtumeid järjepidevalt.
- Automatiseeritud E2E testid CI/CD-s
- Järjepidevad testandmed
- Kiire testide käivitamine
Õppimine ja õpetused
Õpi AI integratsiooni ilma raha kulutamata. Ideaalne õpetuste, kursuste ja hariduslike materjalide jaoks.
- Pole API võtme seadistust õpilastele
- Tasuta harjutamine
- Turvaline õppekeskkond
MVP-d ja demod
Ehita kontseptsiooni tõestusi ja demosid ilma esialgsete kuludeta. Näita oma visiooni investoritele ja sidusrühmadele enne tasulistele API-dele kohustumist.
- Kiire prototüüpimine
- Investorite demod
- Valideeri ideid odavalt
Täiustatud funktsioonid
Kohandatud päised
Lisa kohandatud vastusepäiseid, et testida CORS-i, autentimisvooge ja muud päise-põhist loogikat oma LLM integratsioonis.
Konfigureeritavad viivitused
Simuleeri võrgu latentsust ja aeglaseid voogesituse kiirusi, et testida laadimisolekuid ja ajalõpu käsitlemist oma rakenduses.
Vigade simuleerimine
Testi vigade käsitlust, simuleerides päringukiiruse limiite, autentimisvigu ja voogesituse katkestusi.
Pole autentimist
Mock-lõpp-punktid ei nõua API võtmeid ega autentimist. Ideaalne CI/CD konveierite ja avalike demode jaoks.
Veaotsing
Voogesitus ei tööta
Veendu, et kasutad õiget teenusepakkuja vormingut ja et su klient toetab voogesitust. Kontrolli, et loed vastust voona, mitte täieliku vastusena.
// Make sure to set stream: true
const stream = await openai.chat.completions.create({
stream: true, // This is required!
// ...
});Vastus liiga kiire/aeglane
Häälesta voogesituse kiirust oma lõpp-punkti konfiguratsioonis. Erinevad kiirused aitavad testida erinevaid võrgutingimusi ja kasutajakogemusi.
SDK ühilduvuse probleemid
Veendu, et kasutad SDK uuemat versiooni. Kontrolli, et teenusepakkuja vorming vastab su SDK-le (OpenAI SDK vajab OpenAI vormingut, Anthropic SDK vajab Anthropic vormingut).
CORS vead brauseris
Mock-lõpp-punktid on konfigureeritud lubavate CORS päistega. Kui sa endiselt CORS vigu saad, kontrolli oma päringupäiseid ja veendu, et ei saada piiratud päiseid.
Nõuanded ja parimad praktikad
Testi erinevate kiirustega
Päris LLM API-d varieeruvad kiiruses. Testi oma kasutajaliidest nii kiire kui aeglase voogesitusega, et tagada sujuv kasutajakogemus kõigis tingimustes.
Kasuta keskkonnamuutujaid
Salvesta oma baseURL keskkonnamuutujatesse. Vaheta mock ja tootmise API-de vahel ühe muutuja muutmisega.
// .env.development
OPENAI_BASE_URL=https://xyz789.mockapi.dog/llm
// .env.production
OPENAI_BASE_URL=https://api.openai.com/v1Testi veastsenaariume
Ära testi ainult õnnestumise teid. Kasuta vigade simuleerimist, et testida päringukiiruse limiite, võrgutõrkeid ja vigaseid vastuseid.
LLM arenduse töövoog
Järgi seda töövoogu efektiivseks AI arenduseks:
- Ehita kasutajaliides ja voogesituse loogika mock-lõpp-punktidega
- Testi põhjalikult erinevate sisurežiimide ja kiirustega
- Käivita automaattestid CI/CD-s mock-lõpp-punktidega
- Lülita päris API-le alles lõpliku integratsioonitestimise jaoks
- Juuruta tootmise API võtmetega
Valideeri enne tootmist
Enne tootmise API-dele lülitumist valideeri oma implementatsioon päris teenusepakkuja API-ga staging-keskkonnas, et püüda kinni võimalikud käitumiserinevused.
Sõnastik
LLM (suur keelemudel)
AI mudelid nagu GPT-4 ja Claude, mis genereerivad inimlikke tekstivastuseid. Näited: OpenAI GPT seeria, Anthropic Claude, Google Gemini.
Voogesituse API
API, mis saadab andmeid tükkidena, selle asemel et oodata täielikku vastust. Võimaldab AI-genereeritud teksti reaalajas kuvada selle loomise käigus.
Token
Põhiline tekstiühik LLM-ides. Umbkaudu sõna või sõnatüki ekvivalent. LLM-ide hinnakujundus põhineb tavaliselt tokenite arvul.
SSE (Server-Sent Events)
Tehnoloogia, mis võimaldab serveritel klientidele andmeid reaalajas saata. Kasutatakse LLM API-de poolt vastuste voogesitamiseks.
baseURL
API-päringute baasaadress. Asenda see oma mock-lõpp-punkti URL-iga, et suunata päringud MockAPI Dog'i, mitte päris teenusepakkujale.
Teenusepakkuja
Ettevõtted, mis pakuvad LLM API-sid, näiteks OpenAI (GPT), Anthropic (Claude), Google (Gemini) jne.
Valmis ehitamist alustama?
Loo oma esimene mock LLM voogesituse lõpp-punkt sekunditega. Pole registreerimist, pole krediitkaarti, pole tüli. Alusta AI-funktsioonide ehitamist ilma tuhandeid API-päringutele kulutamata.