LlamaIndex prin Router by MP
Construieste RAG complex pe LlamaIndex folosind Router by MP ca LLM și embeddings backend.
Raspuns scurt
LlamaIndex accepta api_base și api_key in OpenAI și OpenAIEmbedding; conectezi RAG-ul tau la Router by MP fără modificari de logica.
Problema concreta
Echipele care indexeaza arhive mari vor sa pastreze LlamaIndex pipelines, dar sa aiba control de buget pe indexing și runtime.
Cum o rezolva Router by MP
Folosesti OpenAI și OpenAIEmbedding din llama-index-llms-openai/llama-index-embeddings-openai cu api_base și api_key Router. Cheie 'indexing' separata cu buget mare; cheie 'runtime' cu buget mai mic.
Fluxuri uzuale
- pip install llama-index llama-index-llms-openai llama-index-embeddings-openai.
- Setings.llm și Settings.embed_model spre Router.
- Indexare batch cu cheia 'indexing'.
- Query engine cu cheia 'runtime'.
Modele recomandate
gpt-5.4-minitext-embedding-3-smalltext-embedding-3-large
Disponibilitatea reala se verifica live in /models.
| Control | De ce conteaza |
|---|---|
| Doua chei | Indexing separat de runtime pentru cost vizibil. |
| Embeddings | text-embedding-3-small pentru index, large pentru reranker. |
| Query engine | Toate query engines funcționează nativ. |
from llama_index.llms.openai import OpenAI
from llama_index.embeddings.openai import OpenAIEmbedding
from llama_index.core import Settings
Settings.llm = OpenAI(model="gpt-5.4-mini",
api_base="https://api.megapromoting.com/v1",
api_key=os.environ["ROUTER_API_KEY"])
Settings.embed_model = OpenAIEmbedding(
model="text-embedding-3-small",
api_base="https://api.megapromoting.com/v1",
api_key=os.environ["ROUTER_API_KEY"])Reguli si limite
- Versiune. llama-index >= 0.10.
- Reranker. Verifica dacă modelul reranker este in /models.
- Cost embedding. Mare batch poate genera cost serios; cap pe cheie.
Integrare rapida
Foloseste endpointul https://api.megapromoting.com/v1, trimite cheia caAuthorization: Bearer <router_api_key> si verifica pagina/modelsinainte de productie.