Compare commits
3
Commits
wip/2026-10-20
...
main
| Author | SHA1 | Date | |
|---|---|---|---|
 evandro
|
b18ed657d6 | ||
|
evandro
|
10cc9c90c0 | ||
|
evandro
|
b41636f462 |
No files matched your search
@@ -1,98 +0,0 @@
|
||||
# ForgeLM
|
||||
|
||||
ForgeLM e um workspace Rust para inferencia local de LLMs com tres superficies principais:
|
||||
|
||||
- uma API HTTP local compativel com partes da API de chat da OpenAI
|
||||
- uma CLI (`localllm`) para operacao, diagnostico e automacao
|
||||
- um app desktop Tauri para runtime management e chat persistente
|
||||
|
||||
O projeto hoje e organizado para rodar localmente, com foco em modelos `.gguf`, operacao local-first e uma ponte entre backend Rust, CLI e interface desktop.
|
||||
|
||||
## O que existe hoje
|
||||
|
||||
- `crates/inference-server`: servidor HTTP com `GET /health`, `GET /v1/models` e `POST /v1/chat/completions`
|
||||
- `crates/localllm-cli`: CLI para status, modelos, auth, config, benchmark, logs e doctor
|
||||
- `tauri-app`: app desktop com runtime manager, chat UI, armazenamento local e integracao com o backend
|
||||
- `crates/api-contracts`: contratos de request/response compartilhados
|
||||
- `crates/inference-core`: engine, perfis de runtime e pipeline de inferencia
|
||||
|
||||
## Inicio rapido
|
||||
|
||||
### 1. Subir a API local
|
||||
|
||||
Defina pelo menos o caminho do modelo e execute o servidor:
|
||||
|
||||
```bash
|
||||
set LOCALLLM_MODEL=D:\caminho\modelo.gguf
|
||||
cargo run -p inference-server
|
||||
```
|
||||
|
||||
Validacoes basicas:
|
||||
|
||||
```bash
|
||||
curl http://127.0.0.1:8080/health
|
||||
curl http://127.0.0.1:8080/v1/models
|
||||
```
|
||||
|
||||
### 2. Usar a CLI
|
||||
|
||||
```bash
|
||||
cargo run -p localllm-cli -- status
|
||||
cargo run -p localllm-cli -- models list
|
||||
```
|
||||
|
||||
### 3. Abrir o app desktop
|
||||
|
||||
```bash
|
||||
cd tauri-app
|
||||
npm install
|
||||
npm run tauri dev
|
||||
```
|
||||
|
||||
No app, abra o Runtime Manager, configure modo local ou remoto e depois use o chat.
|
||||
|
||||
## Requisitos
|
||||
|
||||
- Rust toolchain atual para o workspace
|
||||
- Node.js/NPM para o app Tauri
|
||||
- um modelo `.gguf` local para o runtime
|
||||
- GPU NVIDIA e opcional; o projeto tambem possui perfil CPU fallback
|
||||
|
||||
## Estrutura do repositorio
|
||||
|
||||
- `crates/api-contracts/` - contratos HTTP e tipos compartilhados
|
||||
- `crates/inference-core/` - engine, sessoes, sampler e perfis de runtime
|
||||
- `crates/inference-server/` - servidor HTTP local
|
||||
- `crates/localllm-cli/` - CLI de operacao
|
||||
- `crates/metrics/` - contadores e medicao de throughput
|
||||
- `crates/llama-sys/` - bindings/integracao de baixo nivel
|
||||
- `tauri-app/` - app desktop Tauri + frontend React
|
||||
- `docs/` - documentacao detalhada
|
||||
|
||||
## Documentacao
|
||||
|
||||
- `docs/README.md` - indice da documentacao
|
||||
- `docs/api/overview.md` - visao geral do backend e da API
|
||||
- `docs/api/endpoints.md` - referencia HTTP
|
||||
- `docs/api/configuration.md` - variaveis de ambiente e configuracao do servidor
|
||||
- `docs/cli/overview.md` - visao geral da CLI
|
||||
- `docs/cli/commands.md` - referencia de comandos e exemplos
|
||||
- `docs/app/overview.md` - visao geral do app desktop
|
||||
- `docs/app/user-guide.md` - guia de uso do app
|
||||
- `docs/app/backend-commands.md` - comandos Tauri expostos pelo backend do app
|
||||
- `docs/developer/architecture.md` - arquitetura do workspace e fluxos entre modulos
|
||||
|
||||
## Estado atual e limitacoes
|
||||
|
||||
- A API atual expoe apenas tres endpoints publicos: `GET /health`, `GET /v1/models` e `POST /v1/chat/completions`.
|
||||
- A compatibilidade com OpenAI e parcial: o projeto foca no fluxo de chat, nao em toda a superficie da plataforma.
|
||||
- A CLI possui uma superficie ampla, mas a execucao ao vivo hoje esta mais consolidada em `status`, `models list` e `bench throughput`.
|
||||
- O app desktop controla o runtime local no modo `local` e pode consumir uma API ja existente no modo `remote`.
|
||||
- O armazenamento do chat no frontend usa `sql.js` carregado por CDN e persistencia em `localStorage`.
|
||||
|
||||
## Leitura recomendada
|
||||
|
||||
- Quer entender a API? Comece em `docs/api/overview.md`.
|
||||
- Quer operar o sistema por terminal? Va para `docs/cli/overview.md`.
|
||||
- Quer usar o app desktop? Leia `docs/app/user-guide.md`.
|
||||
- Quer contribuir no codigo? Comece em `docs/developer/architecture.md`.
|
||||
@@ -0,0 +1,123 @@
|
||||
<div align="center">
|
||||
|
||||
<img src="assets/readme/hero.svg" width="100%" alt="ForgeLM: roda modelos .gguf na sua máquina com uma API no estilo OpenAI, em Rust sobre o llama.cpp">
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
[Início rápido](#in%C3%ADcio-r%C3%A1pido) · [Documentação](docs/README.md) · [Issues](https://git.evandro.dev.br/evandro/ForgeLM/issues)
|
||||
|
||||
</div>
|
||||
|
||||
<p align="center">
|
||||
<img src="loaded-shell.png" width="720" alt="App desktop do ForgeLM: Runtime Manager com a API local parada, lista de conversas vazia e área de chat">
|
||||
</p>
|
||||
<p align="center"><sub>Captura do import inicial (março de 2026), com a API local parada. A interface mudou depois: o seletor de modelo foi para a caixa de mensagem.</sub></p>
|
||||
|
||||
## O que é
|
||||
|
||||
O ForgeLM roda modelos `.gguf` na sua máquina com o [llama.cpp](https://github.com/ggml-org/llama.cpp) e os expõe numa API HTTP no estilo OpenAI, com streaming SSE. O mesmo workspace Rust traz uma CLI (`localllm`) e um app desktop em Tauri que liga o servidor, busca e baixa modelos do [Hugging Face](https://huggingface.co) e conversa com eles.
|
||||
|
||||
## Por que usar
|
||||
|
||||
- **Uma peça só, local.** Servidor, engine, download do runtime e app vivem num workspace Rust. Na primeira execução o servidor baixa o llama.cpp `b8358` (CPU ou CUDA 12.4) do GitHub e confere o SHA-256, se não achar um runtime já instalado.
|
||||
- **Clientes OpenAI funcionam com poucas mudanças.** `GET /v1/models` e `POST /v1/chat/completions` seguem o formato da OpenAI; basta trocar a URL base.
|
||||
- **Perfis prontos.** `Turbo4B` (padrão), `balanced_9b` e `cpu_fallback` definem camadas na GPU, contexto e threads, e cada valor pode ser sobrescrito por variável de ambiente.
|
||||
|
||||
**Quando não usar:** se você precisa de compatibilidade ampla com a OpenAI (são três endpoints, `n` precisa ser `1`, sem embeddings), de download automático do runtime fora do Windows x64, ou de algo estável. Nesses casos, o servidor do próprio llama.cpp atende melhor.
|
||||
|
||||
## Como funciona
|
||||
|
||||
- `inference-server` (binário `localllm`): API em Axum na porta `8080`. Valida autenticação, CORS e aliases e repassa ao `inference-core`.
|
||||
- `inference-core`: engine, sessão, sampler e perfis, sobre o `llama-sys`, que carrega o `llama.dll` em tempo de execução.
|
||||
- `runtime-deps`: acha ou baixa o runtime descrito em [`vendor/llama-runtime/manifest.json`](vendor/llama-runtime/manifest.json).
|
||||
- `localllm-cli`: cliente HTTP da mesma API, com `status`, `models`, `auth`, `config`, `bench`, `logs` e `doctor`.
|
||||
- `tauri-app`: React 18 + Vite + Tailwind com backend Tauri 2. No modo `local` inicia e para o servidor e consulta `GET /health`; no modo `remote` só fala com a API. A busca de modelos no Hugging Face não passa pela API local.
|
||||
|
||||
Detalhes em [`docs/developer/architecture.md`](docs/developer/architecture.md).
|
||||
|
||||
## Início rápido
|
||||
|
||||
> [!WARNING]
|
||||
> **A API sobe aberta por padrão.** Sem `LOCALLLM_API_KEY` não há autenticação, o bind padrão é `0.0.0.0:8080` e o CORS libera `*`. Fora de uma máquina confiável, defina a chave e restrinja `LOCALLLM_ADDR` e `LOCALLLM_CORS_ORIGINS`.
|
||||
|
||||
Requisitos: Rust (cargo; o projeto não declara `rust-version`), um modelo `.gguf` local e, só para o app, Node.js com npm (sem versão declarada). GPU NVIDIA é opcional: o perfil `cpu_fallback` roda sem ela.
|
||||
|
||||
Na primeira execução, o download do runtime tem cerca de 37 MB na variante CPU e cerca de 618 MB na CUDA 12.4 (dois zips). O manifesto só lista `windows-x64`; em outros sistemas, aponte `LLAMA_DLL_PATH` para uma biblioteca já instalada.
|
||||
|
||||
```bash
|
||||
# 1. API local (bash; no cmd do Windows, use set no lugar de export)
|
||||
export LOCALLLM_MODEL=/caminho/para/meu-modelo.gguf
|
||||
cargo run -p inference-server
|
||||
|
||||
curl http://127.0.0.1:8080/health
|
||||
curl http://127.0.0.1:8080/v1/models
|
||||
curl -N http://127.0.0.1:8080/v1/chat/completions \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{"model":"default","messages":[{"role":"user","content":"Diga olá"}],"stream":true}'
|
||||
|
||||
# 2. CLI
|
||||
cargo run -p localllm-cli -- status
|
||||
cargo run -p localllm-cli -- models list
|
||||
|
||||
# 3. App desktop
|
||||
cd tauri-app
|
||||
npm install
|
||||
npm run tauri dev
|
||||
```
|
||||
|
||||
Testes: `cargo test` (crates do workspace), `cargo test --manifest-path tauri-app/src-tauri/Cargo.toml` (backend Tauri, fora do workspace) e `npm test` em `tauri-app` (Vitest).
|
||||
|
||||
## Configuração
|
||||
|
||||
A API lê tudo de variáveis de ambiente; não há `.env.example`. A pasta de modelos não é variável: na CLI é a flag global `--models-dir` (padrão `./models`), no app é o campo `models_dir` da configuração do runtime. Ao iniciar o servidor local, o app define `LOCALLLM_MODEL`, `LOCALLLM_ADDR`, `LOCALLLM_GPU_LAYERS` e `LOCALLLM_CTX` (contexto padrão do app: 4096).
|
||||
|
||||
<details>
|
||||
<summary>Variáveis de ambiente da API</summary>
|
||||
|
||||
| Variável | Obrigatória | Descrição |
|
||||
|---|---|---|
|
||||
| `LOCALLLM_MODEL` | Sim | Caminho do `.gguf`; sem ela o engine aborta (`model_path is empty`) |
|
||||
| `LOCALLLM_ADDR` | Não | Endereço de bind; padrão `0.0.0.0:8080` |
|
||||
| `LOCALLLM_MODEL_ALIASES` | Não | Aliases do modelo, separados por vírgula, expostos em `GET /v1/models` |
|
||||
| `LOCALLLM_PROFILE` | Não | `balanced_9b` ou `cpu_fallback`; ausente ou outro valor = `Turbo4B` |
|
||||
| `LOCALLLM_GPU_LAYERS` | Não | Camadas na GPU; padrão do perfil (999 em `Turbo4B` e `balanced_9b`, 0 em `cpu_fallback`) |
|
||||
| `LOCALLLM_CTX` | Não | Janela de contexto; padrão do perfil (131072, 65536 e 16384) |
|
||||
| `LOCALLLM_BATCH` | Não | `n_batch`; sem valor explícito, usa o do perfil limitado a 4096 |
|
||||
| `LOCALLLM_UBATCH` | Não | `n_ubatch`; padrão do perfil |
|
||||
| `LOCALLLM_THREADS` | Não | Threads de geração; padrão do perfil |
|
||||
| `LOCALLLM_THREADS_BATCH` | Não | Threads de prefill; padrão do perfil |
|
||||
| `LOCALLLM_API_KEY` | Não | Liga a autenticação por chave; vazia ou ausente = API aberta |
|
||||
| `LOCALLLM_AUTH_HEADER` | Não | Cabeçalho preferencial da chave; padrão `authorization` (também aceita `x-api-key`) |
|
||||
| `LOCALLLM_AUTH_SCHEME` | Não | Prefixo removido antes da comparação (ex.: `Bearer`) |
|
||||
| `LOCALLLM_CORS_ORIGINS` | Não | Origens permitidas, separadas por vírgula; padrão `*` |
|
||||
| `LOCALLLM_SYSTEM_PROMPT` | Não | Prompt de sistema usado quando a request não traz `system` nem `developer` |
|
||||
| `LOCALLLM_ENABLE_TOOL_CALLS` | Não | Liga ou desliga tool calling; padrão ligado |
|
||||
| `LOCALLLM_LOG_FORMAT` | Não | `json` para logs estruturados; padrão `pretty` |
|
||||
| `LLAMA_DLL_PATH` | Não | Caminho completo da biblioteca do llama.cpp; sobrepõe a resolução automática |
|
||||
| `RUST_LOG` | Não | Filtro de logs do `tracing`; padrão `info` |
|
||||
|
||||
</details>
|
||||
|
||||
## Estado do projeto
|
||||
|
||||
Em desenvolvimento. Pelo [`.planning/ROADMAP.md`](.planning/ROADMAP.md), as fases 1 a 4 estão concluídas, a fase 5 (validação de fontes de modelo) segue aberta com os três planos marcados e a fase 6 (redesign do chat e das Configurações) tem 0 de 3 planos.
|
||||
|
||||
- A compatibilidade com a OpenAI é parcial: `parallel_tool_calls` não é recurso suportado, `content` em partes vira texto e o raciocínio não sai num campo separado (quem separa `<think>…</think>` é o app).
|
||||
- O chat do app usa `sql.js` carregado por CDN e guarda o banco no `localStorage`.
|
||||
- `scripts/build-dev.sh` e `scripts/build-prod.sh` (e as versões `.ps1`) exigem `vendor/llama.cpp`, que não está no repositório.
|
||||
- `inference-server` e `localllm-cli` declaram um binário com o mesmo nome, `localllm`; use `cargo run -p <crate>`.
|
||||
|
||||
Para contribuir, abra uma issue ou um PR e rode os testes da parte que você alterou.
|
||||
|
||||
## Licença
|
||||
|
||||
Sem licença publicada: todos os direitos reservados. O [`Cargo.toml`](Cargo.toml) declara `license = "MIT"`, mas o repositório não inclui o arquivo `LICENSE`. Os binários do llama.cpp e os modelos do Hugging Face seguem a licença de cada autor.
|
||||
|
||||
<div align="center">
|
||||
|
||||
<sub>Feito por <a href="https://evandro.dev.br">Evandro Fonseca Junior</a> · <a href="https://git.evandro.dev.br/evandro">git.evandro.dev.br</a></sub>
|
||||
|
||||
</div>
|
||||
@@ -0,0 +1,60 @@
|
||||
<svg xmlns="http://www.w3.org/2000/svg" width="1200" height="420" viewBox="0 0 1200 420" role="img" aria-labelledby="title desc">
|
||||
<title id="title">ForgeLM</title>
|
||||
<desc id="desc">ForgeLM: um arquivo .gguf entra no llama.cpp, que divide as camadas entre GPU e CPU, e a resposta sai em streaming pela API local na porta 8080, em /v1/chat/completions.</desc>
|
||||
|
||||
<rect width="1200" height="420" rx="24" fill="#171717"/>
|
||||
|
||||
<g id="title-block" font-family="system-ui, -apple-system, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif">
|
||||
<text x="64" y="170" font-size="64" font-weight="700" fill="#F3F4F6">ForgeLM</text>
|
||||
<text x="64" y="226" font-size="28" fill="#F3F4F6">Rode modelos .gguf na sua máquina</text>
|
||||
<text x="64" y="264" font-size="28" fill="#F3F4F6">com uma API no estilo OpenAI.</text>
|
||||
<text x="64" y="322" font-size="20" fill="#9CA3AF" font-family="ui-monospace, 'SF Mono', Consolas, monospace">Rust · llama.cpp · Axum · Tauri 2</text>
|
||||
</g>
|
||||
|
||||
<g id="model-file" font-family="ui-monospace, 'SF Mono', Consolas, monospace">
|
||||
<path d="M584 152 h60 l28 28 v88 h-88 z" fill="#262626" stroke="#313944" stroke-width="2"/>
|
||||
<path d="M644 152 v28 h28" fill="none" stroke="#313944" stroke-width="2"/>
|
||||
<text x="628" y="234" font-size="20" fill="#F3F4F6" text-anchor="middle">.gguf</text>
|
||||
<text x="628" y="304" font-size="18" fill="#9CA3AF" text-anchor="middle" font-family="system-ui, -apple-system, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif">modelo</text>
|
||||
</g>
|
||||
|
||||
<g id="arrows" fill="none" stroke="#9CA3AF" stroke-width="2" stroke-linecap="round" stroke-linejoin="round">
|
||||
<path d="M682 210 h26 M700 202 l8 8 l-8 8"/>
|
||||
<path d="M836 210 h20 M848 202 l8 8 l-8 8"/>
|
||||
</g>
|
||||
|
||||
<g id="layers" font-family="system-ui, -apple-system, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif">
|
||||
<text x="772" y="110" font-size="20" font-weight="700" fill="#F3F4F6" text-anchor="middle">llama.cpp</text>
|
||||
<rect x="716" y="126" width="112" height="28" rx="6" fill="#4b86ff"/>
|
||||
<rect x="716" y="162" width="112" height="28" rx="6" fill="#4b86ff"/>
|
||||
<rect x="716" y="198" width="112" height="28" rx="6" fill="#4b86ff"/>
|
||||
<rect x="716" y="234" width="112" height="28" rx="6" fill="#4b86ff"/>
|
||||
<rect x="716" y="270" width="112" height="28" rx="6" fill="#333333"/>
|
||||
<rect x="716" y="306" width="112" height="28" rx="6" fill="#333333"/>
|
||||
<text x="772" y="146" font-size="18" font-weight="700" fill="#0d0d10" text-anchor="middle">GPU</text>
|
||||
<text x="772" y="326" font-size="18" font-weight="700" fill="#F3F4F6" text-anchor="middle">CPU</text>
|
||||
</g>
|
||||
|
||||
<g id="api-stream" font-family="ui-monospace, 'SF Mono', Consolas, monospace">
|
||||
<rect x="864" y="96" width="272" height="244" rx="14" fill="#0d0d10" stroke="#313944" stroke-width="2"/>
|
||||
<circle cx="890" cy="128" r="6" fill="#30d158"/>
|
||||
<text x="906" y="135" font-size="20" fill="#F3F4F6">:8080</text>
|
||||
<text x="1116" y="135" font-size="18" fill="#9CA3AF" text-anchor="end">SSE</text>
|
||||
<path d="M864 154 h272" stroke="#232a33" stroke-width="2"/>
|
||||
<text x="884" y="186" font-size="18" fill="#9CA3AF">/v1/chat/completions</text>
|
||||
<g font-family="system-ui, -apple-system, 'Segoe UI', Roboto, Helvetica, Arial, sans-serif" font-size="20" fill="#F3F4F6">
|
||||
<rect x="884" y="204" width="58" height="34" rx="8" fill="#101c2d" stroke="#203451" stroke-width="2"/>
|
||||
<text x="913" y="228" text-anchor="middle">Olá</text>
|
||||
<rect x="950" y="204" width="30" height="34" rx="8" fill="#101c2d" stroke="#203451" stroke-width="2"/>
|
||||
<text x="965" y="228" text-anchor="middle">,</text>
|
||||
<rect x="988" y="204" width="68" height="34" rx="8" fill="#101c2d" stroke="#203451" stroke-width="2"/>
|
||||
<text x="1022" y="228" text-anchor="middle">tudo</text>
|
||||
<rect x="884" y="248" width="62" height="34" rx="8" fill="#101c2d" stroke="#203451" stroke-width="2"/>
|
||||
<text x="915" y="272" text-anchor="middle">bem</text>
|
||||
<rect x="954" y="248" width="30" height="34" rx="8" fill="#101c2d" stroke="#203451" stroke-width="2"/>
|
||||
<text x="969" y="272" text-anchor="middle">?</text>
|
||||
<rect x="994" y="252" width="12" height="26" rx="2" fill="#4b86ff"/>
|
||||
</g>
|
||||
<text x="884" y="318" font-size="18" fill="#9CA3AF">"stream": true</text>
|
||||
</g>
|
||||
</svg>
|
||||
|
After Width: | Height: | Size: 4.2 KiB |
Reference in new issue
Block a user