236 lines
3.8 KiB
Markdown
236 lines
3.8 KiB
Markdown
# Referencia de comandos da CLI
|
|
|
|
Esta pagina lista a superficie atual da CLI `localllm`.
|
|
|
|
## Sintaxe geral
|
|
|
|
```bash
|
|
localllm [flags-globais] <comando> [subcomando] [args]
|
|
```
|
|
|
|
## Flags globais
|
|
|
|
- `--server <url>`
|
|
- `--dry-run`
|
|
- `--api-key <token>`
|
|
- `--models-dir <path>`
|
|
- `--format text|json`
|
|
|
|
## status
|
|
|
|
Verifica o estado do backend.
|
|
|
|
```bash
|
|
localllm status
|
|
```
|
|
|
|
Uso tipico:
|
|
|
|
- testar se o backend esta de pe
|
|
- validar auth e reachability
|
|
- integrar checks simples em scripts
|
|
|
|
## models
|
|
|
|
### models list
|
|
|
|
Lista os modelos expostos pelo backend.
|
|
|
|
```bash
|
|
localllm models list
|
|
```
|
|
|
|
### models scan
|
|
|
|
Escaneia um diretorio local de modelos.
|
|
|
|
```bash
|
|
localllm --models-dir ./models models scan
|
|
```
|
|
|
|
### models load
|
|
|
|
Aceita um nome de modelo e alias opcional.
|
|
|
|
```bash
|
|
localllm models load meu-modelo.gguf --alias default
|
|
```
|
|
|
|
### models unload
|
|
|
|
Aceita um modelo opcional.
|
|
|
|
```bash
|
|
localllm models unload
|
|
localllm models unload default
|
|
```
|
|
|
|
### models use
|
|
|
|
Seleciona um modelo por nome.
|
|
|
|
```bash
|
|
localllm models use default
|
|
```
|
|
|
|
### models watch
|
|
|
|
Superficie prevista para acompanhar alteracoes/model lifecycle.
|
|
|
|
```bash
|
|
localllm models watch
|
|
```
|
|
|
|
### models download
|
|
|
|
Aceita um repositorio como argumento.
|
|
|
|
```bash
|
|
localllm models download org/modelo
|
|
```
|
|
|
|
### models remove
|
|
|
|
Remove um modelo por nome.
|
|
|
|
```bash
|
|
localllm models remove default
|
|
```
|
|
|
|
### Observacao importante sobre `models`
|
|
|
|
No estado atual do projeto, a parte mais confiavel e comprovada contra o backend HTTP atual e `models list`. Os demais subcomandos devem ser tratados como superficie de operacao em evolucao, local-only ou ainda nao suportada pelo backend publico atual.
|
|
|
|
## auth
|
|
|
|
### auth status
|
|
|
|
```bash
|
|
localllm auth status
|
|
```
|
|
|
|
### auth enable
|
|
|
|
```bash
|
|
localllm auth enable --mode protected --api-key dev-secret
|
|
```
|
|
|
|
Modos aceitos:
|
|
|
|
- `off`
|
|
- `localonly`
|
|
- `protected`
|
|
|
|
### auth disable
|
|
|
|
```bash
|
|
localllm auth disable
|
|
```
|
|
|
|
### auth set-key
|
|
|
|
```bash
|
|
localllm auth set-key dev-secret
|
|
```
|
|
|
|
### Observacao importante sobre `auth`
|
|
|
|
Os subcomandos existem na superficie da CLI, mas o backend HTTP publico atual nao expoe uma API administrativa completa para auth. Documente esses comandos como superficie de controle/planejamento, nao como garantia de operacao remota ja fechada.
|
|
|
|
## config
|
|
|
|
### config get
|
|
|
|
```bash
|
|
localllm config get <chave>
|
|
```
|
|
|
|
### config set
|
|
|
|
```bash
|
|
localllm config set <chave> <valor>
|
|
```
|
|
|
|
Mesma observacao de `auth`: a superficie existe, mas a administracao remota completa ainda nao esta refletida na pequena API HTTP publica atual.
|
|
|
|
## bench
|
|
|
|
### bench throughput
|
|
|
|
Benchmark de throughput com parametros configuraveis.
|
|
|
|
```bash
|
|
localllm bench throughput --model default --samples 3 --prompt-tokens 256 --completion-tokens 128
|
|
```
|
|
|
|
Parametros atuais:
|
|
|
|
- `--model` (default `default`)
|
|
- `--samples` (default `3`)
|
|
- `--prompt-tokens` (default `256`)
|
|
- `--completion-tokens` (default `128`)
|
|
|
|
### bench smoke
|
|
|
|
```bash
|
|
localllm bench smoke
|
|
```
|
|
|
|
### bench suite
|
|
|
|
```bash
|
|
localllm bench suite
|
|
```
|
|
|
|
### bench compare
|
|
|
|
```bash
|
|
localllm bench compare baseline candidate
|
|
```
|
|
|
|
### Observacao importante sobre `bench`
|
|
|
|
O fluxo mais claramente alinhado com o backend atual e `bench throughput`.
|
|
|
|
## logs
|
|
|
|
Leitura de logs com limite de linhas.
|
|
|
|
```bash
|
|
localllm logs --lines 200
|
|
```
|
|
|
|
## doctor
|
|
|
|
Superficie pensada para diagnostico do ambiente.
|
|
|
|
```bash
|
|
localllm doctor
|
|
```
|
|
|
|
## Exemplos com flags globais
|
|
|
|
### JSON
|
|
|
|
```bash
|
|
localllm --format json status
|
|
```
|
|
|
|
### Dry run
|
|
|
|
```bash
|
|
localllm --dry-run models list
|
|
```
|
|
|
|
### Backend remoto com auth
|
|
|
|
```bash
|
|
localllm --server http://127.0.0.1:8080 --api-key dev-secret status
|
|
```
|
|
|
|
## Resumo honesto do estado atual
|
|
|
|
- parser e superficie de comandos sao mais amplos que a API HTTP publica atual
|
|
- para automacao confiavel hoje, priorize `status`, `models list` e `bench throughput`
|
|
- use `--dry-run` quando estiver explorando comandos administrativos ainda em evolucao
|