Compare commits
2
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
 evandro
|
0e9843c54a | ||
|
evandro
|
2c573a49ea |
No files matched your search
@@ -1,96 +1,112 @@
|
||||
# Transcript Desktop
|
||||
<div align="center">
|
||||
|
||||
Aplicativo desktop de transcrição para Windows e Linux, construído com Tauri + Rust + TypeScript. O objetivo é oferecer ditado/transcrição offline-first com revisão obrigatória em modal antes de inserir texto em outro aplicativo.
|
||||
<img src="assets/readme/hero.svg" width="100%" alt="Transcript: ditado local para Windows e Linux. Atalho Ctrl+Shift+Space, gravação e o editor Texto transcrito com os botões Copiar e Inserir">
|
||||
|
||||
## Estado atual
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
Este repositório contém um MVP nativo funcional:
|
||||
[Issues](https://git.evandro.dev.br/evandro/transcript/issues) · [Specs](docs/superpowers/specs/) · [Planos](docs/superpowers/plans/)
|
||||
|
||||
- app Tauri 2 funcional;
|
||||
- modal editável em TypeScript sem framework pesado;
|
||||
- backend Rust modular;
|
||||
- catálogo e download do modelo `cstr/parakeet-tdt-0.6b-v3-GGUF` em Q8;
|
||||
- captura real de microfone em WAV via CPAL;
|
||||
- execução do sidecar CrispASR/Parakeet;
|
||||
- hotkey global `Ctrl+Shift+Space`;
|
||||
- inserção híbrida por clipboard + paste automático no Windows/X11 quando disponível;
|
||||
- fallback manual no Wayland;
|
||||
- tray/system tray básico;
|
||||
- CI, build e release via GitHub Actions.
|
||||
</div>
|
||||
|
||||
## Arquitetura
|
||||
## O que é
|
||||
|
||||
```text
|
||||
src/ Frontend TypeScript/CSS
|
||||
src-tauri/src/
|
||||
audio/ Captura de microfone e gravação WAV
|
||||
transcription/ Contratos, CrispASR sidecar e API compatível com OpenAI
|
||||
injection/ Clipboard, paste automático e fallback manual
|
||||
models/ Catálogo do modelo offline
|
||||
settings/ Configuração padrão
|
||||
tray.rs Menu da bandeja do sistema
|
||||
ui_commands.rs Comandos Tauri expostos ao frontend
|
||||
app_state.rs Estado compartilhado mínimo
|
||||
```
|
||||
Transcript é um app de bandeja para Windows e Linux, feito com Tauri 2. Você aperta um atalho global, fala, e o texto transcrito localmente aparece num editor para revisão antes de ser colado no aplicativo em foco.
|
||||
|
||||
A regra de design é manter arquivos pequenos, responsabilidades claras e zero overengineering. O app começa com contratos e stubs explícitos para as partes nativas mais arriscadas.
|
||||
- Alterna a gravação com o atalho global `Ctrl+Shift+Space` (evento `transcript://toggle-recording` para o frontend).
|
||||
- Grava o microfone em WAV (`cpal` + `hound`) na pasta de dados do app.
|
||||
- Transcreve chamando o sidecar `sherpa-onnx-offline` com o modelo Parakeet TDT 0.6B int8 e guarda um diagnóstico de cada tentativa (etapa, exit code, final de stdout/stderr).
|
||||
- Mostra o texto num editor, com os botões Copiar e Inserir.
|
||||
- Mantém um ícone na bandeja com o menu Mostrar app, Iniciar gravação e Sair.
|
||||
- Lista o catálogo de modelos com status e baixa o modelo padrão.
|
||||
|
||||
## Modelo offline principal
|
||||
## Por que usar
|
||||
|
||||
- Repositório: `cstr/parakeet-tdt-0.6b-v3-GGUF`
|
||||
- Arquivo: `parakeet-tdt-0.6b-v3-q8_0.gguf`
|
||||
- Quantização: `Q8_0`
|
||||
- Tamanho registrado no catálogo: `745121600` bytes
|
||||
- Modelo base: NVIDIA Parakeet TDT 0.6B v3
|
||||
- Idioma: detecção automática; português incluído no conjunto suportado pelo modelo base.
|
||||
A transcrição roda na sua máquina: o comando que encerra a gravação chama o `sherpa-onnx-offline` local, sem serviço online no caminho. O texto só vai para o app em foco depois que você revisa e clica em Inserir, que copia para o clipboard e manda `Ctrl+V`.
|
||||
|
||||
O modelo não deve ser embutido no instalador principal. A estratégia recomendada é instalar o app leve e baixar o GGUF pelo gerenciador de modelos.
|
||||
Não use ainda se você precisa de um ditado que funcione hoje: o código atual não compila (veja [Estado do projeto](#estado-do-projeto)). Também não há colagem automática no Wayland nem no macOS, e o atalho é fixo.
|
||||
|
||||
## Sidecar CrispASR
|
||||
## Como funciona
|
||||
|
||||
O app chama por padrão o binário `parakeet-main` com:
|
||||
- O atalho emite um evento que o frontend escuta para iniciar ou parar a gravação.
|
||||
- Ao parar, `stop_recording_and_transcribe` fecha o WAV, roda o sidecar (de 1 a 4 threads) e devolve o texto num snapshot para o editor.
|
||||
- Só depois da revisão o botão Inserir chama `request_insert_text`, que copia o texto e tenta colar.
|
||||
- O código também tem adaptadores para o sidecar CrispASR (modelo GGUF legado) e para APIs compatíveis com OpenAI (padrão `http://localhost:8022/v1/audio/transcriptions`), mas nenhum comando os usa hoje.
|
||||
|
||||
| Sistema | Inserção no app em foco | Fallback |
|
||||
|---|---|---|
|
||||
| Windows | Clipboard + `Ctrl+V` via PowerShell `SendKeys` | Se o `Ctrl+V` falhar, o texto fica copiado e uma mensagem avisa. |
|
||||
| Linux X11 | Clipboard + `xdotool key --clearmodifiers ctrl+v` | Sem `xdotool`, o texto fica copiado para colar à mão. |
|
||||
| Linux Wayland | Só copia | Cole com `Ctrl+V`. |
|
||||
|
||||
A sessão é detectada por `XDG_SESSION_TYPE`, `WAYLAND_DISPLAY` e `DISPLAY`.
|
||||
|
||||
| Modelo | Formato | Tamanho no catálogo | Idiomas | Uso |
|
||||
|---|---|---|---|---|
|
||||
| `sherpa-onnx-nemo-parakeet-tdt-0.6b-v2-int8` | tarball `.tar.bz2` do release `asr-models` do k2-fsa/sherpa-onnx | ~640 MB | 25 idiomas europeus, incluindo `pt` | Padrão |
|
||||
| `parakeet-tdt-0.6b-v3-q8_0` | GGUF `Q8_0`, repositório `cstr/parakeet-tdt-0.6b-v3-GGUF` | 745121600 bytes | `pt`, `en` | Legado, para o adaptador CrispASR |
|
||||
|
||||
## Início rápido
|
||||
|
||||
| Ferramenta | Versão | Observação |
|
||||
|---|---|---|
|
||||
| Node.js + npm | 22 | Versão usada nos workflows; não há `.nvmrc` nem `engines`. |
|
||||
| Rust (cargo) | stable, edition 2021 | Os workflows usam `dtolnay/rust-toolchain@stable`. |
|
||||
| Tauri CLI | `^2.9.0` | devDependency, vem com `npm ci`. |
|
||||
| Linux (build) | `libwebkit2gtk-4.1-dev libappindicator3-dev librsvg2-dev patchelf libasound2-dev` | Pacotes instalados no CI. |
|
||||
| Linux X11 (colar) | `xdotool` | Opcional. |
|
||||
| `tar` com bzip2 | qualquer | Usado por `scripts/setup-fixtures.mjs`. |
|
||||
|
||||
```bash
|
||||
parakeet-main -m <modelo.gguf> -f <audio.wav> -t <threads>
|
||||
git clone https://git.evandro.dev.br/evandro/transcript.git
|
||||
cd transcript
|
||||
npm ci
|
||||
node scripts/setup-sidecar.mjs # baixa o sherpa-onnx-offline para src-tauri/binaries/
|
||||
npm run tauri:dev # app em desenvolvimento (Vite em 127.0.0.1:1420)
|
||||
npm run tauri:build # bundles em src-tauri/target/release/bundle/
|
||||
```
|
||||
|
||||
Para o modelo v3, o projeto CrispASR recomenda compilar o target `parakeet-main` no branch `parakeet`. O app limita automaticamente o número de threads a no máximo 4 para manter compatibilidade com PCs simples.
|
||||
Hoje os dois comandos `tauri:*` param na compilação do Rust. O front end sozinho roda com `npm run dev`, e os testes dele com `npm test -- --run`.
|
||||
|
||||
Enquanto o binário não estiver no `PATH` ou empacotado como sidecar, a transcrição local retorna erro claro após a gravação.
|
||||
O modelo não vem no instalador: o app baixa para a pasta de dados (`%LOCALAPPDATA%\transcript\models` no Windows, `~/.local/share/transcript/models` no Linux) pelo comando `download_default_model_command`. As gravações ficam em `recordings/` na mesma pasta.
|
||||
|
||||
## Compatibilidade Windows/Linux
|
||||
## Configuração
|
||||
|
||||
- Windows: clipboard + tentativa de `Ctrl+V` via `SendKeys`.
|
||||
- Linux X11: clipboard + tentativa de `Ctrl+V` via `xdotool` quando instalado.
|
||||
- Linux Wayland: suporte parcial por limitação de segurança dos compositors. O fallback seguro é copiar o texto e orientar o usuário a colar manualmente.
|
||||
Não há `.env.example` e nenhuma variável é obrigatória.
|
||||
|
||||
## Comandos locais
|
||||
| Variável | Descrição |
|
||||
|---|---|
|
||||
| `SHERPA_ONNX_SIDECAR` | Caminho do sidecar; tem prioridade sobre a pasta `binaries/` e o `PATH`. |
|
||||
| `SHERPA_ONNX_VERSION` | Versão do release do sherpa-onnx baixada por `setup-sidecar.mjs` (padrão `v1.12.23`). |
|
||||
| `SHERPA_ONNX_TRIPLE` | Target triple do sidecar (padrão: detectado via `rustc -vV`). |
|
||||
|
||||
```bash
|
||||
npm install
|
||||
npm run typecheck
|
||||
npm run test -- --run
|
||||
npm run build
|
||||
cargo test --manifest-path src-tauri/Cargo.toml
|
||||
npm run tauri:build
|
||||
```
|
||||
O método de inserção nas configurações aceita `clipboardPaste` (padrão), `keyTyping` e `manualCopy`.
|
||||
|
||||
## CI/CD
|
||||
## Estado do projeto
|
||||
|
||||
Workflows:
|
||||
Protótipo em desenvolvimento por uma pessoa. As versões divergem: `0.1.0` em `package.json` e `Cargo.toml`, `0.3.1` em `tauri.conf.json`. O que a leitura do código mostra:
|
||||
|
||||
- `.github/workflows/ci.yml`: valida PRs e pushes em `main`.
|
||||
- `.github/workflows/build.yml`: gera bundles Windows/Linux em push para `main` e manualmente.
|
||||
- `.github/workflows/release.yml`: publica GitHub Releases em tags `v*.*.*`.
|
||||
- **O crate Rust não compila como está:** `settings/mod.rs` usa `crate::shortcuts::DEFAULT_HOTKEY`, que não existe; `transcription/openai.rs` importa `crate::secrets`, módulo que `lib.rs` não declara; `ui_commands.rs` lê `settings.transcription.model_id`, campo que `TranscriptionSettings` não tem.
|
||||
- **O frontend chama comandos que não estão registrados** no `invoke_handler` de `lib.rs`: `stop_recording` (usado pelo botão Parar), `transcribe_pending`, `minimize_window`, `close_window`, `save_openai_api_key` e `clear_openai_api_key`.
|
||||
- **Nome do sidecar:** `setup-sidecar.mjs` grava `src-tauri/binaries/sherpa-onnx-offline-<triple>`, mas o app procura `sherpa-onnx-offline` sem o sufixo e cai no `PATH`. Até isso mudar, aponte `SHERPA_ONNX_SIDECAR` para o binário.
|
||||
- `keyTyping` não tem efeito: `request_insert_text` usa sempre `ClipboardPaste`.
|
||||
- `tauri.conf.json` não declara `bundle.externalBin` (o sidecar não vai no instalador), `bundle.resources` aponta para `resources/whisper/`, que não existe, e só `icons/icon.ico` existe dos ícones listados. whisper.cpp só aparece no spec do redesign.
|
||||
- O atalho `Ctrl+Shift+Space` é fixo em `shortcuts.rs`, e o item Iniciar gravação da bandeja só mostra a janela.
|
||||
- `ci.yml` baixa o modelo `v3-int8` (o catálogo usa `v2-int8`) e chama o teste `sherpa_onnx::tests::real_transcription_returns_known_text`, que não existe em `sherpa_onnx.rs`.
|
||||
|
||||
A lógica fica em comandos npm/cargo para facilitar migração futura para GitLab CI.
|
||||
Workflows em `.github/workflows/`: `ci.yml` (PR e push em `main`: typecheck, testes, build e `cargo test` no Ubuntu 22.04), `build.yml` (push em `main` e manual: bundles para Windows e Linux como artefatos) e `release.yml` (tag `v*.*.*` ou manual: publica a GitHub Release `Transcript <tag>`).
|
||||
|
||||
## Fontes técnicas usadas
|
||||
Antes de abrir um PR: `npm run typecheck && npm test -- --run && cargo test --manifest-path src-tauri/Cargo.toml`.
|
||||
|
||||
- Tauri 2 commands: https://v2.tauri.app/develop/calling-rust
|
||||
- Tauri 2 system tray: https://v2.tauri.app/learn/system-tray
|
||||
- Tauri 2 sidecars: https://v2.tauri.app/develop/sidecar
|
||||
- Tauri GitHub pipelines: https://v2.tauri.app/distribute/pipelines/github
|
||||
- Tauri Linux prerequisites: https://v2.tauri.app/start/prerequisites
|
||||
- NVIDIA Parakeet v3 model card: https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3/blob/main/README.md
|
||||
- cstr Parakeet GGUF: https://huggingface.co/cstr/parakeet-tdt-0.6b-v3-GGUF
|
||||
## Licença
|
||||
|
||||
Sem licença publicada: todos os direitos reservados.
|
||||
|
||||
---
|
||||
|
||||
<div align="center">
|
||||
<sub>Feito por <a href="https://evandro.dev.br">Evandro Fonseca Junior</a> · <a href="https://git.evandro.dev.br/evandro">git.evandro.dev.br</a></sub>
|
||||
</div>
|
||||
@@ -0,0 +1,65 @@
|
||||
<svg xmlns="http://www.w3.org/2000/svg" width="1200" height="420" viewBox="0 0 1200 420" role="img" aria-labelledby="title desc">
|
||||
<title id="title">Transcript</title>
|
||||
<desc id="desc">Transcript: ditado local para Windows e Linux. À direita, o atalho Ctrl+Shift+Space, uma forma de onda com o estado Gravando e o editor Texto transcrito com os botões Copiar e Inserir.</desc>
|
||||
|
||||
<rect width="1200" height="420" rx="24" fill="#f4efe7"/>
|
||||
|
||||
<g id="title-block" font-family="system-ui, -apple-system, "Segoe UI", Roboto, Helvetica, Arial, sans-serif">
|
||||
<text x="64" y="156" font-size="68" font-weight="700" fill="#15120f">Transcript</text>
|
||||
<text x="64" y="214" font-size="28" fill="#15120f">Ditado local: grave com um atalho,</text>
|
||||
<text x="64" y="252" font-size="28" fill="#15120f">revise o texto e cole no app em foco.</text>
|
||||
<text x="64" y="326" font-size="20" fill="#665e55" font-family="ui-monospace, "SF Mono", Consolas, monospace">Tauri 2 · Rust · TypeScript · sherpa-onnx</text>
|
||||
</g>
|
||||
|
||||
<g id="dictation" font-family="system-ui, -apple-system, "Segoe UI", Roboto, Helvetica, Arial, sans-serif">
|
||||
<g id="hotkey" font-size="20" font-weight="600" fill="#15120f">
|
||||
<rect x="640" y="52" width="84" height="48" rx="10" fill="#fffdfa" stroke="#312923" stroke-width="2"/>
|
||||
<text x="682" y="83" text-anchor="middle">Ctrl</text>
|
||||
<text x="740" y="83" text-anchor="middle" fill="#7a4f38">+</text>
|
||||
<rect x="756" y="52" width="96" height="48" rx="10" fill="#fffdfa" stroke="#312923" stroke-width="2"/>
|
||||
<text x="804" y="83" text-anchor="middle">Shift</text>
|
||||
<text x="868" y="83" text-anchor="middle" fill="#7a4f38">+</text>
|
||||
<rect x="884" y="52" width="180" height="48" rx="10" fill="#fffdfa" stroke="#312923" stroke-width="2"/>
|
||||
<text x="974" y="83" text-anchor="middle">Space</text>
|
||||
</g>
|
||||
|
||||
<g id="recording">
|
||||
<rect x="640" y="140" width="128" height="40" rx="20" fill="#eed6cd"/>
|
||||
<text x="704" y="167" font-size="18" font-weight="700" fill="#8a241d" text-anchor="middle">Gravando</text>
|
||||
<g fill="#8a241d">
|
||||
<rect x="792" y="152" width="8" height="16" rx="4"/>
|
||||
<rect x="808" y="140" width="8" height="40" rx="4"/>
|
||||
<rect x="824" y="130" width="8" height="60" rx="4"/>
|
||||
<rect x="840" y="144" width="8" height="32" rx="4"/>
|
||||
<rect x="856" y="124" width="8" height="72" rx="4"/>
|
||||
<rect x="872" y="136" width="8" height="48" rx="4"/>
|
||||
<rect x="888" y="148" width="8" height="24" rx="4"/>
|
||||
<rect x="904" y="132" width="8" height="56" rx="4"/>
|
||||
<rect x="920" y="120" width="8" height="80" rx="4"/>
|
||||
<rect x="936" y="138" width="8" height="44" rx="4"/>
|
||||
<rect x="952" y="150" width="8" height="20" rx="4"/>
|
||||
<rect x="968" y="134" width="8" height="52" rx="4"/>
|
||||
<rect x="984" y="126" width="8" height="68" rx="4"/>
|
||||
<rect x="1000" y="142" width="8" height="36" rx="4"/>
|
||||
<rect x="1016" y="152" width="8" height="16" rx="4"/>
|
||||
<rect x="1032" y="138" width="8" height="44" rx="4"/>
|
||||
<rect x="1048" y="146" width="8" height="28" rx="4"/>
|
||||
<rect x="1064" y="154" width="8" height="12" rx="4"/>
|
||||
<rect x="1080" y="156" width="8" height="8" rx="4"/>
|
||||
<rect x="1096" y="156" width="8" height="8" rx="4"/>
|
||||
<rect x="1112" y="156" width="8" height="8" rx="4"/>
|
||||
<rect x="1128" y="156" width="8" height="8" rx="4"/>
|
||||
</g>
|
||||
</g>
|
||||
|
||||
<g id="editor">
|
||||
<rect x="640" y="220" width="496" height="148" rx="16" fill="#fffdfa" stroke="#ddd5cb" stroke-width="2"/>
|
||||
<text x="664" y="256" font-size="18" font-weight="700" fill="#312923">Texto transcrito</text>
|
||||
<text x="664" y="292" font-size="20" fill="#15120f">Amanhã às 9h revisamos o contrato.</text>
|
||||
<rect x="896" y="312" width="104" height="40" rx="12" fill="#eadfd2"/>
|
||||
<text x="948" y="338" font-size="18" font-weight="700" fill="#15120f" text-anchor="middle">Copiar</text>
|
||||
<rect x="1012" y="312" width="104" height="40" rx="12" fill="#eadfd2"/>
|
||||
<text x="1064" y="338" font-size="18" font-weight="700" fill="#15120f" text-anchor="middle">Inserir</text>
|
||||
</g>
|
||||
</g>
|
||||
</svg>
|
||||
|
After Width: | Height: | Size: 4.1 KiB |
Reference in new issue
Block a user