Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

Whisper Diktat – Spracherkennung per Tastendruck

Drücke Super+Space, sprich, drücke nochmal Super+Space – der erkannte Text wird direkt ins aktive Fenster getippt.

Funktioniert auf Ubuntu 26.04 GNOME (Wayland). Die Transkription läuft über die STT-API auf docker02:8001 (POST /v1/audio/transcriptions).


Voraussetzungen

  • Ubuntu 26.04 LTS (GNOME, Wayland)
  • Mikrofon vorhanden
  • STT-API erreichbar: http://docker02:8001 (LAN, private-voice-stt)
  • Internetverbindung nur für die Installation (Inject-Binary, Systempakete)

Installation

1. Systempakete installieren

sudo apt install -y gcc rustc cargo libxkbcommon-dev alsa-utils

2. STT-API

Standardziel in dictate.sh: http://docker02:8001. Überschreiben mit WHISPER_API.

curl -fsS http://docker02:8001/health

3. whisper-inject kompilieren

whisper-inject ist ein Rust-Programm, das Text über das XDG RemoteDesktop-Portal (EIS/libei) ins aktive Fenster tippt – ohne uinput, ohne Root-Rechte, nativ auf GNOME Wayland.

cargo build --release --manifest-path /srv/projects/os-apps/linux.whisper/inject/Cargo.toml

4. Skripte ausführbar machen

chmod +x /srv/projects/os-apps/linux.whisper/dictate.sh

5. whisper-inject.service als Benutzer-Dienst einrichten

mkdir -p ~/.config/systemd/user
cp /srv/projects/os-apps/linux.whisper/whisper-inject.service ~/.config/systemd/user/
systemctl --user daemon-reload
systemctl --user enable whisper-inject.service
systemctl --user start whisper-inject.service

Beim ersten Start erscheint ein GNOME-Dialog, der nach der Erlaubnis für Tastatureingaben fragt. Einmal bestätigen – danach startet der Daemon ohne Dialog (restore_token wird gespeichert).

Status prüfen:

systemctl --user status whisper-inject.service

6. GNOME-Tastenkürzel einrichten

gsettings set org.gnome.desktop.wm.keybindings switch-input-source "['']"
gsettings set org.gnome.desktop.wm.keybindings switch-input-source-backward "['']"
gsettings set org.freedesktop.ibus.general.hotkey triggers "@as []"

SHORTCUT="/org/gnome/settings-daemon/plugins/media-keys/custom-keybindings/custom0/"
gsettings set org.gnome.settings-daemon.plugins.media-keys custom-keybindings "['$SHORTCUT']"
gsettings set org.gnome.settings-daemon.plugins.media-keys.custom-keybinding:"$SHORTCUT" name 'Whisper Diktat'
gsettings set org.gnome.settings-daemon.plugins.media-keys.custom-keybinding:"$SHORTCUT" command '/srv/projects/os-apps/linux.whisper/dictate.sh'
gsettings set org.gnome.settings-daemon.plugins.media-keys.custom-keybinding:"$SHORTCUT" binding '<Super>space'

Verwendung

Aktion Taste
Aufnahme starten Super+Space
Aufnahme stoppen & Text eintippen Super+Space

Beim ersten Drücken erscheint eine Benachrichtigung „Aufnahme läuft...". Nach dem zweiten Drücken geht die WAV-Datei an die STT-API auf docker02:8001; der erkannte Text wird ins aktive Fenster getippt – inklusive Umlaute, ß und Sonderzeichen.

Funktioniert in Terminal-Fenstern, Texteditoren, Browsern und allen anderen Anwendungen.


API-Ziel

Standard: http://docker02:8001 (POST /v1/audio/transcriptions, OpenAI-kompatibel).

Anderen Host setzen:

export WHISPER_API=http://192.168.0.137:8001

Das Modell (large-v3-turbo, Vulkan auf der Radeon 780M) liegt auf dem STT-Stack (private-voice-stt), nicht mehr lokal in diesem Repo.


Sprache ändern

In dictate.sh sendet curl -F language=de. Anderen Sprachcode analog setzen. whisper-inject liest die Keymap dynamisch vom XDG-Portal – es funktioniert mit jedem Tastaturlayout automatisch.


Technische Hintergründe: Texteingabe auf GNOME Wayland

Die Texteingabe ist auf GNOME Wayland überraschend schwierig. Zur Dokumentation, was getestet wurde:

Methode Ergebnis
wtype Scheitert: GNOME unterstützt zwp_virtual_keyboard_v1 nicht
ydotool type Funktioniert, aber Umlaute (ä, ö, ü, ß) werden falsch ausgegeben
wl-copy + Ctrl+V Klappt in Editoren/Browsern, aber nicht im Terminal
NotifyKeyboardKeysym (XDG-Portal) API-Aufruf kehrt ohne Fehler zurück, aber GNOME 50 tut nichts
whisper-inject (EIS/libei) Funktioniert überall – liest Keymap vom EIS-Server, mappt Unicode auf Keycodes

whisper-inject nutzt das XDG RemoteDesktop-Portal mit EIS (Emulated Input Stream / libei). Der Daemon baut beim ersten Start eine Portal-Session auf (einmaliger Dialog), speichert den restore_token und startet danach dialogfrei. Text wird per XKB-Keymap-Lookup auf Evdev-Keycodes abgebildet und über das EIS-Protokoll an den Compositor übergeben.


Fehlerbehebung

STT-API nicht erreichbar / Notification „STT-API Fehler":

curl -fsS http://docker02:8001/health

Erwartet: ok. Der Stack läuft auf docker02 (private-voice-stt, Port 8001).

Kein Text wird eingetippt:

systemctl --user status whisper-inject.service

Falls der Dienst nicht läuft: systemctl --user start whisper-inject.service

Falls der Dienst läuft aber kein Text erscheint: prüfen ob GNOME den Portal-Dialog angezeigt hat (einmalige Bestätigung notwendig). Token löschen und Dienst neu starten erzwingt den Dialog:

rm -f ~/.local/state/whisper-dictate/restore_token
systemctl --user restart whisper-inject.service

Daemon-Logs ansehen:

journalctl --user -u whisper-inject.service -n 50

Aufnahme startet nicht:

arecord -l

Prüfen ob ein Mikrofon aufgelistet wird.

Shortcut reagiert nicht: IBus belegt Super+Space standardmäßig als IME-Trigger und schluckt die Kombination, bevor GNOME das Whisper-Kürzel sieht. Freigeben:

gsettings set org.freedesktop.ibus.general.hotkey triggers "@as []"
gsettings set org.gnome.desktop.wm.keybindings switch-input-source "['']"
gsettings set org.gnome.desktop.wm.keybindings switch-input-source-backward "['']"

Danach in GNOME-Einstellungen unter Tastatur → Tastaturkürzel → Benutzerdefinierte Tastaturkürzel prüfen, ob „Whisper Diktat" auf <Super>space liegt. Super allein bleibt die GNOME-Übersicht.

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages