Wie programmiert man ein Wake Word?

Hallo,

ich programmiere gerade einen Sprachassistenten und brauche noch ein Wake Word (wenn ich „Hey …“ sage, soll das Programm starten). Ich habe bereits ein paar Videos zu dem Thema geschaut aber ich verstehe es noch nicht ganz: das Programm muss einem ja zuhören, selbst wenn es nicht läuft, da es bei erkennen des Wake Words ja erst gestartet wird.

Habt ihr irgendwelche Tipps oder Webseiten/ Video, die mir weiterhelfen können?

Freundliche Grüsse

3 Antworten

Vom Fragesteller als hilfreich ausgezeichnet

Marcii21

22.02.2024, 14:28

Hey,

um ein Wake Word für deinen Sprachassistenten zu programmieren, kannst du Bibliotheken wie Snowboy oder Porcupine verwenden. Diese ermöglichen die kontinuierliche Überwachung des Audiostreams auf dein spezifisches Wake Word, auch wenn die Hauptanwendung im Hintergrund läuft. Der Schlüssel liegt darin, einen kleinen, effizienten Hintergrundprozess zu erstellen, der auf das Wake Word hört und dann die Hauptanwendung aktiviert.

Liebe Grüße,
Marcel

Woher ich das weiß:eigene Erfahrung

marcus09421

Fragesteller

22.02.2024, 21:51

Vielen Dank! Das hat mir sehr geholfen

jlpe16

19.02.2024, 17:41

Du könntest die Wake Word Detection mit PocketSphinx nutzen.

marcus09421

Fragesteller

19.02.2024, 17:50

Okay ich werde es versuchen, vielen Dank!

jlpe16

19.02.2024, 17:50

@marcus09421

Kein Problem :)

Lezurex

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

programmieren, Programmieren & Softwareentwicklung, Software & Apps

19.02.2024, 17:48

Dein Programm muss durchgehend laufen, dass es zuhören kann. Sobald du dein Wake Word erkennst, startest du den Hauptprozess.

Woher ich das weiß:Berufserfahrung – Informatiker Applikationsentwicklung

marcus09421

Fragesteller

19.02.2024, 17:49

Wie kann ich denn machen, dass das Programm automatisch startet?

Hallo,

ich programmiere gerade einen Sprachassistenten und habe mit Porcupine von Picovoice ein Wake Word erstellt. Meine Frage ist nun, gibt es eine Begrenzung oder kann ich das Wake Word so oft wie notwendig verwenden? Und wenn es eine Begrenzung gibt, gibt es kostenlose Alternativen?

Freundliche Grüsse

...zur Frage

Stimme und Sprache vom Raspberry Pi ändern?

Hallo,

ich programmiere gerade einen Sprachassistenten, doch wenn ich eine Frage stelle, antwortet der Pi immer mit einer englischen, männlichen Stimme. Wie kann ich die Stimme ändern, dass es eine deutsche, weibliche Stimme ist (Also dass der von pyttsx3 gesprochene Text von einer deutschen Frau gesprochen wird)?
Freundliche Grüsse

...zur Frage

Schnelle Wake-Word detection in Python?

Hallo,

ich programmiere gerade einen Sprachassistenten und wollte nun eine schnelle Wake-Word detection einbauen, also wenn man das Wake-Word "Luna" sagt, soll es innerhal einer Sekunde in die Hauptschleife gehen. Das ist mein Code:

def wait_for_wake_word(recognizer, source):
    while True:
        print("Warte auf Wake-Word...")
        try:
            audio = recognizer.listen(source, phrase_time_limit=1)
            text = recognizer.recognize_google(audio, language="de-DE")
            if hey_luna_in_q(text):
                print("Wake-Word erkannt!")
                return
        except sr.UnknownValueError:
            pass
        except sr.RequestError as e:
            print(f"Fehler bei der Anfrage an die Google Web Speech API: {e}")

def hey_luna_in_q(q):
    return "luna" in q.lower()

Wenn man das Programm startet und dann direkt das Wake-Word sagt, funktioniert auch allles gut, aber sobal ich etwas warte bevor ich das Wake-Word sage (was bei einem Sprachassistenten ja meistens so ist), dauert es sehr lange, bevor es in die Hauptschleife geht und manchmal passiert überhaupt nichts, wieso?

Freundliche Grüsse

...zur Frage

Warum wird das Wake Word nicht erkannt?

Hallo,

ich programmiere momentan einen Sprachassistenten und bin gerade am Wake Word dran. Mein Code sieht so aus:

import pyttsx3
import re
import pyjokes
import speech_recognition as sr
from pyowm import OWM
import spotipy
from spotipy.oauth2 import SpotifyOAuth
import time
import random
import datetime
import pytz
from geopy.geocoders import Nominatim
from timezonefinder import TimezoneFinder
import sounddevice as sd
import pvporcupine
import openai

openai.api_key = 'sk-...'
model_id = "gpt-4"

engine = pyttsx3.init()


def recognize_speech(recognizer, source):
    print("Sage etwas...")
    audio = recognizer.listen(source, timeout=15)
    try:
        text = recognizer.recognize_google(audio, language="de-DE")
        print("Text: " + text)
        return text
    except sr.UnknownValueError:
        return "not_understood"
    except sr.RequestError as e:
        print(f"Fehler bei der Anfrage an die Google Web Speech API: {e}")
        return ""


def picovoice_listen():
    keyword_file_path = "C:\\Hey-Luna_de_windows_v3_0_0\\Hallo-Luna_de_windows_v3_0_0.ppn"
    sensitivities = [0.7]

    try:
        porcupine = pvporcupine.create(
            access_key='...',
            keyword_paths=['C:\\Hey-Luna_de_windows_v3_0_0\\Hallo-Luna_de_windows_v3_0_0.ppn'],
            model_path='C:\\Hey-Luna_de_windows_v3_0_0\\porcupine_params_de.pv'
        )

        sample_rate = porcupine.sample_rate
        print("Sample Rate:", sample_rate)

        pcm = record_audio(sample_rate=sample_rate, duration=3)
        keyword_index = porcupine.process(pcm)

        if keyword_index >= 0:
            print("Wake word detected!")
            porcupine.delete()
            return True
        else:
            print("Wake word not detected!")

    except pvporcupine.PorcupineError as e:
        print(f"Porcupine error: {e}")

    return False


def record_audio(sample_rate, duration):
    print("Aufnahme gestartet...")
    audio = sd.rec(int(sample_rate * duration), samplerate=sample_rate, channels=1, dtype='int16')
    sd.wait()
    print("Aufnahme beendet.")
    return audio.flatten()[:512]


def openai_request(prompt):
    response = openai.ChatCompletion.create(
        model=model_id,
        messages=prompt
    )

    api_usage = response['usage']
    print('Total Token consumed: {0}'.format(api_usage['total_tokens']))
    prompt.append({'role': response.choices[0].message.role, 'content': response.choices[0].message.content})
    return prompt


def speak(text):
    engine.say(text)
    engine.runAndWait()


def ausführen():
    recognizer = sr.Recognizer()

    while True:
        if picovoice_listen():
            with sr.Microphone() as source:
                q = recognize_speech(recognizer, source)
                print("Erkannter Text:", q)

                if q == "not_understood":
                    speak("Entschuldigung! Das habe ich nicht verstanden.")
                    continue

                elif "hallo" in q:
                    speak('Hallo! Womit kann ich dir behilflich sein?')
                    continue

                else:
                    prompt = [{'role': 'user', 'content': q}]
                    prompt = openai_request(prompt)
                    response = prompt[-1]['content']
                    speak(response)
                    return  # Programm beenden, nachdem die Antwort gesprochen wurde


if __name__ == '__main__':
    ausführen()

wenn ich nun aber das Programm ausführe und das Wake Word ("Hallo Luna") sage, kommt immer "Wake word not detected!" und dann wiederholt sich das ganze, egal wie oft ich das Wake word sage. Woran liegt das?

Freundliche Grüsse

...zur Frage

Wie kann ich in Java Sprachbefehle in einem String erkennen?

Ich erstelle im Moment einen Sprachassistent. Wenn das wake word gesagt wird, wird das darauffolgende in einen String gespeichert.

Gibt es eine effiziente Weise, in diesem String den Sprachbefehl zu erkennen?

Bis jetzt habe ich das mit if String.contains und dann ein paar Schlüsselwörtern gemacht. Jedoch ist das ziemlich aufwendig und total unübersichtlich.

Gibt es eine bessere Weise?

...zur Frage

Ist so ein Sprachassistent möglich?

Hallo,

ich habe mir als Projektarbeit vorgenommen einen Sprachassistenten, welcher von ChatGPT und Alexa betrieben wird zu bauen, der ausserdem oben das Wetter, das Datum und die Uhrzeit anzeigt. Dazu möchte ich folgende Dinge verwenden: Raspberry Pi, Mikrofon, Lautsprecher, Display, Messgerät fürs Wetter und andere Materialien für das Gehäuse, sowie Schrauben, Kabel,…

Meine Frage ist nun, ob das überhaupt möglich ist mit diesen Dingen einen Sprachassistenten zu bauen, der meine Kriterien erfüllt und ob man Alexa und ChatGPT verbinden kann damit er Probleme von dir lösen kann (ChatGPT) aber auch einfache Fragen, wie „wie wird das Wetter morgen“ beantworten kann (Alexa).

(Skizze vom Sprachassistenten)

...zur Frage

Eigenes Betriebssystem für Raspberry Pi?

Hallo,

ich habe einen Raspberry Pi gekauft und ihn mit einem Display verbunden. Mein Ziel nun ist es aber, dass, wenn ich den Pi einschalte, direkt ein Programm gestartet wird, welches dann auf dem Display angezeigt wird. Also dass man nicht zuerst den Homescreen des Pis sieht, sondern, dass es direkt zu diesem Programm geht. Wie kann ich das machen?

Freundliche Grüsse

...zur Frage

Wie kann ich ein Repl.it programm ausführen?

Hallo,

Ich habe ein Programm mit Repl.it Programmiert. Ich weiß man kann es auch bei repl.it selbst ausführen aber ich würde gerne es auch auf einem anderen Programm ausführen. (Ich Programmiere mit Lua)

Kann mir da bitte einer helfen? Danke im voraus

...zur Frage

Warum ist dieser Code so schlecht /funktioniert fast nicht?

Hallo, ich bin an einem Sprachassistenten dran und bin gerade bei der "Speech-to-Text" Funktion. Das ist mein bisheriger Code:

import speech_recognition as sr


def aufnahme():
    r = sr.Recognizer()

    with sr.Microphone() as quelle:
        r.pause_threshold = 0.8
        r.adjust_for_ambient_noise(quelle)
        gesagt = r.listen(quelle)

    try:

        q = r.recognize_google(gesagt, language="de")
        print("Recognized speech (Google):", q)
        return q

    except sr.UnknownValueError:
        print('Leider nicht verstanden (Google)')
        print("Recognized speech (Google):", r.recognize_google(gesagt, show_all=True, language="de"))

    except sr.RequestError as e:
        print(f'Fehler bei Sphinx-Erkennung: {e}')
        return "Ich warte auf Anweisungen"


# Call the function
result = aufnahme()
print(result)

Jedoch funktioniert er richtig schlecht, er versteht höchstens zwei Wörter und in 90% der Fälle kommt dieser Fehlercode:

Leider nicht verstanden (Google)

Traceback (most recent call last):

File "C:\Users\...\PycharmProjects\voiceAssistant\main.py", line 21, in aufnahme

q = r.recognize_google(gesagt, language="de")

File "C:\Users\...\lib\site-packages\speech_recognition\recognizers\google.py", line 251, in recognize_legacy

return output_parser.parse(response_text)

File "C:\Users\...\lib\site-packages\speech_recognition\recognizers\google.py", line 124, in parse

actual_result = self.convert_to_result(response_text)

File "C:\Users\....\lib\site-packages\speech_recognition\recognizers\google.py", line 173, in convert_to_result

raise UnknownValueError()

speech_recognition.exceptions.UnknownValueError

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

File "C:\Users\...\PycharmProjects\voiceAssistant\main.py", line 35, in <module>

result = aufnahme()

File "C:\Users\...\PycharmProjects\voiceAssistant\main.py", line 27, in aufnahme

print("Recognized speech (Google):", r.recognize_google(gesagt, show_all=True, language="de"))

File "C:\Users\...\lib\site-packages\speech_recognition\recognizers\google.py", line 251, in recognize_legacy

return output_parser.parse(response_text)

File "C:\Users\...\lib\site-packages\speech_recognition\recognizers\google.py", line 124, in parse

actual_result = self.convert_to_result(response_text)

File "C:\Users\...\lib\site-packages\speech_recognition\recognizers\google.py", line 173, in convert_to_result

raise UnknownValueError()

speech_recognition.exceptions.UnknownValueError

Process finished with exit code 1

Woran liegt das, soll ich eine andere Speech Recognition verwenden und wenn ja welche?

Vielen Dank im Voraus!

...zur Frage

Wo kann ich Tokens für GPT-4 kaufen?

Hallo,

ich programmiere gerade einen Sprachassistenten und wollte ihn nun mit GPT-4 verbinden, ich habe auf Shop - ChatGPT 50000 Tokens gekauft, doch wenn ich das Programm starte, steht, dass ich trotzdem keinen Zugriff auf GPT-4 habe. Muss ich die Tokens irgendwo anders kaufen?

Mein Code:

import openai
import pyttsx3
import re
import pyjokes
import speech_recognition as sr
from pyowm import OWM
import spotipy
from spotipy.oauth2 import SpotifyOAuth
import time
import random
import datetime
import pytz
from geopy.geocoders import Nominatim
from timezonefinder import TimezoneFinder


openai.api_key = 'sk-...'
model_id = "gpt-4"

engine = pyttsx3.init()


def recognize_speech():
    recognizer = sr.Recognizer()

    while True:
        with sr.Microphone() as source:
            print("Sage etwas...")
            audio = recognizer.listen(source, timeout=15)

        try:
            text = recognizer.recognize_google(audio, language="de-DE")
            print("Text: " + text)
            return text
        except sr.UnknownValueError:
            return "not_understood"
        except sr.RequestError as e:
            print(f"Fehler bei der Anfrage an die Google Web Speech API: {e}")
            return ""


def openai_request(prompt):
    response = openai.ChatCompletion.create(
        model=model_id,
        messages=prompt
    )

    api_usage = response['usage']
    print('Total Token consumed: {0}'.format(api_usage['total_tokens']))
    prompt.append({'role': response.choices[0].message.role, 'content': response.choices[0].message.content})
    return prompt


def speak(text):
    engine.say(text)
    engine.runAndWait()


def ausführen():
    while True:
        q = recognize_speech()
        print("Erkannter Text:", q)

        if q == "not_understood":
            speak("Entschuldigung! Das habe ich nicht verstanden.")
            break

        elif not q:
            break

        elif "hallo" in q:
            speak('Hallo! Womit kann ich dir behilflich sein?')
            break

        else:
            prompt = [{'role': 'user', 'content': q}]
            prompt = openai_request(prompt)
            response = prompt[-1]['content']
            speak(response)


if __name__ == '__main__':
    ausführen()

Fehlercode:

C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Scripts\python.exe C:\Users\User\PycharmProjects\voiceAssistant\main.py

Sage etwas...

Text: wann war der erste Weltkrieg

Erkannter Text: wann war der erste Weltkrieg

Traceback (most recent call last):

File "C:\Users\User\PycharmProjects\voiceAssistant\main.py", line 83, in <module>

ausführen()

File "C:\Users\User\PycharmProjects\voiceAssistant\main.py", line 77, in ausführen

prompt = openai_request(prompt)

^^^^^^^^^^^^^^^^^^^^^^

File "C:\Users\User\PycharmProjects\voiceAssistant\main.py", line 43, in openai_request

response = openai.ChatCompletion.create(

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

File "C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Lib\site-packages\openai\api_resources\chat_completion.py", line 25, in create

return super().create(*args, **kwargs)

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

File "C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Lib\site-packages\openai\api_resources\abstract\engine_api_resource.py", line 153, in create

response, _, api_key = requestor.request(

^^^^^^^^^^^^^^^^^^

File "C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Lib\site-packages\openai\api_requestor.py", line 298, in request

resp, got_stream = self._interpret_response(result, stream)

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

File "C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Lib\site-packages\openai\api_requestor.py", line 700, in _interpret_response

self._interpret_response_line(

File "C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Lib\site-packages\openai\api_requestor.py", line 765, in _interpret_response_line

raise self.handle_error_response(

openai.error.InvalidRequestError: The model `gpt-4` does not exist or you do not have access to it. Learn more: https://help.openai.com/en/articles/7102672-how-can-i-access-gpt-4.

Process finished with exit code 1

Freundliche Grüsse

...zur Frage

PyCharm Projekt auf Rasperry Pi laden?

Guten Tag,

ich habe auf PyCharm mit Python einen Sprachassistenten gebaut und wollte ihn nun auf einen Raspberry Pi laden. Muss ich denn Code auf eine SD-Karte laden und ihn in den Pi stecken oder wie kann ich das am besten machen?

Freundliche Grüsse

...zur Frage

Warum Funktioniert mein Wake Word nicht?

Hallo,

ich programmiere gerade einen Sprachassistenten und bin gerade am Wake Word dran. Mein Code sieht so aus:

import openai
import pyttsx3
import re
import pyjokes
import speech_recognition as sr
from pyowm import OWM
import spotipy
from spotipy.oauth2 import SpotifyOAuth
import time
import random
import datetime
import pytz
from geopy.geocoders import Nominatim
from timezonefinder import TimezoneFinder
import sounddevice as sd
import pvporcupine

openai.api_key = 'sk-...'
model_id = "gpt-4"

engine = pyttsx3.init()

WAKE_WORD_MODEL_FILE_PATH = "C:\\Hey-Luna_de_windows_v3_0_0\\Hey-Luna_de_windows_v3_0_0.ppn"


def recognize_speech():
    recognizer = sr.Recognizer()

    while True:
        with sr.Microphone() as source:
            print("Sage etwas...")
            audio = recognizer.listen(source, timeout=15)

        try:
            text = recognizer.recognize_google(audio, language="de-DE")
            print("Text: " + text)
            return text
        except sr.UnknownValueError:
            return "not_understood"
        except sr.RequestError as e:
            print(f"Fehler bei der Anfrage an die Google Web Speech API: {e}")
            return ""


def record_audio(sample_rate, duration):
    print("Aufnahme gestartet...")
    audio = sd.rec(int(sample_rate * duration), samplerate=sample_rate, channels=1, dtype='int16')
    sd.wait()
    print("Aufnahme beendet.")
    return audio.flatten()


def picovoice_listen():
    keyword_file_path = "C:\\Hey-Luna_de_windows_v3_0_0\\Hey-Luna_de_windows_v3_0_0.ppn"
    sensitivities = [0.5]  # Adjust as needed

    try:
        handle = pvporcupine.create(
            keyword_paths=[keyword_file_path],
            sensitivities=sensitivities,
            access_key='...'
        )

        sample_rate = handle.sample_rate

        while True:
            pcm = record_audio(sample_rate=sample_rate, duration=15)
            keyword_index = handle.process(pcm)

            if keyword_index >= 0:
                print("Wake word detected!")
                break

    except pvporcupine.PorcupineError as e:
        print(f"Porcupine error: {e}")

    finally:
        if 'handle' in locals():
            handle.delete()


def openai_request(prompt):
    response = openai.ChatCompletion.create(
        model=model_id,
        messages=prompt
    )

    api_usage = response['usage']
    print('Total Token consumed: {0}'.format(api_usage['total_tokens']))
    prompt.append({'role': response.choices[0].message.role, 'content': response.choices[0].message.content})
    return prompt


def speak(text):
    engine.say(text)
    engine.runAndWait()


def ausführen():
    while True:
        picovoice_listen()

        q = recognize_speech()
        print("Erkannter Text:", q)

        if q == "not_understood":
            speak("Entschuldigung! Das habe ich nicht verstanden.")
            break

        elif not q:
            break

        elif "hallo" in q:
            speak('Hallo! Womit kann ich dir behilflich sein?')
            continue

        else:
            prompt = [{'role': 'user', 'content': q}]
            prompt = openai_request(prompt)
            response = prompt[-1]['content']
            speak(response)
            break


if __name__ == '__main__':
    ausführen()

wenn ich nun aber das Programm ausführe, kommt diese Meldung und ich muss das Wake Word nicht sagen, um meine Frage zu stellen, welche dann von z.B. OpenAI beantwortet wird:

C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Scripts\python.exe C:\Users\User\PycharmProjects\voiceAssistant\main.py

Porcupine error: Initialization failed:

[0] Keyword file (.ppn) and model file (.pv) should belong to the same language. File belongs to `de` while model file (.pv) belongs to `en`.

Sage etwas...

woran liegt das?

Freundliche Grüsse

...zur Frage

Warum funktioniert mein Code auf dem Raspberry Pi nicht?

Hallo,

Ich programmiere gerade einen Sprachassistenten und auf meinem Windows PC hat alles super funktioniert, aber als ich das Programm auf den Pi geladen und das Programm gestartet habe, kam diese Fehlermeldung:

Traceback (most recent call last):

File "/home/grafjulian08/PycharmProjects/voiceAssistant/main.py", line 1164, in <module>

execute()

File "/home/grafjulian08/PycharmProjects/voiceAssistant/main.py", line 658, in execute

if detect_wake_word(): # Falls das Wake-Word erkannt wurde

^^^^^^^^^^^^^^^^^^

File "/home/grafjulian08/PycharmProjects/voiceAssistant/main.py", line 139, in detect_wake_word

recognizer.adjust_for_ambient_noise(source) # Hintergrundgeräusche anpassen

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

File "/home/grafjulian08/PycharmProjects/voiceAssistant/.venv/lib/python3.11/site-packages/speech_recognition/__init__.py", line 389, in adjust_for_ambient_noise

assert source.stream is not None, "Audio source must be entered before adjusting, see documentation for ``AudioSource``; are you using ``source`` outside of a ``with`` statement?"

^^^^^^^^^^^^^^^^^^^^^^^^^

AssertionError: Audio source must be entered before adjusting, see documentation for ``AudioSource``; are you using ``source`` outside of a ``with`` statement?

Ich habe ein gutes Mikrofon am Pi, welches auch funktioniert, und ich habe schon viel am Code geändert, aber es geht nicht weg. Woran kann das sonst liegen?

Wenn ich Teile meines Codes zeigen soll, könnt ihr das sagen.

Freundliche Grüsse

...zur Frage

Wie funktioniert Rekursion(Python)?

Ich versuche gerade zu verstehen, wie Rekursion funktioniert und bin dann auf die Fakultät gestoßen, die man ja rekursiv programmieren kann. Ich verstehe irgendwie nicht, wieso das überhaupt funktioniert, also ich kann dem Programm nicht wirklich folgen. Bei Iteration weiß ich genau was das Programm macht, aber bei Rekursion, weiß ich nicht mal wieso das funktioniert. Ich habe jetzt mal die Fakultätsfunktion programmiert:

def factorial(n):
    if n == 1:
        return 1
    else:
        b = nfactorial(n-1) print(b) return b

Das Programm gibt mir jetzt durch das "Print" so Zwischenergebnisse und ich kann nicht nachvollziehen, wieso es(z.B. bei Fak(4)) zuerst 12, dann12* 3 und erst zuletzt 1234 berechnet und nicht andersrum. Ich weiß, dass laut Definition Rekursion so funktioniert, also mit Rückeinsetzung, aber am Programm kann ich das nirgendwo erkennen.

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen