KI Unterstütztes Coding?

Hey Leute,

Mit den großen Fortschritten in KI wie GPT4 die wir aktuell erleben, hatte ich vor Kurzem eine Überlegung:

Programmieren via Sprach Befehl.

1. Speech-to-Text

2. Text wird von einer KI erkannt und interpretiert

3. KI Verwandelt deine Anweisung in Code

Gibts dazu schon Forschung? Wenn ja würde ich da gerne ein paper lesen.

Denkt ihr man kann eine KI gut genug trainieren um zuverlässig funktionierenden Code zu bekommen?

Das würde solche Berufe für viele Menschen zugänglicher machen.

2 Antworten

apophis

06.05.2024, 01:37

Da gibt es bereits fertige Programme für, da braucht man kein GPT4 für.
Serenade zum Beispiel: https://serenade.ai/
Im Vorstellungsvideo auf der Website wird gezeigt, wie man damit gänzlich per Stimme coden kann.

Ich selbst schreibe aktuell meine Bachelorarbeit über das Thema. Dabei erstelle ich einen Sprachassistenten, der so ähnlich wie Serenade funktioniert (natürlich nicht so umfangreich) und sich darauf fokussiert wiederkehrende Arbeiten die das Erstellen von Programmstrukturen abzukürzen.

Als ganz simples Beispiel gibt es einen Befehl mit dem die Struktur einer For-Schleife automatisch erstellt wird, sodass man die nicht immer und immer wieder per Hand oder Copy Paste eingeben muss.

Devrunrik

05.05.2024, 20:57

Simplen code ja, aber keinen komplexen code ( das wird noch 100 jahre dauern😅 )

Woher ich das weiß:Hobby – Ich mag Animes/Mangas und Programmiere Spiele

RandomName01

Fragesteller

05.05.2024, 21:06

100 Jahre? Vor wenigen Jahren haben wir das selbe über multi-disziplinäre Sprachmodelle gesagt.

Naive Frage: Worin liegt die Schwierigkeit bei komplexem Code

Müsste eine KI nicht besser darin sein die Übersicht zu behalten

Devrunrik

05.05.2024, 21:09

@RandomName01

Die schwierigkeit ist, dass wenn der code 1000 zeilen lang ist, dass die KI irgendwas schreiben würde was keinen sinn ergibt. Sie muss sich den code jede 10 Zeilen kontrollieren dass es auch passt, weil sie kann sich das nicht alles merken.

Ähnliche Fragen

Mit KI Lippen von Bild bewegen lassen?

Ich möchte KI generierte Bilder von fiktiven Personen zum Leben „erwecken“ indem ich sie einen Text von einer text-to-speech KI vorlesen lasse. Dabei sollen sich die Lippen bzw. die Mimik des Gesichts mitbewegen.

Mit welcher Software bzw KI kann ich dies realisieren? Ich bin auf wav2lipsync gestoßen, dies funktioniert allerdings nur mit Videos. Nicht mit Bildern.

...zur Frage

Wo kann ich Tokens für GPT-4 kaufen?

Hallo,

ich programmiere gerade einen Sprachassistenten und wollte ihn nun mit GPT-4 verbinden, ich habe auf Shop - ChatGPT 50000 Tokens gekauft, doch wenn ich das Programm starte, steht, dass ich trotzdem keinen Zugriff auf GPT-4 habe. Muss ich die Tokens irgendwo anders kaufen?

Mein Code:

import openai
import pyttsx3
import re
import pyjokes
import speech_recognition as sr
from pyowm import OWM
import spotipy
from spotipy.oauth2 import SpotifyOAuth
import time
import random
import datetime
import pytz
from geopy.geocoders import Nominatim
from timezonefinder import TimezoneFinder


openai.api_key = 'sk-...'
model_id = "gpt-4"

engine = pyttsx3.init()


def recognize_speech():
    recognizer = sr.Recognizer()

    while True:
        with sr.Microphone() as source:
            print("Sage etwas...")
            audio = recognizer.listen(source, timeout=15)

        try:
            text = recognizer.recognize_google(audio, language="de-DE")
            print("Text: " + text)
            return text
        except sr.UnknownValueError:
            return "not_understood"
        except sr.RequestError as e:
            print(f"Fehler bei der Anfrage an die Google Web Speech API: {e}")
            return ""


def openai_request(prompt):
    response = openai.ChatCompletion.create(
        model=model_id,
        messages=prompt
    )

    api_usage = response['usage']
    print('Total Token consumed: {0}'.format(api_usage['total_tokens']))
    prompt.append({'role': response.choices[0].message.role, 'content': response.choices[0].message.content})
    return prompt


def speak(text):
    engine.say(text)
    engine.runAndWait()


def ausführen():
    while True:
        q = recognize_speech()
        print("Erkannter Text:", q)

        if q == "not_understood":
            speak("Entschuldigung! Das habe ich nicht verstanden.")
            break

        elif not q:
            break

        elif "hallo" in q:
            speak('Hallo! Womit kann ich dir behilflich sein?')
            break

        else:
            prompt = [{'role': 'user', 'content': q}]
            prompt = openai_request(prompt)
            response = prompt[-1]['content']
            speak(response)


if __name__ == '__main__':
    ausführen()

Fehlercode:

C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Scripts\python.exe C:\Users\User\PycharmProjects\voiceAssistant\main.py

Sage etwas...

Text: wann war der erste Weltkrieg

Erkannter Text: wann war der erste Weltkrieg

Traceback (most recent call last):

File "C:\Users\User\PycharmProjects\voiceAssistant\main.py", line 83, in <module>

ausführen()

File "C:\Users\User\PycharmProjects\voiceAssistant\main.py", line 77, in ausführen

prompt = openai_request(prompt)

^^^^^^^^^^^^^^^^^^^^^^

File "C:\Users\User\PycharmProjects\voiceAssistant\main.py", line 43, in openai_request

response = openai.ChatCompletion.create(

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

File "C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Lib\site-packages\openai\api_resources\chat_completion.py", line 25, in create

return super().create(*args, **kwargs)

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

File "C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Lib\site-packages\openai\api_resources\abstract\engine_api_resource.py", line 153, in create

response, _, api_key = requestor.request(

^^^^^^^^^^^^^^^^^^

File "C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Lib\site-packages\openai\api_requestor.py", line 298, in request

resp, got_stream = self._interpret_response(result, stream)

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

File "C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Lib\site-packages\openai\api_requestor.py", line 700, in _interpret_response

self._interpret_response_line(

File "C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Lib\site-packages\openai\api_requestor.py", line 765, in _interpret_response_line

raise self.handle_error_response(

openai.error.InvalidRequestError: The model `gpt-4` does not exist or you do not have access to it. Learn more: https://help.openai.com/en/articles/7102672-how-can-i-access-gpt-4.

Process finished with exit code 1

Freundliche Grüsse

...zur Frage

Gibt es hier Programmierer die um Ihre Existenz fürchten?

Nvidia Chef:

"Kinder müssen nicht mehr programmieren lernen!"

Er bezieht sich darauf das von nun an alles die KI erledigen wird, bzw. die Komplexen Dinge vorerst.

Quelle: https://winfuture.de/news,141424.html

Ich stelle diese Frage aus dem Grund weil das Programmieren / Coden eigentlich immer ein Zukunftsorientierter Job gewesen ist. Technik entwickelt sich weiter und kluge Köpfe werden in diesem Bereich immer gebraucht.

Was aber nun?

Wenn ich der einfachen KI ChatGPT sage das ich einen Code in C++ bräuchte für dies oder jenes, so bekomme ich diesen in 2 Sekunden.

Sind menschliche Programmierer bald überflüssig? Bzw. sind Sie es jetzt schon?

Sehr sehr traurig...

...zur Frage

Text auf KI überprüfen?

Hi, kann mir jemand sagen wie ich es prüfen kann ob ein Text selbst geschrieben ist oder von einer ki

...zur Frage

Eigene KI erstellen?

Hallo,

ich würde gerne ein Projekt starten indem ich meine eigene KI erstelle, zum Beispiel eine die Text in Bilder umwandelt oder Töne.

Ich habe nicht viel Erfahrung mit irgendeiner Art von Coding aber würde gerne damit anfangen.

Meine Systemeigenschaften sind;

CPU: i7-12700F

GPU: RTX 3060Ti

Ram: 32Gb 3600Mhz DDR4

Würde das alles auch auf einer 970 Evo laufen lassen.

Meine CPU kommt auch nicht über 63° bei 100% Auslastung.

...zur Frage

Ki auf Raspberry Pi?

Hallo Leute ich habe ein Video bei YouTube gesehen wo einer einen gpt voice assistent in Python Code auf einen Raspberry Pi installiert und benutzt. Ich habe dass mal ausprobiert aus Spaß und hätte gerne gewusst wie man 1. Eine weibliche Stimme statt einer Männlichen Stimme benutzen kann und 2. Die Sprachausgabe in Deutsch einstellen kann habe den Python Code mal hier rein kopiert hoffe ihr könnt mir helfen. Ein paar Sachen habe ich wie zum Beispiel language en auf de umgestellt leider klappt dass nicht so ganz.

Danke im vorraus

import os

import openai

from dotenv import load_dotenv

import time

import speech_recognition as sr

import pyttsx3

import numpy as np

from gtts import gTTS

import subprocess

mytext = 'Welcome to me'

language = 'en'

# from os.path import join, dirname

# import matplotlib.pyplot as plt

# ^ matplotlib is great for visualising data and for testing purposes but usually not needed for production

openai.api_key=' '

load_dotenv()

model = 'gpt-3.5-turbo'

# Set up the speech recognition and text-to-speech engines

r = sr.Recognizer()

engine = pyttsx3.init("dummy")

voice = engine.getProperty('voices')[1]

engine.setProperty('voice', voice.id)

name = "YOUR NAME HERE"

greetings = [f"whats up master {name}",

"yeah?",

"Well, hello there, Master of Puns and Jokes - how's it going today?",

f"Ahoy there, Captain {name}! How's the ship sailing?",

f"Bonjour, Monsieur {name}! Comment ça va? Wait, why the hell am I speaking French?" ]

# Listen for the wake word "hey pos"

def listen_for_wake_word(source):

print("Listening for 'Hey'...")

while True:

audio = r.listen(source)

try:

text = r.recognize_google(audio)

if "hey" in text.lower():

print("Wake word detected.")

engine.say(np.random.choice(greetings))

engine.runAndWait()

listen_and_respond(source)

break

except sr.UnknownValueError:

pass

# Listen for input and respond with OpenAI API

def listen_and_respond(source):

print("Listening...")

while True:

audio = r.listen(source)

try:

text = r.recognize_google(audio)

print(f"You said: {text}")

if not text:

continue

# Send input to OpenAI API

response = openai.ChatCompletion.create(model="gpt-3.5-turbo", messages=[{"role": "user", "content": f"{text}"}])

response_text = response.choices[0].message.content

print(response_text)

#myobj = gTTS(text = response_text, lang = language, slow = False)

#myobj.save("test.wav")

#os.system("aplay test.wav")

# Speak the response

print("speaking")

os.system("espeak ' "+response_text + "'")

engine.say(response_text)

engine.runAndWait()

if not audio:

listen_for_wake_word(source)

except sr.UnknownValueError:

time.sleep(2)

print("Silence found, shutting up, listening...")

listen_for_wake_word(source)

break

except sr.RequestError as e:

print(f"Could not request results; {e}")

engine.say(f"Could not request results; {e}")

engine.runAndWait()

listen_for_wake_word(source)

break

# Use the default microphone as the audio source

with sr.Microphone() as source:

listen_for_wake_word(source)

...zur Frage

Kann man von Menschen verfasste Nachrichten, Texte sowie Statements von der einer KI/AI unterscheiden?

Ist ja brandaktuell das Thema. KI/AI wird ja auch immer besser - ist ja lernfähig...

Dennoch hab ich mich gefragt, ob es möglich ist bzw. irgedwann noch möglich sein wird zu unterscheiden, ob ein Text von einer KI generiert wurde oder von einem Menschen verfasst? Wir gehen natürlich vom höchsten Standard aus, den ein "normaler Bürger" zur Verfügung haben kann...

Falls es tatsächlich irgedwann nicht mehr möglich ist, KI vom "Mensch" zu unterscheiden, wie seht ihr diese Entwicklung?

...zur Frage

Warum Funktioniert mein Wake Word nicht?

Hallo,

ich programmiere gerade einen Sprachassistenten und bin gerade am Wake Word dran. Mein Code sieht so aus:

import openai
import pyttsx3
import re
import pyjokes
import speech_recognition as sr
from pyowm import OWM
import spotipy
from spotipy.oauth2 import SpotifyOAuth
import time
import random
import datetime
import pytz
from geopy.geocoders import Nominatim
from timezonefinder import TimezoneFinder
import sounddevice as sd
import pvporcupine

openai.api_key = 'sk-...'
model_id = "gpt-4"

engine = pyttsx3.init()

WAKE_WORD_MODEL_FILE_PATH = "C:\\Hey-Luna_de_windows_v3_0_0\\Hey-Luna_de_windows_v3_0_0.ppn"


def recognize_speech():
    recognizer = sr.Recognizer()

    while True:
        with sr.Microphone() as source:
            print("Sage etwas...")
            audio = recognizer.listen(source, timeout=15)

        try:
            text = recognizer.recognize_google(audio, language="de-DE")
            print("Text: " + text)
            return text
        except sr.UnknownValueError:
            return "not_understood"
        except sr.RequestError as e:
            print(f"Fehler bei der Anfrage an die Google Web Speech API: {e}")
            return ""


def record_audio(sample_rate, duration):
    print("Aufnahme gestartet...")
    audio = sd.rec(int(sample_rate * duration), samplerate=sample_rate, channels=1, dtype='int16')
    sd.wait()
    print("Aufnahme beendet.")
    return audio.flatten()


def picovoice_listen():
    keyword_file_path = "C:\\Hey-Luna_de_windows_v3_0_0\\Hey-Luna_de_windows_v3_0_0.ppn"
    sensitivities = [0.5]  # Adjust as needed

    try:
        handle = pvporcupine.create(
            keyword_paths=[keyword_file_path],
            sensitivities=sensitivities,
            access_key='...'
        )

        sample_rate = handle.sample_rate

        while True:
            pcm = record_audio(sample_rate=sample_rate, duration=15)
            keyword_index = handle.process(pcm)

            if keyword_index >= 0:
                print("Wake word detected!")
                break

    except pvporcupine.PorcupineError as e:
        print(f"Porcupine error: {e}")

    finally:
        if 'handle' in locals():
            handle.delete()


def openai_request(prompt):
    response = openai.ChatCompletion.create(
        model=model_id,
        messages=prompt
    )

    api_usage = response['usage']
    print('Total Token consumed: {0}'.format(api_usage['total_tokens']))
    prompt.append({'role': response.choices[0].message.role, 'content': response.choices[0].message.content})
    return prompt


def speak(text):
    engine.say(text)
    engine.runAndWait()


def ausführen():
    while True:
        picovoice_listen()

        q = recognize_speech()
        print("Erkannter Text:", q)

        if q == "not_understood":
            speak("Entschuldigung! Das habe ich nicht verstanden.")
            break

        elif not q:
            break

        elif "hallo" in q:
            speak('Hallo! Womit kann ich dir behilflich sein?')
            continue

        else:
            prompt = [{'role': 'user', 'content': q}]
            prompt = openai_request(prompt)
            response = prompt[-1]['content']
            speak(response)
            break


if __name__ == '__main__':
    ausführen()

wenn ich nun aber das Programm ausführe, kommt diese Meldung und ich muss das Wake Word nicht sagen, um meine Frage zu stellen, welche dann von z.B. OpenAI beantwortet wird:

C:\Users\User\PycharmProjects\voiceAssistant\venv\interpreter\Scripts\python.exe C:\Users\User\PycharmProjects\voiceAssistant\main.py

Porcupine error: Initialization failed:

[0] Keyword file (.ppn) and model file (.pv) should belong to the same language. File belongs to `de` while model file (.pv) belongs to `en`.

Sage etwas...

woran liegt das?

Freundliche Grüsse

...zur Frage

Wo gibt man Spielcode ein?

ich hab von ChatGBT ein Spielcode bekommen. Ich hab natürlich gefragt ob die KI mir ein Spiel erstellen kann. Ich hab jetzt ein Code, wo gebe ich den aber ein?

...zur Frage

Gilt die Verwendung von KI bei der Programmierung als Plagiat/Betrug?

Ich möchte demnächst mit meiner Bachelor Arbeit Anfang und dazu muss ich ein Programm erstellen. Ich habe zwar schon etwas angefangen, benutze dabei aber die Hilfe von ChatGPT, sprich ich erkläre der KI was ich an Code brauche und diesen bekomme ich dann auch. Den Code, den ich bekomme passe ich aber dann immer noch an, also Änderung der variablen Benennung, einfügen oder entfernen von Codeschnipseln oder ganzen Zeilen usw. Ich verstehe auch den ganzen Code und kann ihn erklären. Gilt das schon als Plagiat/Betrug oder ist es in diesem Fall in Ordnung ein Programm mit Hilfe von KI zu erstellen?

Die Arbeit selbst wird natürlich ohne KI geschrieben.

...zur Frage

Warum wird das Wake Word nicht erkannt?

Hallo,

ich programmiere momentan einen Sprachassistenten und bin gerade am Wake Word dran. Mein Code sieht so aus:

import pyttsx3
import re
import pyjokes
import speech_recognition as sr
from pyowm import OWM
import spotipy
from spotipy.oauth2 import SpotifyOAuth
import time
import random
import datetime
import pytz
from geopy.geocoders import Nominatim
from timezonefinder import TimezoneFinder
import sounddevice as sd
import pvporcupine
import openai

openai.api_key = 'sk-...'
model_id = "gpt-4"

engine = pyttsx3.init()


def recognize_speech(recognizer, source):
    print("Sage etwas...")
    audio = recognizer.listen(source, timeout=15)
    try:
        text = recognizer.recognize_google(audio, language="de-DE")
        print("Text: " + text)
        return text
    except sr.UnknownValueError:
        return "not_understood"
    except sr.RequestError as e:
        print(f"Fehler bei der Anfrage an die Google Web Speech API: {e}")
        return ""


def picovoice_listen():
    keyword_file_path = "C:\\Hey-Luna_de_windows_v3_0_0\\Hallo-Luna_de_windows_v3_0_0.ppn"
    sensitivities = [0.7]

    try:
        porcupine = pvporcupine.create(
            access_key='...',
            keyword_paths=['C:\\Hey-Luna_de_windows_v3_0_0\\Hallo-Luna_de_windows_v3_0_0.ppn'],
            model_path='C:\\Hey-Luna_de_windows_v3_0_0\\porcupine_params_de.pv'
        )

        sample_rate = porcupine.sample_rate
        print("Sample Rate:", sample_rate)

        pcm = record_audio(sample_rate=sample_rate, duration=3)
        keyword_index = porcupine.process(pcm)

        if keyword_index >= 0:
            print("Wake word detected!")
            porcupine.delete()
            return True
        else:
            print("Wake word not detected!")

    except pvporcupine.PorcupineError as e:
        print(f"Porcupine error: {e}")

    return False


def record_audio(sample_rate, duration):
    print("Aufnahme gestartet...")
    audio = sd.rec(int(sample_rate * duration), samplerate=sample_rate, channels=1, dtype='int16')
    sd.wait()
    print("Aufnahme beendet.")
    return audio.flatten()[:512]


def openai_request(prompt):
    response = openai.ChatCompletion.create(
        model=model_id,
        messages=prompt
    )

    api_usage = response['usage']
    print('Total Token consumed: {0}'.format(api_usage['total_tokens']))
    prompt.append({'role': response.choices[0].message.role, 'content': response.choices[0].message.content})
    return prompt


def speak(text):
    engine.say(text)
    engine.runAndWait()


def ausführen():
    recognizer = sr.Recognizer()

    while True:
        if picovoice_listen():
            with sr.Microphone() as source:
                q = recognize_speech(recognizer, source)
                print("Erkannter Text:", q)

                if q == "not_understood":
                    speak("Entschuldigung! Das habe ich nicht verstanden.")
                    continue

                elif "hallo" in q:
                    speak('Hallo! Womit kann ich dir behilflich sein?')
                    continue

                else:
                    prompt = [{'role': 'user', 'content': q}]
                    prompt = openai_request(prompt)
                    response = prompt[-1]['content']
                    speak(response)
                    return  # Programm beenden, nachdem die Antwort gesprochen wurde


if __name__ == '__main__':
    ausführen()

wenn ich nun aber das Programm ausführe und das Wake Word ("Hallo Luna") sage, kommt immer "Wake word not detected!" und dann wiederholt sich das ganze, egal wie oft ich das Wake word sage. Woran liegt das?

Freundliche Grüsse

...zur Frage

Lohnt es sich noch programmieren zu lernen wenn ai diesen Beruf später sowieso übernehmen wird?

...zur Frage

Gibt es so eine KI?

Gibt es eine KI die nicht zurück verfolgt werden kann weil bei chat gpt kann man die KI fragen ob sie diesen text verfasst hat und das möchte ich nicht deshalb gibt es eine KI die das nicht kann?

...zur Frage

Welche KI kann Python und Django?

Moin welche KI kann am besten Python und Django Befehle und Code generieren?

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen