Passt der Pseudocode zu dem Algorithmus (n-step SARSA)?

Vielleicht sagt n-step SARSA ja dem einen oder anderem was, falls nicht, hier die Kurzfassung: Es geht um Reinforcement Learning. Pro Zeitschritt kann man eine Action nehmen und bekommt dafür einen Reward. Bei n-step SARSA summiert die Rewards für n Schritte auf und berechnet dann "wie gut" der aktuelle Stand so ist indem man den aufsummierten Reward mit dem zu noch zu erwartenden Reward (bis man am Ziel ist) addiert.

So sieht anscheinend der Code dazu aus:

Bild zum Beitrag

Hier mal ein Beispiel:

Bild zum Beitrag

Man bekommt immer 0 Reward außer wenn man im Ziel (G) ankommt. Weil man über 10 Schritte aufsummiert hat, wird die Info 10 Schritte nach hinten "übermittelt". Macht total Sinn. Was ich aber an dem Code nicht check ist der r > 0 check.

Angenommen n = 10, dann passiert das erste update bei r = 9-10+1 = 0

Also t = 9, in dem Bild aber schon bei t = 7 (was meiner Meinung nach auch richtig ist)

Laut code wird ja V(S_r) angepasst, warum aber nicht V(S_t)? Ich hab dann ja ausgehen von t n Rewards gesammelt, sodass ich dann den Stand zum Zeitpunkt t anpassen sollte?

Und wenn man jetzt z.B. einen schnelleren Weg zum Ziel findet, von mir aus in 6 Schritte, würde r = 5 - 10 + 1 = -4 sein und macht nie ein Update. Das kann nicht stimmen, der Wer müsste dann einfach die Summe der Rewards von t=0 bis t=5 sein (Dafür ist auch der r+n < T check).

Bin ich irgendwie lost grad oder stimmt da echt was nicht?

2 Antworten

KarlRanseierIII

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

programmieren, Algorithmus, Programmieren & Softwareentwicklung

05.08.2023, 03:16

Vielleicht sagt n-step SARSA ja dem einen oder anderem was

Bisher nicht.

Wenn ich es richtig verstehe, dann soll ja n Schritte Lookahead gemacht werden. Das wird hier so realisirt, daß ich wenn ich 10 Schritte weiter bin V von vor 10 Schritten aktualisiere. D.h. ab t=9 (10. Schritt) aktulisiere ich Rückliegendes. t=9 aktualisiert Tau 0. (Allerdings ist G noch 0)

Für t=16 behandle Ich R_17 und S_17, S_17 ist Terminal und T=17. Beachte, die Schleife läuft also bis Tau=16 (Das wird für t=25 erreicht). Jetzt, bei t=16 ist G das erste mal ungleich 0. Da Tau 7 ist, aktualisiere ich eben auch V(S_Tau)) indem ich es ein wenig Richtugn G schiebe. In den nächsten Schritten passiert das gleiche für Tau=8, Tau=9 ... bis Tau=16 - Das sind die markierten Felder im Bild ganz rechts.

mathesehrschwer

Fragesteller

05.08.2023, 10:33

Ja macht Sinn. Ich dachte irgendwie dass der Algorithmus aufhört nach t = 17 wenn man im Ziel ist, aber man lässt das noch n Schritte laufen

Danke :)

KarlRanseierIII

05.08.2023, 21:59

@mathesehrschwer

Bitte,

J0T4T4

05.08.2023, 07:37

Nice, ich hab deine Frage überhaupt nicht verstanden, weil du r statt τ verwendet hast. Ich dachte, du meinst irgendwelche Rewards.

Schau dir noch einmal die Abbruchbedingung des Loops an. Es wird immer so lange geloopt, bis τ den terminal state zum Zeitpunkt T erreicht. Die Zeile verhindert nur, dass States zu negativen Timesteps geupdatet werden - weil sie eben sinnlos sind, wenn man bei 0 anfängt.

Woher ich das weiß:Studium / Ausbildung – Trust me, I'm an engineer

Hi, ich habe eine Aufgabe, bei der ich schon die Aufgabenstellung nicht verstehe, geschweige denn, die Aufgabe selbst.

Aufgabe: (Methode: toDoubleArray)

Modifikatoren: public und static, Rückgabetyp: double-Array , Methodenname: toDoubleArray , Übergabeparameter: String

Schreibe eine Methode, die ein double-Array erzeugt und es mit den einzelnen Zeichen (char) aus dem String befüllt.
Allerdings werden diese Werte vor Zuweisung noch nach double gecastet. Anschließend wird das double-Array zurück gegeben.

Beispiel: Der Aufruf toDoubleArray("Hallo") liefert ein Array, das folgendermaßen befüllt ist: [72.0, 97.0, 108.0, 108.0, 111.0]

Das casten verstehe ich. Ist ja nur eine Typumwandlung von char nach double und geschieht automatisch, weil char in double passt. Hier ein Beispiel:

public static void main(String [] args) {	

		char t = 'a';

		System.out.println(t);
        System.out.println((double) t);
  }
}		

Ausgabe : a
          97.0

> char als Buchstabe und als Zahl

Wie soll ich jetzt den ersten Teil der Aufgabe machen, also die Zeichen (char) aus dem String ins Array bringen????

Wie füge ich die Zeichen in erster Linie ins Array?

...zur Frage

Bäume/Informatik/Tiefensuche: Wie funktioniert die in-order-Traversierung?

Ich verstehe die in-order bei der Traversierung nicht ganz. Zumindest nicht im Code.

Man fängt bei der 5 an und läuft rekursiv bis zur 1, also immer nach links. Danach gebe ich die 1 aus. Danach würde die 3 ausgegeben werden, sprich man klettert wieder hoch.

Ich verstehe nicht, wie das Hochklettern funktioniert. Weil nach der 1 würde man doch nach rechts springen wollen, was nicht geht, weil die 1 keine Kinder hat. Dasselbe nachdem ich die 1-3. und die 4 ausgegeben habe: Wie springe ich wieder hoch zur 5?

Also im Pseudocode verstehe ich das Prinzip schon. Immer links, Wurzel, rechts. Aber im richtigen Code nicht.

Ich habe diesen Codeabschnitt von ChatGPT:

def in_order_traversal(root):
  if root is not None:
    # Zuerst den linken Teilbaum durchlaufen
    in_order_traversal(root.left)

    # Dann den Wurzelknoten besuchen
    print(root.value)

    # Schließlich den rechten Teilbaum durchlaufen
    in_order_traversal(root.right)

...zur Frage

Pseudocode, größte Zahl ausgeben ohne Array?

Hi, ich habe von meinem Dozenten Folgende Aufgabe bekommen, ich soll bei den Algorithmen "max6" (1-6) und "max9" (1-9) jeweils die größte Zahl ausgeben lassen ohne einen Array zu verwenden. Stehe da etwas auf den Schlauch, irgenwelche Lösungsansätze?

...zur Frage

Pseudocode für Listenüberprüfung?

Hallo, ich brauche einen Pseudocode für folgendes Szenario:

Ich habe eine liste mit N Elementen und jetzt soll diese Liste nach beispielsweise dem Wort "Katze" durchsucht werden. Aber es soll nicht alles nacheinander passieren sondern jedes Element soll synchron abgefragt werden.

Ob das schlau ist oder nicht ist erstmal egal.

Kann mir da wer weiterhelfen?

...zur Frage

Kannst du mir Zeile 7 erklären auf deutsch?

Bis Zeile 6 verstehe ich. Danach wird mir schwindelig. Sagen wir i ist größer als j. Dann rückt i eins vor. Dann ist die zweite Stelle jetzt i.

Direkt danach wird in Zeile 7 aber gesagt i = i - 1

Also wäre wieder die erste Stelle i und dann steht da dass die zweite Stelle also i+1 der neue key wäre. Aber ich habe den doch schon kontrolliert!

...zur Frage

Wie löse ich diesen Python-Loop am besten?

Hallo,

in folgendem Loop, bei dem my_list eine Liste aus Objekten ist

for x in my_list:
  if x["key"] == 10:
    print("Tue etwas")

weiß ich, dass sobald x["key"] einmal 10 ist, alle folgenden Einträge auch 10 sein werden. Wie kann ich mir am elegantesten die darauffolgenden Abfragen sparen?
Ich hätte schon daran gedacht, einen Iterator mit dem next() keyword bis zu x["key"] = 10 springen zu lassen und danach ohne weitere Abfrage über die restlichen Listenelemente zu iterieren... weiß jemand, wie man das in Python möglichst elegant macht?

Danke und VG,

Nico

...zur Frage

C# Taschenrechner?

Ich komme nicht weiter...

using System;
class Rechnung
{
    public int Out;
    public int in1;
    public int in2;


    public void Plus()
    {
        Out = in1 + in2;
        Console.WriteLine(Out);
    }
    public void Minus()
    {
        Out = in1 - in2;
    }
    public void Mal()
    {
        Out = in1 * in2;
    }
    public void Geteilt()
    {
        Out = in1 / in2;
    }
}




class Programm
{
    public void Main()
    {
        Console.WriteLine("---Taschenrechner---");
        Console.WriteLine("Was möchtest du rechnen? (+  -  *  /)");
        string rechenart = Console.ReadLine();
        switch (rechenart)
        {
            case "+":
                Console.WriteLine("Du möchtest + rechnen!");
                Console.WriteLine("Zahl 1:");
                var in1 = int.Parse(Console.ReadLine());
                Console.WriteLine("Zahl 2:");
                var in2 = int.Parse(Console.ReadLine());
                Plus();
                break;
        }
    }

}

Er mäckert weil es keinen einstigspunkt findet und weil plus nicht geht

das ist noch nicht fertig ja...

...zur Frage

GUI in Taschenrechner integrieren (Java)?

import java.util.Scanner;
import javax.swing.JTextField;
public class App {
    public static void main(String[] args) {
    
        Scanner scanner = new Scanner(System.in);


        new GUI();
        
        try {
        System.out.println("Bitte geben Sie ihre Berechnung ein: ");
        String eingabe = scanner.nextLine();
        String[] teile = eingabe.split(" ");
        
        double zahl1 = Double.parseDouble(teile[0]);
        double zahl2 = Double.parseDouble(teile[2]);
        char operator = teile[1].charAt(0);
        
        System.out.println(taschenrechner(eingabe, zahl1, zahl2, operator));
        
    } catch (NumberFormatException e) {
            System.out.println("Bitte geben Sie einen gültigen Wert ein!");
        } finally {
            scanner.close();
        }
    }
    
    static double taschenrechner (String eingabe, double zahl1, double zahl2, char operator) {


        double ergebnis = 0.0;


        if (operator == '/' && zahl2 == 0) {
            throw new ArithmeticException("Das dividieren durch 0 ist nicht erlaubt!");
        }
        
        switch (operator) {
            case '-': ergebnis = zahl1 - zahl2; break;
            case '+': ergebnis = zahl1 + zahl2 ; break;
            case '*': ergebnis = zahl1 * zahl2; break;
            case '/': ergebnis = zahl1 / zahl2; break;
        }
            return ergebnis;
    }    
}

import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import javax.swing.*;
import java.awt.*;


public class GUI extends App{


    private JTextField textFieldZahl1;
    private JTextField textFieldZahl2;
    private JTextField textFieldOperator;
    private JLabel labelErgebnis;
    private JButton buttonBerechnen;
    
    public GUI () {


    JFrame frame = new JFrame("Taschenrechner");
        frame.setLayout(new FlowLayout());
        frame.setSize(500, 500);
        frame.add(new JButton("+"));
        frame.add(new JButton("-"));
        frame.add(new JButton("*"));    
        frame.add(new JButton("/"));
        frame.add(new JTextField(20));
        frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
        frame.setVisible(true);
    }
}

Wie kann ich die GUI jetzt mit der Taschenrechner-Logik verknüpfen?

...zur Frage

Bubblesort Java?

In der 4. Zeile von meinem Struktogramm über Bubblesort steht:

Wiederhole bis Index> Länge des Arrays -1

Müsste das nicht < so aussehen. Der index war doch immer kleiner? Oder ist der ausnahmsweise bei Bubblesort IMMER größer?

...zur Frage

Lenght in Java?

Lenght gibt doch immer die Anzahl an Werten aus, oder? Aber wir haben damals eine Aufgabe bearbeitet mit einem erzeugten Feld von 6 Elementen.

Bei der Schleife stehr dann

For(int i = 0: i<=5 ; i++)

Sollte es nicht kleiner gleich 6 sein? Weil wir haben ja 6 elemente

...zur Frage

zeiger in c?

ich verstehe zeiger einfach net hier in dem code z.b

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

struct student{
    int *name;
    char geschlecht;
    

};

int main() {
    struct student *student1 =malloc(sizeof (struct student));
    if (student1 ==0){
        printf("Kein Speicher ");
        return -1;

    }
    student1->name= malloc(sizeof(char)*50);
    if(student1->name==0){
        printf("Kein Speciher");
        return -1;
    }

    strcpy(student1->name,"Pal");
    student1->geschlecht = 'w';
    

    printf("Name :%s\n",student1->name);
    printf("Gechlecht:%c\n",student1->geschlecht);
   
    return 0;
}

welchen sinn hat welcher zeiger ?


    struct student *student1

bezieht sich der zeiger auf struct student oder auf student1 ?Warum muss der überhaut dort hin

...zur Frage

Fakultät-Rechner in Java programmieren?

Ich habe folgendes Programm:

public class test {
    public static void main(String[] args) {
      System.out.println(fakulteat(5));
    }
    
    public static int fakulteat(int zahl) {
      if (zahl == 1) {
        return 1;
      } else {
        return zahl * fakulteat(zahl - 1);
      }
    }
}

Hier wird jetzt ja die Fakultät berechnet durch diese rekursive Methode.

Mein Problem steckt folgender Zeile:

return zahl * fakulteat(zahl - 1);

Damit gibt man dann so gesagt " 5 * 4! " an die Methode zurück.

Was ich mich aber Frage ist halt, wieso " fakulteat(zahl - 1) " jetzt eine Fakultät darstellt. Der Methode gibt sich selbst damit doch nur einen Wert zurück, woher weiß aber die Methode, dass dann z.B. 4! = 1 * 2 * 3 * 4 gemeint ist?

...zur Frage

Wie findet ihr diesen Programmier Stil in C?

In der Schule müssen wir in diesem Stil programmieren:

#include <stdio.h>

int main(void)
{
      printf("Hello, World!");
      return 0;
} // end main

Wir findet ihr das?

Ich finde man sollte selbst entscheiden welchen Programmierstil man verwendet, solange der Code lesbar und verständlich ist.

...zur Frage

BlueJ Methode für eine private Nachricht?

Hier ist der Code, ich brauche eine Methode mit der ich eine Nachricht an einen User an einen Server senden kann der nur dieser User sieht

public class EchoServer extends Server {

public EchoServer(int port) {

super(port);

System.out.println("Der DBG-ECHO-Server hat die IP " + getIP() + " und lauscht auf Port " + port + "!");

}

public void processNewConnection(String pClientIP, int pClientPort) {

System.out.println("Neue Verbindung von " + pClientIP + " : " + pClientPort + ".");

send(pClientIP, pClientPort, "Herzlich willkommen beim DBG-ECHO-Server, Quit um abzumelden, Everybody für Message an alle");

}

public void processMessage(String pClientIP, int pClientPort, String pMessage) {

if (pMessage.equals("Quit")) {

closeConnection(pClientIP, pClientPort);

}

if (pMessage.substring(0, 9).equals("Everybody")) {

sendToAll(pMessage);

}

System.out.println("Server hat Nachricht \"" + pMessage + "\" vom Client " + pClientIP + ":" + pClientPort + " empfangen.");

send(pClientIP, pClientPort, "Antwort vom DBG-ECHO-Server: Deine Nachricht lautete \"" + pMessage + "\".");

System.out.println("Server hat Nachricht \"" + pMessage + "\" an Client " + pClientIP + ":" + pClientPort + " zurückgesendet.");

//sendToAll(pMessage);

//closeConnection(pClientIP, pClientPort);

}

public void processClosingConnection(String pClientIP, int pClientPort) {

}

public void privateMessage(String pClientIP, int pClientPort, String pMessage) {

if (pMessage.substring(0, 9).equals(pClientIP)) {

System.out.println("User schrieb

send(pMessage);

}

public String getIP() {

try {

String ipAdresse = "" + InetAddress.getLocalHost();

String[] hostUndIP = ipAdresse.split("/");

String adressat = hostUndIP[0].trim();

ipAdresse = hostUndIP[1];

return ipAdresse;

}

catch (UnknownHostException e) {

e.printStackTrace();

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen