Blockiert reddit einen HttpClient nach zu vielen Anfragen?

Guten Morgen.
Ich hab einen discord bot geschrieben mit der Funktion Content von Reddit zu ziehen.
Vor ca. 3 Wochen als ich ihn das letzte Mal an hatte, hat noch alles funktioniert.
Mittlerweile bekomme ich diese Exception:

Error: Response status code does not indicate success: 403 (Blocked).

Das Blocken der IP ist unwahrscheinlich, da ich es mit einem VPN und von einem anderen physikalischem Standort ausprobiert habe.

Bei der zweiten Zeile flieg ich raus:

var client = new HttpClient();
                var result = await client.GetStringAsync($"https://reddit.com/r/{subreddit ?? "dankmemes"}/random.json?limit=1");

Hat jemand 'ne Ahnung woran das liegt? Meistens wird der Command ziemlich gespammt...
Vllt liegt das daran und da wurde iwas gesperrt?
Vllt kennt ihr aber auch eine bessere Möglichkeit das ganze umzusetzen?
Danke im Voraus!

"Kompletter" Code:

var client = new HttpClient();
                var result = await client.GetStringAsync($"https://reddit.com/r/{subreddit ?? "dankmemes"}/random.json?limit=1");
                if (!result.StartsWith("["))
                {
                    await Context.Channel.SendMessageAsync("Subreddit doesn't exist...");
                    return;
                }
                JArray arr = JArray.Parse(result);
                JObject post = JObject.Parse(arr[0]["data"]["children"][0]["data"].ToString());

                var builder = new EmbedBuilder()
                    .WithImageUrl(post["url"].ToString())
                    .WithColor(new Color(0, 0, 255))
                    .WithTitle(post["title"].ToString())
                    .WithUrl("https://reddit.com/" + post["permalink"].ToString())
                    .WithFooter($"🗨 {post["num_comments"]} ⬆️ {post["ups"]}");
                var embed = builder.Build();
                await Context.Channel.SendMessageAsync(null, false, embed);

2 Antworten

Vom Fragesteller als hilfreich ausgezeichnet

BeamerBen

12.05.2023, 15:58

Schau in die Reddit API Dokumentation nach Rate Limits und den Error Codes.

Aber ja klar, wenn du die Rate Limits nicht einhälst oder nicht die offizielle API nutzt werden deine Anfragen geblockt.

Das macht jede vernünftige Seite.

W00dp3ckr

12.05.2023, 15:49

Ich seh ja nicht die Fehlermeldung. Aber es ist klar, dass das auffällt, wenn Du von einer IP aus signifikant Content automatisiert ziehst. Und das wird dann eventuell gesperrt, oder es gibt ein Rate Limit oder oder.

Normalerweise ist das Scraping laut AGB verboten, da es Seiten in die Knie zwingen kann.

SupfgamingTV

Fragesteller

12.05.2023, 16:12

Das Blocken der IP ist unwahrscheinlich, da ich es mit einem VPN und von einem anderen physikalischem Standort ausprobiert habe.

W00dp3ckr

12.05.2023, 16:18

@SupfgamingTV

Die sind wahrscheinlich nicht ganz doof und kennen VPNs.

Ähnliche Fragen

Was haltet ihr von r/WirklichGuteFrage?

r/WirklichGuteFrage ist ein Subreddit ("Unterforum" in der Social Media-App Reddit), in dem lustige und kuriose Fragen von Gutefrage.net gepostet werden. Hier ein Beispiel: https://reddit.com/r/wirklichgutefrage/s/IvXuFJ22Hk

Was haltet ihr davon?

...zur Frage

Reddit: Post Überschrift fast durchsichtig?

Ich habe gerade was gepostet auf Reddit auf ein subreddit, ist es aber normal wenn die Überschrift des memes leicht durchsichtig ist bzw. schwach? (Also die Schrift "Yummy...🥪")

...zur Frage

Warum dauert dieser C# Task so lange?

Was ist beim Mischen von synchronen mit asynchronen Tasks in C# das Problem, sodass der folgende Code extrem lange zur Ausführung benbötigt?

var sema = new SemaphoreSlim(1);

var tasks = new List<Task>();

for (int i = 0; i < 20; i++)
{
    var t2 = Task.Run(async () =>
    {
        var sw = new Stopwatch();
        sw.Start();
        await sema.WaitAsync().ConfigureAwait(false);
        try
        {
            await Task.Delay(1).ConfigureAwait(false);
        }
        finally
        {
            sema.Release();
        }
        sw.Stop();
        Console.WriteLine($"sync {sw.Elapsed}");
    });

    var t1 = Task.Run(() =>
    {
        var sw = new Stopwatch();
        sw.Start();
        sema.Wait();
        try
        {
        }
        finally
        {
            sema.Release();
        }
        sw.Stop();
        Console.WriteLine($"async {sw.Elapsed}");
    });

    tasks.Add(t1);
    tasks.Add(t2);
}

await Task.WhenAll(tasks).ConfigureAwait(false);

Ausgabe: es dauert 16 Sekunden!!! Nur die erste Ausgabe ist schnell, der Rest nach 16 Sekunden.

sync 00:00:00.8306484
sync 00:00:16.8401071
... Rest

Nehme ich beide male synchrone Tasks, geht es wesentlich schneller:

var sema = new SemaphoreSlim(1);

var tasks = new List<Task>();

for (int i = 0; i < 20; i++)
{
    var t2 = Task.Run(async () =>
    {
        var sw = new Stopwatch();
        sw.Start();
        await sema.WaitAsync().ConfigureAwait(false);
        try
        {
            await Task.Delay(1).ConfigureAwait(false);
        }
        finally
        {
            sema.Release();
        }
        sw.Stop();
        Console.WriteLine($"sync {sw.Elapsed}");
    });

    var t1 = Task.Run(async () =>
    {
        var sw = new Stopwatch();
        sw.Start();
        await sema.WaitAsync().ConfigureAwait(false);
        try
        {
        }
        finally
        {
            sema.Release();
        }
        sw.Stop();
        Console.WriteLine($"async {sw.Elapsed}");
    });

    tasks.Add(t1);
    tasks.Add(t2);
}

await Task.WhenAll(tasks).ConfigureAwait(false);

Ausgabe: alles nach etwa 300ms fertig.

async 00:00:00.0180861
sync 00:00:00.3329542
...

Was passiert da im Hintergrund? Ich weiß, dass man snchrone mit asynchronen Tasks nicht mischen soll, aber die 16 Sekunden sind schon heftig und kommen fast einem Deadlock gleich. Was passiert nach 16 Sekunden, dass es dann plötzlich weitergeht ;-) ?

...zur Frage

c# http post request?

            var httpClient = new HttpClient();
            var values = new Dictionary<string, string>
            {
                { "username", UsernameTextBox.Text },
                { "email", EmailTextBox.Text }
            };

            var content = new FormUrlEncodedContent(values);

            var response = await httpClient.PostAsync("http://subdomain.domain.tld/file.php", content);

            var responseString = await response.Content.ReadAsStringAsync();
            FSCMessageBox.Show(responseString);

PHP

<?php
use PHPMailer\PHPMailer\PHPMailer;
use PHPMailer\PHPMailer\Exception;
require 'PHP/PHPMailer/src/Exception.php';
require 'PHP/PHPMailer/src/PHPMailer.php';
require 'PHP/PHPMailer/src/SMTP.php';
$mail = new PHPMailer(true);
$whitelist = array("...");
$auth = false;
foreach($whitelist as $ip)
{
    if($ip == $_SERVER['REMOTE_ADDR']) {$auth = true;}
}
if(!$auth)
{
    http_response_code(403);
    exit();
}
try
{
    $code = "";
    for ($i = 0; $i < 8; $i++)
    {
        $ascii = rand(48, 122);
        if ($ascii > 57 && $ascii < 65 || $ascii > 90 && $ascii < 97)
        {
            $ascii -= 7;
        }
        $code .= chr($ascii);
    }
    echo $code;
    $mail->SMTPDebug = 2;                                       
    $mail->isSMTP();                                            
    $mail->Host       = "...";                    
    $mail->SMTPAuth   = true;                             
    $mail->Username   = "...";                 
    $mail->Password   = "...";                        
    $mail->SMTPSecure = "tls";                              
    $mail->Port       = 587;  
    $mail->setFrom("...", "...");           
    $mail->addAddress($_POST['email']);          
    $mail->isHtml();       
    $mail->Subject = "Verification Code";
    $mail->Body    = 
    "
    <h1>Hello, ".$_POST['username']."!</b1>
    <h4>Your verification code is ".$code.".</h4>
    <p>If you don't know why you received this E-Mail, you can safely ignore and delete it.</p>
    ";
    $mail->send();
    http_response_code(200);
}
catch (Exception $e)
{
    http_response_code(503);
    exit(); 
}
?>

Ist da ein Fehler? Wenn ich den php code ohne dem Post Request und mit festen Werten ausführe, geht alles. Also muss es doch am c# code liegen, oder?

Wenn ich es mit dem Post Request versuche, wird im Programm eine MessageBox angezeigt, wo einfach garnichts drin steht.

FSCMessageBox.Show(responseString);

Email wird auch nicht verschickt.

Die Daten wie host, username, password, email etc. sind alle richtig, da liegt der Fehler nicht.

...zur Frage

C# await erklärung?

Hallo,

mal wieder eine frage zu C# ^^
Kann mir jemand die genaue Erläuterung für das Schlüsselwort await geben ?

Hab im Internet zwar paar Infos gefunden aber nichts wo mir wirklich weiterhilft.
Hat jemand gute beispiele ?

In diesem beispiel, verstehe ich nicht wo ich den await setzten kann/muss ??
Bin noch echt ein Neuling im Thema Async.
Paar beispiel bzw Erklärungen würden mir echt weiterhelfen....

    static async Task<string> SchreibeAsync()
        {
            var text = "Hallo Telefon 123456";
            string path = Directory.GetCurrentDirectory()  + $@"Test.txt";

            Task task = new Task(()  => { 
            
                using (StreamWriter sw = new StreamWriter(path))
                {
                    for (int i = 0; i < 50; i++)
                    {
                        Thread.Sleep(100);
                        sw.WriteLine(text);
                    }
                }
            });
        }

...zur Frage

Warum passiert nichts bei diesem Command (discord.py)?

Das ist mein Code:

import discord

intents = discord.Intents.all()
client = discord.Client(intents=intents)


@client.event
async def on_ready():
    print('bot is ready') # Prints when started up


@client.event
async def on_message(message): # Two commands that should show an embed
    await client.process_commands(message)
    if message.content.startswith(",feedback"):
        role = discord.utils.get(message.guild.roles, id=1060954421980319834)
        if role in message.author.roles:
            embed = discord.Embed(title="Feedback",description="Please fill in this feedback form. [ Optional ]\n\n```How good was the customer service?\nHow fast did you get your product?\nHow good did the product work?\nDo you want to give the staff a tip?```",color=1226812)
            embed.set_footer(text="Tips go 100% to the assisting staff")
            embed.set_thumbnail(
                url="https://cdn.discordapp.com/attachments/1060992798880448553/1060992810947453019/image.png")
            embed.set_author(name="ProBoosts")
            await message.channel.send(embed=embed)
            await message.delete()
        else:
            await message.channel.send("`You don't have the permissions to use this command`")
    elif message.content.startswith(",staffping"):
        role = discord.utils.get(message.guild.roles, id=1060954421980319834)
        if role in message.author.roles:
            embed = discord.Embed(title="Staff-Ping",description="Do NOT ping Staff. It may result a warning/mute. And it could delay staff seeing the ticket.", color=16530981)
            embed.set_footer(text="ProBoosts")
            embed.set_thumbnail(
                url="https://cdn.discordapp.com/attachments/1060992798880448553/1060992810947453019/image.png")
            await message.channel.send(embed=embed)
            await message.delete()
        else:
            await message.channel.send("`You don't have the permissions to use this command`")

Eigentlich sollte dort ein Embed kommen im Channel wo der Command ausgeführt wurde. Es kommt aber nix. Rein garnix. Der Bot wird übrigens ausgeführt ich habe die "client.run" Funktion aber ausgelassen damit mein Token nicht iwie geleaked wird.

...zur Frage

C# Exception aus Fire and Forget Task behandeln?

Ich versuche mit Selenium eine Website zu überwachen und damit zu interagieren. Dafür gibt es eine Liste mit Dingen die überwacht werden sollen und eine Liste mit Observern die dafür zur Verfügung stehen. Bei dem überwachen können gelegentlich Fehler auftreten, z.B. wenn Chrome crashed. Dann soll alles neu gestartet werden. So sieht es aktuell aus:

        public async Task Observe(List<string> objectsToObserve, CancellationToken token)
        {
            Exception exception = null;
            var objectsQueue = new Queue<string>(objectsToObserve);
            var observerQueue = new Queue<Observer>(_observers);
            while (true)
            {
                while (!observerQueue.Any())
                {
                    await Task.Delay(10);
                }
                if (exception is not null)
                    throw exception ;
                if (token.IsCancellationRequested)
                    return;
                var objectToObserve = objectsQueue.Dequeue();
                var observer = observerQueue.Dequeue();
                _ = observer.Observe(objectToObserve).ContinueWith(x =>
                {
                    if (x.IsFaulted)
                        exception = x.Exception;
                    objectsQueue.Enqueue(objectToObserve);
                    observerQueue.Enqueue(observer);
                });
            }
        }

Wenn dieser Task ne Exception wirft, wird neugestartet. Da das observen aber nicht awaitet wird, weil mehrere davon parallel laufen sollen, kann ich die Exception nicht richtig behandeln. Geht das irgendwie besser?

...zur Frage

Wie kann ich effektiv mit Online-Mobbing auf Reddit umgehen?

Wie kann ich effektiv mit Online-Mobbing auf Reddit, insbesondere im Subreddit 'amiugly', umgehen? Mir wird ständig aufgrund meines Aussehens gesagt, dass ich hässlich bin und die Leute bemängeln, dass ich immer die gleichen Fragen stelle und mich seit meinem letzten Post angeblich nicht verändert habe.

Das zerstört gerade mein Selbstvertrauen und Selbstwertgefühl.

...zur Frage

Wie kann man ein Objektarray in C# Ausgeben?

public array[] bits = new array[8];

Ich habe eine Methode geschrieben die diese Objekte befüllt. Nun möchte ich die ToString() Mehtode überschreiben und den Inhalt der einzelnen arrays ausgeben. Wie geht das? Der Inhalt dieser Objekte ist var

...zur Frage

Programmieren: Ist es sinnvoll Teilaufgaben in Funktion zu unterteilen?

Hallo,

wenn ich z.B. eine große Funktion habe (hier die main) und dort Teilaufgaben wie z.B. irgendwas komplex zu sortieren in weitere Funktionen unterteile (sort funktion) die aber wirklich nur 1x aufgerufen werden, stellt sich mir die Frage, ob das sinnvoll ist, oder bad practice.

Ich tue das ganze nur aus dem Grund, um den Funktionsablauf übersichtlich zu halten. Letztendlich geht es um die Frage, wie "teuer" (inperformant) ein Funktionsaufruf ist.

Hier BEISPIELCODE kein Sinn dahinter, nur zur Verdeutlichung:

function sort(image, arr) { // Subfunktion
  const min = min_val;
  const max = max_val;
  for (let i = 0; i < arr.length; i++) {
    for (let k = 0; k <= arr[0].length; k++) {
      if (arr[i][k] < min) arr[i][k] = min;
      if (arr[i][k] > max) arr[i][k] = max;
    }
  }
  for (let i = 0; i < image.length; i++) {
    for (let k = 0; k < image[0].length; k++) {
      image[i][k] = arr[parseInt(image[i][k])];
    }
  }
  return image;
}

function main() {
  const array = new Uint8Array(20);
  crypto.getRandomValues(array);
  const arrayEncoded =  btoa(String.fromCharCode(...array)).split('');
  const arrayFiltered = arrayEncoded.filter(value => {
    switch (value){
    case "+" :
        return false;
    case "/" :
        return false;
    case "=" :
        return false;
    default :
      return true;
    }
  });
  const sortedArray = sort(arrayFiltered, arrayEncoded) // Hier wird unterfunktion aufgerufen
  var arr = new Uint8Array((sortedArray || 40) / 2)
  window.crypto.getRandomValues(arr)
  return Array.from(arr, dec2hex).join('')
}

Versucht nicht, den Code zu verstehen, es sind einfach nur zusammengewürfelte Zeilen von irgendwo.

...zur Frage

WEBSTORM erkennt .send Funktion nicht?

Bei folgendem Code sind die Methoden .send und .awaitReaction unterstrichen.

"Unresolved function or method send()"

Ich habe discord.js und so schon installiert. Muss man da sonst noch etwas importieren, damit .send usw. funktionieren?

const { Client, MessageEmbed, Intents } = require('discord.js');
const client = new Client({ intents: [Intents.FLAGS.GUILDS, Intents.FLAGS.GUILD_MESSAGES] });

const TOKEN = 'Mein Token';
const channelId = 'ChannelID'; // Die ID des Textkanals, in dem die Nachrichten erstellt werden sollen

const userGroup = []; // Die Liste der Benutzer, die aufgelistet werden sollen
const options = ['Option 1', 'Option 2', 'Option 3', 'Option 4', 'Option 5']; // Die Auswahlmöglichkeiten

let currentIndex = 0; // Aktueller Index der Benutzergruppe

client.on('ready', () => {
    console.log(`Eingeloggt als ${client.user.tag}`);
});

client.on('messageCreate', async (message) => {
    console.log("P - Start des Event-Handlers");
    if (message.author.bot) return;

    if (message.content.startsWith('!start')) {
        console.log("P - !start erkannt");
        if (currentIndex < userGroup.length) {
            const user = await client.users.fetch(userGroup[currentIndex]);

            // Erstelle eine Nachricht mit den Auswahlmöglichkeiten
            const embed = new MessageEmbed() // Hier MessageEmbed verwenden
                .setTitle('Wähle eine Option:')
                .setDescription(options.join('\n'));
            const sentMessage = message.guild.channels.cache.get(channelId);
            await sentMessage.send(embed);
            console.log("P - Nachricht gesendet");
            // Füge Reaktionen hinzu
            for (let i = 0; i < options.length; i++) {
                await sentMessage.react(String(i + 1) + '\u20E3'); // Emoji-Reaktionen (1️⃣, 2️⃣, usw.)
            }

            // Warte auf eine Reaktion des aktuellen Benutzers
            const filter = (reaction, user) => user.id === userGroup[currentIndex];
            const collected = await sentMessage.awaitReactions(filter, { max: 1, time: 60000 }); // 60 Sekunden Zeit zum Reagieren

            if (collected.size === 0) {
                message.guild.channels.cache.get(channelId).send(`${user.tag} hat keine Option ausgewählt.`);
            } else {
                const chosenOption = options[parseInt(collected.first().emoji.name) - 1];

                message.guild.channels.cache.get(channelId).send(`${user.tag} hat "${chosenOption}" ausgewählt.`);
                // Hier kannst du die gewünschte Aktion ausführen, basierend auf der ausgewählten Option
            }

            // Lösche die ursprüngliche Nachricht und die Auswahl-Nachricht
            await message.delete();
            sentMessage.delete();

            currentIndex++; // Zum nächsten Benutzer in der Gruppe wechseln
        } else {
            message.channel.send('Alle Benutzer aus der Gruppe wurden aufgelistet.');
        }
    }
});
console.log('Bot starting');

client.login(TOKEN);

...zur Frage

Wie schwer ist es, seinen eigenen Discord Bot zu programmieren?

...zur Frage

XHR nutzt GET anstatt POST?

Mit folgendem code versuche ich zweck logins auf meinen Server zuzugreifen

var r = new XMLHttpRequest();

r.open("POST", "/user/login", true);
r.setRequestHeader("Content-type", "application/x-www-form-urlencoded");

r.onreadystatechange = function () {

    if (r.readyState != 4 || r.status != 200) return;

    console.log(r.responseText);
            
    if (r.responseText == '?incorrect') {

        console.log('wrong password');

    }
    else if (r.responseText == 'correct') window.location.replace('/user/');

};

r.send('pwd=' + document.querySelector('#pwd-input').value);

Wenn ich den Code ausführe, steht in der Console der Seitenquelltext als Ergebnis. Der Server (Express) registriert eine GET request und auch im Netzwerktab von Chrome wird die request Methode mit GET angegeben. Hat jemand eine Idee warum und was ich versuchen könnte, außer Alternativen zur XHR zu nutzen?

...zur Frage

Wie kriege ich den Response der API in mein TextViewField in Android Studio?

Hallo,

momentan sitze ich daran, eine Android App mit Android Studio zu entwickeln. Die App soll GET und POST benutzen können, um mit einer API arbeiten zu können.

Soweit funktioniert das auch alles. Meine Frage bezieht sich hier auf Folgendes:

Ich habe in der MainActivity den TextView TW_Rueckgabe. Hier soll der Response der POST-Funktion gespeichert werden, da ich den gerne in der App anzeigen lassen will.

Nun habe ich aber bereits ein paar Sachen ausprobiert, allerdings vergebens.

Nun zu meiner eigentlichen Frage:

Wie kriege ich hin, das der Response der POST-Klasse in dem TextView TW_Rueckgabe gespeichert wird?

Danke im Voraus.

MfG

MainActivity.java

final TextView[] TW_Rueckgabe = {
  findViewById(R.id.textViewRueckgabe)
};
Button sendBtn = findViewById(R.id.sendBtn);
sendBtn.setOnClickListener(v -> {
  String POST_url = "http://dphost.ddns.net:1573/cool/post.php";
  String requestData = "data=" + TW_Benutzername.getText().toString();
  POSTRequestTask test = (POSTRequestTask) new POSTRequestTask().execute(POST_url, requestData);
  TW_Rueckgabe[0].setText(test.fetching_data);
});

POSTRequestTask.Java

class POSTRequestTask extends AsyncTask<String, Void, String> {
  @Override
  protected String doInBackground(String... params) {
    String url = params[0];
    String requestData = params[1];
    String response = "";

    try {
      URL obj = new URL(url);
      HttpURLConnection con = (HttpURLConnection) obj.openConnection();

      // add request header
      con.setRequestMethod("POST");
      con.setDoOutput(true);

      // add request data
      DataOutputStream wr = new DataOutputStream(con.getOutputStream());
      wr.writeBytes(requestData);
      wr.flush();
      wr.close();

      int responseCode = con.getResponseCode();
      System.out.println("\nSending 'POST' request to URL : " + url);
      System.out.println("Response Code : " + responseCode);

      BufferedReader in = new BufferedReader(new InputStreamReader(con.getInputStream()));
      String inputLine;
      StringBuffer responseBuffer = new StringBuffer();

      while ((inputLine = in.readLine()) != null) {
        responseBuffer.append(inputLine);
      }

      in.close();
      response = responseBuffer.toString();
    }
    catch (IOException e) {
      e.printStackTrace();
    }

    return response;
  }

  @Override
  protected void onPostExecute(String result) {
    // print result
    System.out.println("\n\n\n" + result + "\n\n\n");
    fetching_data = result;
  }

  public String returnString() {
    return fetching_data;
  }
}

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen