Selenium WebDriver wird von Instagram erkannt?

Ich benutze Selenium um einen headless Chrome browser zu starten und dann auf eine Instagram video seite zu gehen um die url des quellvideos zu scrapen.

Das geht auch ohne Probleme. Aber sobald es zur url des kontos navigiert, wird Selenium sofort von Instagram erkannt und meine ip-adresse wird direkt blockiert.

Manipulation des user agents, Löschung der js signatur, deaktivierung experimenteller Optionen usw. helfen nicht. Außerdem bewegt sich der Scraper auf der Webseite langsam mit zufälligen delays, womit es eigentlich keine Anzeichen für einen Bot gibt.

Woran könnte es liegen?
Ist ein Proxy wirklich das einzige was hier noch hilft

1 Antwort

Kelec

11.01.2024, 16:44

Schon alleine das dein Bot keinen Mouse Jitter hat und keine Menschliche Mausbewegung zeichnet ihn bereits als solchen aus.

Es gibt etliche Methoden die hier zur Anwendung kommen können um einen Bot von einem Menschen zu unterscheiden.

verreisterNutzer

11.01.2024, 16:45

Denke nicht dass es daran liegt, sonst würde es doch schon bei der video seite scheitern

Kelec

11.01.2024, 16:47

@verreisterNutzer

Kommt auf die Test drauf an und wann diese greifen, aber dein Bot wird am Ende eben als solcher erkannt und ich denke dass es ist weil er sich eben nicht genau gleich wie ein Mensch verhält.

Dieser Botcheck von Google wo du einfach nur Anhaken musst, dass du kein Bot bist funktioniert zB unter anderem so.

verreisterNutzer

11.01.2024, 16:59

@Kelec

Ja das weiß ich ja aber wie gesagt er tut ja nichts. Er betritt einfach nur die Webseite und wird sofort blockiert. also wirklich einfach nur die webseite aufgerufen, garnichts getan

Das passiert auch nur wenn man eine seite eines kontos betreten will sonst kann es bei instagram alles machen was es will

Kelec

11.01.2024, 17:02

@verreisterNutzer

Ja aber es kann ja sein dass diese Sperre erst bei bestimmten Aktionen ausgelöst wird und nicht bei allen.

Ich weiß nicht wie die Überprüfung bei Instagram genau funktioniert aber ich nehme einfach mal an, dass eben genau daran erkannt wird dass es ein Bot ist. Der Aufruf der Seite triggert dann einfach nur noch die Sperre.

verreisterNutzer

11.01.2024, 17:14

@Kelec

Es gibt nichts an Aktionen zum überprüfen. Der Bot tut absolut gar nichts. Er macht wirklich nichts als die Seite aufzurufen. Es gibt keine Aktionen. Das ist genau so als würde ich jetzt einfach Instagram aufrufen und nichts tun

Also es kann nicht daran liegen, dass der Bot irgendwas suspektes macht. Es muss ja an irgendeinem anderen Erkennungsmerkmal liegen als das Verhalten des Bots weil er eben nichts tut

Kelec

11.01.2024, 21:47

@verreisterNutzer

Also er wählt nur die URL an und macht dann absolut gar nichts? Also interagiert mit nichts, spielt kein Video ab oder dergleichen?

Führt der Bot das Javascript auf der Seite aus?

Akzeptiert der Bot Cookies?

Wie meldet Javascript den Useragent Windowsize, Betriebssystem usw?

verreisterNutzer

11.01.2024, 21:52

@Kelec

Der bot macht gar nichts, richtig. Er navigiert zur URL und sofort ohne dass der Bot überhaupt Zeit hat irgendwas zu machen wird die IP blockiert.

                    List<string> userAgentArray = new List<string>
                    {
                        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36"
                    };


                    foreach (string userAgent in userAgentArray)
                    {
                        browser.ExecuteCdpCommand("Network.setUserAgentOverride", new Dictionary<string, object> { { "userAgent", userAgent } });
                    }

Kelec

11.01.2024, 21:57

@verreisterNutzer

Lass deinen Bot mal zu einer Webseite von dir navigieren und sieh nach was dir Javascript für den Bot für Werte liefert.

In dem Fall gehe ich einfach von Fingerprinting aus. Also Javascript meldet für den Browser einfach bestimmte Infos wie Window Size, Betriebssystem, etc. die Eindeutig auf Selenium hinweisen.

https://datadome.co/threat-research/detecting-selenium-chrome/

Vielleicht noch interessant:

https://www.zenrows.com/blog/selenium-avoid-bot-detection

verreisterNutzer

11.01.2024, 22:05

@Kelec

Ja, dass es um einen Fingerprint geht hab ich mir auch schon gedacht. Diese beiden Links hab ich mir tatsächlich schon angeschaut - leider keine Lösung gefunden bzw wird immernoch erkannt aber trotzdem danke.

Ist halt komisch weil Instagram es wirklich NUR erkennt wenn ich auf einen Account gehe. Also wenn ich auf irgendein video gehe dann kann ich machen was ich will ohne erkannt zu werden. Außerdem ist die IP dann nur dafür gesperrt, accounts zu besuchen. Also ich kann lediglich keine Accounts mehr sehen sonst funktioniert die Seite noch einwandfrei

Kelec

11.01.2024, 23:07

@verreisterNutzer

Naja es kann ja durchaus bewusst so sein dass Instagram eben nur bestimmte Aktionen und nicht automatisch alle sperrt.

verreisterNutzer

11.01.2024, 23:23

@Kelec

Ja, muss wohl der Fall sein, wieso auch immer die das so tun

Ähnliche Beiträge

Python Selenium xpath ul / li?

Hallo Zusammen,

ich versuche aktuell über Selenium eine Website auszulesen. Zum Auslesen nutze ich Selenium xpath. Es geht um folgende Bespielseite: https://www.westernwelt.com/Cowboyhut-3X-von-Resistol-aus-Filz_1

Der von Chrome kopierte xpath lautet:
//*[@id="product-offer"]/div[2]/div/div[2]/div[2]/div/dl/dd[2]/div/div/div/ul/li[3]/a/span/span/span

Sobald in diesem Pfad ein ...ul/li/... vorkommt bekomme ich keine Ergebnisse mehr. Wo ist hier mein Denkfehler?

from selenium import webdriver
from selenium.webdriver.common.by import By#

url= 'https://www.westernwelt.com/Cowboyhut-3X-von-Resistol-aus-Filz_1'

driver = webdriver.Chrome()
driver.get(url)

xpath = '//*[@id="product-offer"]/div[2]/div/div[2]/div[2]/div/dl/dd[2]/div/div/div/ul/li[3]/a/span/span/span'
elements = driver.find_element(by=By.XPATH, value=xpath)

...zum Beitrag

Frage zu Selenium (Bot Entwicklung)?

Ich würde mich gerne zu einer Veranstaltung anmelden, wo es leider nur limitierte Plätze gibt. Bei den letzten Terminen war ich leider immer zu spät dran, weshalb ich fragen wollte, ob es möglich ist einen Bot zu programmieren der mich automatisch anmeldet, wenn eine neue Veranstaltung verfügbar ist. (Der Bot muss nur meinen Namen, Adresse & Telefonnummer auf der Webseite eingeben und das möglichst schnell.) Jetzt wollte ich fragen, ob das vielleicht mit Selenium möglich ist dass ich so einen Bot programmiere? Und falls ja wie lange das ungefähr dauern würde? Eher ein paar Tage oder Monate? (Ich kann bereits die Grundlagen in Java und C).

Würde mich sehr über eine Antwort freuen. :)

Liebe Grüße

Terroka

...zum Beitrag

PermissionError: [WinError 5] Zugriff verweigert?

Hi ich weiß nicht wie ich das Problem lösen soll. Ich führe Python als Administrator aus. (Win 7)

Code:

from selenium import webdriver

import time

url = 'https://youtube.com/'

driver = webdriver.Chrome(r'C:\Users\Lars\Downloads\chromedriver_win32')

driver.get(url)

Fehler:

Traceback (most recent call last):

File "C:\Program Files (x86)\Python37-32\lib\site-packages\selenium\webdriver\common\service.py", line 76, in start

stdin=PIPE)

File "C:\Program Files (x86)\Python37-32\lib\subprocess.py", line 775, in __init__

restore_signals, start_new_session)

File "C:\Program Files (x86)\Python37-32\lib\subprocess.py", line 1178, in _execute_child

startupinfo)

PermissionError: [WinError 5] Zugriff verweigert

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

File "C:\Users\Lars\Desktop\emails.py", line 5, in <module>

driver = webdriver.Chrome(r'C:\Users\Lars\Downloads\chromedriver_win32')

File "C:\Program Files (x86)\Python37-32\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 73, in __init__

self.service.start()

File "C:\Program Files (x86)\Python37-32\lib\site-packages\selenium\webdriver\common\service.py", line 88, in start

os.path.basename(self.path), self.start_error_message)

selenium.common.exceptions.WebDriverException: Message: 'chromedriver_win32' executable may have wrong permissions. Please see https://sites.google.com/a/chromium.org/chromedriver/home

...zum Beitrag

selenium find_elements_by_class_name?

Hallo,

ich versuche gerade einen Bot zu programmieren, aber ich komme nicht weiter. Und zwar kommt folgende Fehlermeldung:

AttributeError: 'WebDriver' object has no attribute 'find_elements_by_class_name'

Kann mir da jemand helfen?

Mein Code ist dieser:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service

def login():
    logInStartButton = webDriver.find_elements_by_class_name("e13wiwn62.tiktok-1mm63h3-Button-StyledLoginButton.ehk74z00")
    logInStartButton.click()

s = Service ("chromedriver.exe")
webDriver = webdriver.Chrome(service=s)
webDriver.get("https://tiktok.com/")

login()

...zum Beitrag

PHP Navigation ohne das #section in der URL?

Hallo liebe Entwickler,

ich stelle mir die Frage, wie ich nach Absenden eines Formulares so navigieren kann, dass das #section in der URL nicht angezeigt wird. Zuerst ein Beispiel:

<html>
  <form action="#section" method="post" id="section">
    <input type="submit" value="Senden" name="sub"/>
  </form>
</html>
<?php if (isset($_POST['sub'])) { doSomeStuff(); } ?>

Wenn ich also (wie im Code ersichtlich) auf Senden klicke, wird die Seite neu geladen und ich werde zu #section navigiert (also in der URL dann example.com/#section).

Besteht die Möglichkeit so zu navigieren, dass man den Abschnitt in der URL nicht sieht?

Eventuell durch JS oder etwas anderes?

Vielen Dank im Voraus.

...zum Beitrag

Instagram Url, trotz Deaktivierung?

Hallo,

mein Instagram Account wurde Deaktiviert, ich kann jedoch noch in einem Formular Einspruch einlegen. In diesem Formular wird meine Url benötigt da mein Account jedoch momentan deaktiviert ist wird dieser als nicht vorhanden angezeigt.

weiß echt nicht was ich tun soll :/

...zum Beitrag

Selenium Python Elemente finden durch klasse finden?

Ich habe folgendes Problem ich möchte einen Bot programmieren der mich auf einer Seit anmeldet und ein paar Sachen dort für mich macht während ich etwas anderes mache, jedoch weiß ich nicht wie ich den Button finden soll per Klasse.

Button = driver.find_element_by_class_name()

Habe ich benutzt dort dann den Klassennamen eingetragen, jedoch gibt es diese Klasse öfter und wenn ich

Button.click()

mache passiert nix, der Button hat sonst keine ID oder ähnliches

er hat eine <span data-v-(Zahlenfolge)
bin leider nicht so im ganzen HTML ding drin kann nur die basics, habe python erst seit heute gelernt also ist das auch noch nicht so gut.
Freue mich auf jede Antwort

...zum Beitrag

Variable in XPATH Expression benutzen?

Ist es möglich eine Variable in einer Selenium XPATH Expression zu benutzen?

BSP:

search_field = driver.find_element(By.XPATH, "//*[@id='text']")

"text" ist dabei die Variable welche eingesetzt werden sollte. Funktioniert das oder muss es anders aussehen wenn man da eine Variable einsetzen will?

Danke für alle Antworten!

...zum Beitrag

Funktion ohne time.sleep verlangsamen Python?

Wie kann ich in eine Funktion ein delay zwischen den verschiedenen Dingen einbauen ohne die time.sleep Methode zu verwenden?

Vielen Dank für die Antworten?

...zum Beitrag

Python Selenium Chrome Profil speichern?

Hallo,

Ich möchte, dass Selenium beim Öffnen von Chrome mein Profil speichert bzw. dass es mein Profil beibehält. Ich habe einiges im Internet gefunden, aber ich bekomme überall Error. Wenn mir jemand helfen könnte, wäre das Top.

options = webdriver.ChromeOptions()

options.add_argument("user-data-dir=C:/Users/jamu/AppData/Local/Google/Chrome/User Data")

w = webdriver.Chrome(executable_path="C:\\Users\\chromedriver.exe", chrome_options=options)

Ich bekomme erstens den error webdriver das ändere ich ganz einfach zu driver das ist kein Problem

Dann bekomme ich den Error: 'ChromeOptions' object has no attribute 'add_argument'. Did you mean: 'add_arguments'?

Ich habe dann add_argument zu add_arguments ausgebessert.

Allerdings bekomme ich dann diesen Fehler hier: TypeError: Chrome() takes no arguments

Vielen Dank im vorraus.

Ich wäre euch sehr dankbar, wenn mir jemand helfen könnte.

...zum Beitrag

Wie schwierig ist es, einen Trading Bot selbst zu programmieren?

Frage an Programmierer, wie schwer stuft ihr sowas ein?

Ich habe schon versucht einen solchen Bot erstellen zu lassen, jedoch funktioniert dieser nicht so, wie ich es will obwohl relativ eng zusammen gearbeitet wurde (hat etwa 2k gekostet)

Nun habe ich mir überlegt, mir das evtl. selbst bei zu bringen. Für wie wahrscheinlich halten die Programmierer unter euch es, dass ich sowas eigenständig erlernen kann und was würde mir dabei helfen? Ich werde Python nutzen.

...zum Beitrag

Javascript undefined nach funktion?

Hallo,

ich möchte einen webScraper schreiben, nachdem ich hier aber die init() für die browser und page instanzen aufrufe, werden die als undefined zurückgeliefert. Innerhalb der funktion ist typeof browser und page "object", wenn ich die Werte dann ausserhalb aufrufen möchte, sind sie "undefined". Ich benutze Nodejs und Puppeteer

async function init() {
  try {
    browser = await puppeteer.launch({
      headless: true,
      args: ["--disable-setuid-sandbox"],
      ignoreHTTPSErrors: true,
    });
    page = await browser.newPage();
    console.log(typeof browser);
    console.log(typeof page);
  } catch (err) {
    console.log(err.message);
  }
  return {
    first: page,
    second: browser,
  };
}
var retvals = init();
browser = retvals.second;
page = retvals.first;
console.log("here: ");
console.log(typeof retvals.second);
console.log(typeof retvals.first);
scrapeSite(urls[0]);

Verstehe nicht wirklich, was daran nicht funktionieren sollte, liegt aber vermutlich daran, dass ich wenig JS kenntnisse habe :D

MfG und danke im Voraus.

...zum Beitrag

Wie klicke ich auf diese Elemente mit Python und Selenium?

Hallo,

Ich versuche, auf die folgenden Elemente auf dieser Webseite (https://www.bing.com/search?q=Bing+AI&showconv=1&FORM=hpcodx) mit Python und Selenium zu klicken.

//*[@id=“tone-options”]/li[3]/button

//*[@id=“camera-container”]/button

//*[@id=“camera-container”]/cib-flyout/cib-visual-search//div[3]/button[1]

Ich habe XPATH, CSS probiert.

Fehler:

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id="tone-options"]/li[3]/button"}

(Session info: chrome=119.0.6045.200)

Stacktrace:

GetHandleVerifier [0x00007FF7D97B82B2+55298]

(No symbol) [0x00007FF7D9725E02]

(No symbol) [0x00007FF7D95E05AB]

(No symbol) [0x00007FF7D962175C]

(No symbol) [0x00007FF7D96218DC]

(No symbol) [0x00007FF7D965CBC7]

(No symbol) [0x00007FF7D96420EF]

(No symbol) [0x00007FF7D965AAA4]

(No symbol) [0x00007FF7D9641E83]

(No symbol) [0x00007FF7D961670A]

(No symbol) [0x00007FF7D9617964]

GetHandleVerifier [0x00007FF7D9B30AAB+3694587]

GetHandleVerifier [0x00007FF7D9B8728E+4048862]

GetHandleVerifier [0x00007FF7D9B7F173+4015811]

GetHandleVerifier [0x00007FF7D98547D6+695590]

(No symbol) [0x00007FF7D9730CE8]

(No symbol) [0x00007FF7D972CF34]

(No symbol) [0x00007FF7D972D062]

(No symbol) [0x00007FF7D971D3A3]

BaseThreadInitThunk [0x00007FF8125E7344+20]

RtlUserThreadStart [0x00007FF8130026B1+33]

kann mir jemand helfen? Danke.

...zum Beitrag

Paypal SDK von USD auf EUR umstellen funktioniert nicht?

Ich habe beide Stellen im Code geändert:

script.src = `https://www.paypal.com/sdk/js?client-id=${clientId}&currency=EUR`;

und

currency_code: 'EUR',

Bekomme jedoch den folgenden Fehler https://pastebin.com/6eNUSdX9

Wichtigster Ausschnitt:

Error: Unexpected currency: EUR passed to order.create. Please ensure you are passing /sdk/js?currency=EUR in the paypal script tag.

Der Fehler tritt auf, wenn ich USD auf EUR ändere. Hier ist meine

/app/paypal/page.tsx

https://pastebin.com/9GM500eR die ganze datei

Wichtigster Ausschnitt: der mit USD funktioniert:

<PayPalScriptProvider options={{ clientId }}>
            <div className="flex justify-center">
              <PayPalButtons
                style={{
                  layout: 'vertical',
                  color: 'blue',
                  shape: 'rect',
                  label: 'paypal',
                }}
                createOrder={(data, actions) => {
                  if (!actions || !actions.order) {
                    console.error('Fehler: actions.order ist nicht definiert');
                    return Promise.reject('Fehler bei der Erstellung der Bestellung');
                  }
 
                  return actions.order.create({
                    purchase_units: [
                      {
                        amount: {
                          currency_code: 'USD',
                          value: '100.00',
                        },
                      },
                    ],
                    intent: 'CAPTURE'
                  });
                }}
                onApprove={(data, actions) => {
                  if (!actions || !actions.order) {
                    console.error('Fehler: actions.order ist nicht definiert');
                    return Promise.reject('Fehler bei der Genehmigung der Bestellung');
                  }
 
                  return actions.order.capture().then((details) => {
                    console.log('Zahlung erfolgreich abgeschlossen:', details);
                    setPaymentSuccess(true);  // Zeigt die Erfolgsmeldung an
                    setErrorMessage('');  // Setzt die Fehlermeldung zurück
                    return Promise.resolve();
                  });
                }}
                onError={(err) => {
                  console.error('Fehler bei der PayPal-Zahlung:', err);
                  setErrorMessage('Es gab ein Problem bei Ihrer Zahlung. Bitte versuchen Sie es erneut.'); // Zeigt die Fehlermeldung an
                  setPaymentSuccess(false); // Setzt den Zahlungserfolgsstatus zurück
                }}
              />
            </div>
          </PayPalScriptProvider>

Meine

env Datei ist folgendermaßen konfiguriert:
makefile
Code kopieren
NEXT_PUBLIC_PAYPAL_CLIENT_ID = "12345"
PAYPAL_CLIENT_ID = "12345"
PAYPAL_CLIENT_SECRET = "ABCDEF"
PAYPAL_WEBHOOK_SECRET="XYZ123"

Ich habe den currency_code von 'USD' auf 'EUR' geändert und auch die URL des PayPal-Skripts angepasst:

script.src = `https://www.paypal.com/sdk/js?client-id=${clientId}&currency=EUR`;

Trotzdem bekomme ich den Fehler, dass EUR nicht als Währung erkannt wird.

Ich habe die Dokumentation auf PayPal Developer überprüft, und laut dieser ist

EUR

der richtige Währungscode.

Ich benutze Next.js 15 und habe auf React 18 downgraden müssen, da React 19 nicht mit

@paypal/react-paypal-js

kompatibel ist aber spielt eigentlich keiner olle und sowohl im sandbox oder live modus dasselbe das man nach dem klick auf dem button mit EUR einen fehler bekommt.

Kann mir jemand helfen, was hier das Problem ist?

...zum Beitrag

Was möchtest Du wissen?

Deine Frage stellen