Python Langsam - Keine PC Leistung?

Hi Leute, Ich hab ein Python Script welches viele Millionen Berechnungen machen muss..... Mein (einigermaßen guter) Computer läuft allerdings während das Script läuft nicht Geforderter als sonst und meine Berechnung Dauert Ewig (es sind vill. 1-4 % der CPU damit beschäftigt). Ich möchte aber, dass er bis zu 90% nutzt....

Ich möchte also meinem Computer vorschreiben wie Schnell/ausgelastet(in %) er läuft...

3 Antworten

DepravedGirl

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Mathematik

19.07.2017, 05:17

Was der Grund dafür ist, dass nur 1 % bis 4 % deiner CPU ausgelastet werden kann ich dir nicht sagen.

Aber ich weiß aus persönlicher Erfahrung, dass Python langsam ist, was Berechnungen angeht, was einer der Gründe ist, warum ich schnell das Interesse an Python verloren hatte, aber nicht der einzige.

Nimm lieber Cython statt Python.

https://de.wikipedia.org/wiki/Cython

Mokelol

Beitragsersteller

19.07.2017, 21:25

Und anderen Systemen(C++/C#/Java) läuft es erstaunlicher weise genau so schnell.... Kann man irgendwie Mehrkernmodus oder so aktivieren?

DepravedGirl

20.07.2017, 04:47

@Mokelol

Das weiß ich nicht, sorry.

Vielleicht hast du hier eine höhere Chance auf eine hilfreiche Antwort :

https://www.python-forum.de/

offeltoffel

31.07.2017, 14:03

Simple Berechnungen brauchen nunmal wenig CPU. Du führst diese Dinge ja hintereinander aus, weswegen er nicht auf die gesamte Prozessorleistung zurückgreift. Das ist so, als würdest du in einem Taschenrechner ständig eine Summe bilden und wieder löschen. Das lastet den Rechner auch nicht aus, dauert aber lange.

Ich sehe verschiedene Möglichkeiten um die Addition zu beschleunigen:

a) Du verwendest Multi-Threading, was in Python gar nicht so schwer umzusetzen ist. Dann kannst du deinen Datensatz in 4 Teile aufteilen und beschäftigst je einen Kern mit einem Viertel deiner Daten. Oft ist aber das Ergebnis von Multi-Threading nicht so viel schneller, wie man es sich erhofft.

b) du machst aus einem linearen Problem ein Array-Problem. Wenn du z.B. 1.000.000 Integer mit 1.000.000 anderen Integers addieren willst, ist ein Loop bedeutend langsamer, als wenn du numpy verwendest.

Code-Beispiele für eine Addition von a als [0, 1, 2, 3, ...., 1.000.000] und b [0, 2, 4, 6, ...., 2.000.000]

Version A - klassisches For-Loop

a = range(0, 1000000, 1)

b = range(0, 2000000, 2)

c = []
for i in range(len(a)):
    c.append(a[i] + b[i])

>> Dauer: 0.23 Sekunden

Version B - List-Comprehension

a = range(0, 1000000, 1)

b = range(0, 2000000, 2)

c = [a[i] + b[i] for i in range(len(a))]

>> Dauer: 0.16 Sekunden

Version C - Numpy-Array-Addition

import numpy

a = numpy.arange(0, 1000000, 1)
b = numpy.arange(0, 2000000, 2)

c = a + b

>> Dauer: 0.002 Sekunden

aalloo

19.07.2017, 02:05

wie sieht denn das Script aus?

wenn es irgendwie möglich ist mir das schicken...

Mokelol

Beitragsersteller

19.07.2017, 21:21

Da steht schlicht und simpel nur drin, dass zwei Wert addiert werden, dass das Ergebnis geprüft und ggf. zurück gesetzt wird

Ähnliche Beiträge

Programme in Python starten?

Hallo,

ich wollte mir mal wieder das Leben leichter machen und ein Python script programmieren, welches wenn ich den PC starte automatisch Discord und YouTube etc. öffnet. Dies hat auch anfangs einigermaßen funktioniert, bis ich bemerkt habe, dass Discord automatisch im Hintergrund läuft, auch wenn man es nicht startet, und sich somit die App nicht durch das script öffnet. Außerdem werden chrome, Discord etc automatisch geschlossen, wenn ich das script beende.

Weiß jemand, wie man die Hintergrundprozesse von Discord beendet (am besten durch ein script) und wie man das mit dem script beenden fixt?

Vielen Dank schonmal im Vorraus 👍

...zum Beitrag

Python Script mit 100% CPU Load ausführen?

Hallo, ich arbeite momentan an einem Python Script, welches mir möglichst schnell viele (<2 Mrd.) Primzahlen berechnet. Es ist fertig und funktioniert, jedoch nutzt es nur ca. 25 % der verfügbaren Ressourcen, also CPU und RAM. Kann ich entweder per Einstellungen oder im Script selbst die Nutzung davon erhöhen? Betriebssystem sowohl Windows 10 als auch Raspbian Jessie. Danke im voraus, DomiA

...zum Beitrag

Usb RUBBER DUCKY?

Hallo,

Ich wollte mal fragen ob sich wer mir dem USB Stick(siehe Titel) auskennt und ich wollte fragen welchen Code der zum laufen kriegt, also python oder nur Befehlszeile.

Ich verstehe nicht ganz wie der funktioniert.

Ich suche einen USB Stick der unauffälligen code, am besten python zum laufen kriegt. Also reinstecken Script läuft, wieder raus fertig !

...zum Beitrag

Wie funktionieren Programmiersprachen??

Mir ist klar dass das System eines computers auf Programmiersprachen aufgebaut ist, aber worauf basieren Programmiersprachen? Woher weiß der Computer was er tun muss wenn ich in C oder Python oder in was auch immer ein Script schreibe?

...zum Beitrag

Python Script mit mysql.connector-Modul über Apache ausführen?

Hallo,

ich habe gerade das Problem, dass ich das Python Script nicht über Apache/PHP ausführen kann. In dem Script importiere ich das mysql.connector Modul. Lasse ich es weg, lässt sich das Script problemlos ausführen. Wenn ich es manuell ausführe, geht es auch mit Modul. Also eine Frage der Berechtigung?! Wie gebe ich Apache/PHP denn Zugriff auf das Modul? Apache läuft auf einem Raspberry Pi, sprich Debian. Danke im voraus :)

...zum Beitrag

Python variable ändern (erhöhen oder verringern)?

Ich bin ein absoluter Anfänger was programmieren angeht, lerne aber immer mehr und mehr dazu. Ich möchte für etwas ein Python Script erstellen, was auf meinem Pi die ganze Zeit läuft und die MQTT Nachrichten mitliest, um diese auszuführen und/oder eine Nachricht zurück zu senden.

Ich habe versucht eine Nachricht zu senden der den wert der Variable um 1 erhöhen soll und damit auch die While schleife aktivieren soll. Jedoch funktioniert es nicht, da die variable nicht in "def on_message" verfügbar ist und es die Erhöhung quasi nicht nach außen austrägt.

Was gibt es für Möglichkeiten die variable zu erhöhen, sodass sich die while schleife aktiviert? Und gibt es auch andere Ansätze wie man eine diese Schleife machen kann?

Script:

import paho.mqtt.client as mqtt
import os
import subprocess
import time
import smbus2
import bme280

#Bme280_basic Temperature
# BME280 sensor address (default address)
address = 0x76
# Initialize I2C bus
bus = smbus2.SMBus(1)
# Load calibration parameters
calibration_params = bme280.load_calibration_params(bus, address)
# to activate loop
y = int(1)
#Temperature loop
while y == 2:
      data = bme280.sample(bus, address, calibration_params)

      # Extract temperature, pressure, and humidity
      temperature_celsius = data.temperature      
      # Print the readings
      print("Temperature: {:.2f} °C".format(temperature_celsius))
      # Wait for a few seconds before the next reading
      time.sleep(2)
      #print(y)
else:
      print("stopped") 
    
#Connection successfull
def on_connect(client, userdata, flags, rc):
  print("Connected to MQTT broker")


#Checking for messages to execute code
def on_message(client, userdata, msg):
    print(msg.topic+" "+str(msg.qos)+" "+str(msg.payload))
    if msg.payload.decode() == "temp_bme280_start":
        print("Calling script to for temperature start...")
        # activate loop by adding 1
        y += 1   
        print(y)
    if msg.payload.decode() == "temp_bme280_stop":
        print("Calling script to for temperature stop...")
        # deactivate loop by remove 1
        y -= 1  
        print(y)  

def on_subscribe(client, userdata, mid, granted_qos):
    print("Subscribed to topic : " + str(mid) +" with QoS" + str(granted_qos))

client = mqtt.Client()

client.username_pw_set( "userxxx" , "passwortxxx" )

client.connect( "192.16x.xxx.xxx", 1883, 60)

client.subscribe( "frame/monitor" , qos=1)

client.on_connect = on_connect

client.on_message = on_message

client.loop_forever()

Würde Chat GPT sowas lösen können?

...zum Beitrag

Python ausführbar machen - Python Programm erstellen?

Hi,

ich habe seit längerem ein bisschen mit Python experimentiert aber mich noch nicht wirklich damit befasst gehabt wie ich aus einem Script ein ausführbares Programm, das auch auf anderen Rechnern läuft, die nicht Python installiert haben, erstelle.

Jetzt habe ich gelesen das es zwar unter Linux möglich ist eine EXE per Shell zu erzeugen, aber der normale Weg zum Beispiel über C als "Umgebung" führt.

Da ich mit C nicht viel am Hut habe:

Wie könnte so eine Einbindung aussehen? Gibt es eventuell einen C Code in den man den Inhalt eines Python Scripts einfach einfügen kann und dieser wird dann ausgeführt?

Danke schonmal!

Q&Aer

...zum Beitrag

Fehler bei Python: invalid Syntax?

Ich bin noch ein Neuling was Python angeht, hab mir diesbezüglich auch immer Videos angesehen und wollte die nachmachen. Das Programmieren läuft aber ich habe Schwierigkeiten wenn ich was mit CMD im Bezug auf Python machen will. Egal was für ein Befehl, es kommt immer die selbe Fehlermeldung: "SyntaxError: invalid syntax". Natürlich kommt das nur wenn ich im Python Interpreter bin oder vor dem Befehl "python" schreibe. Befehle, welche mit "py" anfangen funktionieren bei mir auch nicht, weder in der Kommandozeile von Windows noch im Interpreter von Python.

Ich frage mich nun, ob mein Computer irgendwie falsch eingestellt ist oder hob ich noch was machen muss was ich vergessen hab. Bitte schreibt alles was mir irgendwie weiterhilft, vielen Dank.

Ich benutze übrigens Python 2.7 falls es weiterhilft.

P.S.: Wenn du so ein Spezialist bist oder so, guck dir auch noch mal bitte meine anderen Fragen im Bezug auf Python an, da gibt es nämlich noch mehr.

...zum Beitrag

Python Ordner auf mac öffnen?

Hallo Leute.

Ich habe auf einem Mac Rechner etwas mit Python programmiert, zuhause besitze ich allerdings einen mac, ich habe mir die datei mitgenommen um auf meinem computer weiter zu machen. mir ist bekannt das ich den Ordner im Terminal mit cd Desktop/(Ordner name) finden kann, soweit funktioniert ja auch alles. als ich dann aber main.py eingegeben habe was ich quasi dazu benutze das script zu starten konnte der Komputer es nicht finden.

ist das normal oder habe ich einfach was falsch eingegeben?

...zum Beitrag

wie memory leak in python script finden?

Hallo, ich hab ein python script auf einen raspberry pi 4 8gb laufen welches im loop ausgefuehrt wird und von tag zu tag immer mehr memory nutzt.

das script nutzt folgende imports:

import time

from selenium import webdriver

from selenium.webdriver.common.by import By

from random import *

import secrets

from selenium.webdriver.common.keys import Keys

import praw

from selenium.webdriver.firefox.options import Options

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

ich hab auch schon memory profiler ausprobiert, indem ich alles was im loop ausgefuehrt wird in einer funktion gespeichert hab und diese funktion im loop mit memory profiler zeile fuer zeile nach der memory nutzung suchen lassen habe aber das kommt bei jeder zeile nur 26.7MiB Nutzung raus.

z.b.

497 26.7 MiB 0.0 MiB 1 wait = randint(waita, waitb)

Ich hoffe mir kann jemand helfen wie ich genau heraus finden kann was so viel memory nutzt. <3

...zum Beitrag

Kommunikation zwischen Node JS und Python?

Hallo,

ich programmiere aktuell einen Discord Moderations Bot. Dieser hat auch eine Nachrichten - Check funktion, die die Nachrichten auf Beleidigungen überprüft.

Die dementsprechende Prüfung würde ich aber gerne in einem Python Script ausführen.

Da es einige Anfragen sind, die beantwortet werden müssen, finde ich child processes ungeeignet.

Gibt es eine gute Möglichkeit mein Node JS Script mit dem Python Script zu verbinden? Ich hatte schon eine REST-API gemacht, dass hat auch funktioniert, aber ich könnte mir vorstellen, dass das alles durch einen Socket deutlich schneller gehen würde.

Anfangs wollte ich zeroRPC verwenden, allerdings läuft das auf node js 16 noch nicht.

Mit Socket.IO habe ich das ganze nicht laufen bekommen.

Wie würdet ihr das machen?

...zum Beitrag

Python Script in .exe umwandel?

Servus,

ich habe ein eigenes umfangreiches Programm mit Python programmiert was ich verkaufen will, aber weil es so umfangreich ist will ich nicht den Source code versenden weil es immer irgendwelche Kids gibt die die Credits ändern. Das Tool nutzt unteranderem playwright.

Die Python file mache ich mit pyinstaller in eine .exe, es funktioniert auch alles soweit, aber wenn ich das Programm öffne bekomme ich folgendes Problem: ich habe angeblich playwright nicht installiert (obwohl ich es habe). Wenn ich das Programm über den Source starte funktioniert ja alles so wie es soll, wieso dann nicht wenn ich es in eine .exe mache?

Hat jemand irgendwelche Lösungsvorschläge oder Lösungen die zu 100% dieses Problem lösen?

Liebe Grüße

...zum Beitrag

Python Multiprocessing funktioniert nicht richtig?

Hi GF.

Ich habe da ein Problem mit einer Python-Funktion.

Hier ist die def stop():

def stop(script_name):
    if script_name in running_processes:
        print(script_name)
        print(running_processes)
        process = running_processes[script_name]
        print(process)
        process.terminate()
        process.kill()
        os.kill(process.pid, 0)
        #remove_script(script_name)     #unwichtig erstmal
        print(f"Script {script_name} has been terminated.")
    else:
        print(f"Script {script_name} is not currently running.")

Das ist das Skript und wie ihr sehen könnt, versuche ich einen Prozess zu beenden.

Hier ist, was in der Konsole angezeigt wird:

└ mit Kommentaren von mir

-------- Hier wird das Skript gestartet --------

Executing script: test1.py
online -----> zeigt an, dass das Skript läuft
online

-------- Hier wird die def stop() aufgerufen --------

test1.py
{'test1.py': <Process name='Process-1' pid=30908 parent=21472 started>}
<Process name='Process-1' pid=30908 parent=21472 started>
Script test1.py has been terminated. 
└> hier wurde "script1.py" anscheinend beendet

-------- hier ist die def stop() fertig --------

online -> aber das Skript läuft weiter?
online
online
...

Ich bin mit meinem Latein am Ende und weiß auch nicht mehr weiter. Ich habe den Fehler schon auf Google gesucht und habe ChatGPT gefragt, aber nichts hat funktioniert.

Danke im Voraus. :)

-- Screenshots --

...zum Beitrag