wie kann man mit PHP aus einem String eine Reihe von Wörtern löschen?

ich versuche gerade den den Text von ein paar tausend Webseiten in meinem Intranet zu indizieren um damit eine eigene Suchmaschine für mein Intranet zu füttern.

Damit ich daraus gescheite Suchworte generieren kann muss ich zunächst sehr viele Wörter aus dem Text den ich aus dem Body hole löschen.

hat jemand eine Idee wie man das effizient durchführen könnte?

(vielleicht mit einem Code-Beispiel)

3 Antworten

KarlRanseierIII

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Programmieren & Softwareentwicklung

14.11.2024, 23:09

wiederholte Nutzung von str[i]replace()
wiederholte Nutzung von preg_filter() (o.ä.)
Generieren eines Hash mit Tokens zum Abgleich, String in Tokens zerlegen und linear abgleichen.

Bedenke, daß es sowas wie Wortformen gibt und Du eigentlich jede Form bei 1:1 Abgleich benötigst.

Eine Searchengine wäre vermutlich der deutlich einfachere Weg, insbesondere wenn der Indexer filtert und Stemming macht.Allerdings ist die Anfangshürde wohl größer.

Falls Du keine ganze Searchengine willst, dann kann man ggf. auch überlegen auf die einzelnen Komponenten zurückzugreifen und sich zumindest Teilaufgaben damit leichter zu machen.

stealthuser

Beitragsersteller

15.11.2024, 01:00

Den Indexer habe ich schon zur Hälfte fertig und den Algorithmus für die Bewertung der Suchergebnisse habe ich schon seit 20 Jahren in der Schublade liegen - damals war es noch eine Suchmaschine in JavaScript.

Das 20 Jahre lange sammeln an Informationen ist übrigens auch der Grund warum jetzt eine Suchmaschine in PHP mit MariaDB notwendig geworden ist.

KarlRanseierIII

15.11.2024, 01:10

@stealthuser

Willst Du die Volltextsuche von MariaDB nutzen? Ich würde zumindest überlegen, ob eine dokumentenorientierte DB vielleicht bequemer wäre.

stealthuser

Beitragsersteller

15.11.2024, 01:47

@KarlRanseierIII

Nein keine Volltext-Suche - als ich vor kurzem ein Video-Portal mit Suchfunktion für meine Videosammlung programmiert hatte, ist mir aufgefallen, wie schlecht bzw. undiffernziert die Suchergebnisse waren wenn man eine Volltextsuche über mehrere Spalten macht.

Dafür habe ich inzwischen eine bessere Lösung

regex9

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Webseite, PHP, Programmieren & Softwareentwicklung

14.11.2024, 19:49

Von einer Eigenimplementation würde ich absehen, denn es gibt hierfür bereits passende Tools, die das für dich übernehmen können.

Schau dir Apache Solr an. Das ist eine Lucene-basierte Plattform, über die Suchindizes angelegt und verwaltet werden. Für die Konfiguration eines eigenen Index kannst du zudem Filter einsetzen. Mehrere Filtertypen sind bereits vorimplementiert.

Eine Extension für PHP gibt es ebenso.

stealthuser

Beitragsersteller

14.11.2024, 20:55

Ich habe das Solr-Thema mal eben überflogen und bin zu dem Schluss gekommen, das mir Solr eine Nummer zu groß ist und meine Infrastruktur wird für den Betrieb ebenfalls nicht ausreichen.

Der Content ist über mehrere Raspberry PI und ein Synology NAS verteilt - die werden bei einer Volltextsuche in die Knie gehen.

slaxxer

16.11.2024, 11:35

preg_replace

Ähnliche Beiträge

Javascript Ajax Php kein Wert?

Console:

HTML javascript Code ajax:

function send(text){
   console.log("Text kurz vor versenden:\n" +text);
//hier hat er noch einen wert
   $.ajax({
     method: "POST",
     url: "DataSender.php",
     data: { text: text}
   }).done(function( response ) {
       console.log(response);
     console.log("weiterleitung

Php Code Ajax Übertragung wo es nicht geht:

      $text = $_POST['text'];
      $sql = "INSERT INTO `Xss-Data` (`ID`,`DATA`, `created_at`) VALUES (null, '{$text}' , CURRENT_TIMESTAMP)";

      if (empty($text)) {
              //das ist empty!
              echo("Error:\nEs ist leer\nText wäre\n$text");
          } else

Sind die wichtigen Code snippets

Der String hat keinen Wert. Warum? Wie löst man das?

...zum Beitrag

PHP - 2 Wörter in einem String tauschen?

Ist es möglich 2 Wörter von der Position zu tauschen in einem String?

String Beispiel: "Mustermann, Max"

Ich hätte aber gerne "Max Mustermann" oder "Max, Mustermann"

...zum Beitrag

Tool zur Analyse von Text: Worthäufigkeit?

Hallo zusammen,

ich suche ein Tool, dem ich einen Text geben kann und das mir daraufhin analysiert, welche Wörter wie häufig darin vorkommen.

Ich bin auch interessiert an weiteren (kostenfreien)Tools (oder Programmcodes in php, c#), die Texte prinzipiell analysieren können.

...zum Beitrag

c# http post request?

            var httpClient = new HttpClient();
            var values = new Dictionary<string, string>
            {
                { "username", UsernameTextBox.Text },
                { "email", EmailTextBox.Text }
            };

            var content = new FormUrlEncodedContent(values);

            var response = await httpClient.PostAsync("http://subdomain.domain.tld/file.php", content);

            var responseString = await response.Content.ReadAsStringAsync();
            FSCMessageBox.Show(responseString);

PHP

<?php
use PHPMailer\PHPMailer\PHPMailer;
use PHPMailer\PHPMailer\Exception;
require 'PHP/PHPMailer/src/Exception.php';
require 'PHP/PHPMailer/src/PHPMailer.php';
require 'PHP/PHPMailer/src/SMTP.php';
$mail = new PHPMailer(true);
$whitelist = array("...");
$auth = false;
foreach($whitelist as $ip)
{
    if($ip == $_SERVER['REMOTE_ADDR']) {$auth = true;}
}
if(!$auth)
{
    http_response_code(403);
    exit();
}
try
{
    $code = "";
    for ($i = 0; $i < 8; $i++)
    {
        $ascii = rand(48, 122);
        if ($ascii > 57 && $ascii < 65 || $ascii > 90 && $ascii < 97)
        {
            $ascii -= 7;
        }
        $code .= chr($ascii);
    }
    echo $code;
    $mail->SMTPDebug = 2;                                       
    $mail->isSMTP();                                            
    $mail->Host       = "...";                    
    $mail->SMTPAuth   = true;                             
    $mail->Username   = "...";                 
    $mail->Password   = "...";                        
    $mail->SMTPSecure = "tls";                              
    $mail->Port       = 587;  
    $mail->setFrom("...", "...");           
    $mail->addAddress($_POST['email']);          
    $mail->isHtml();       
    $mail->Subject = "Verification Code";
    $mail->Body    = 
    "
    <h1>Hello, ".$_POST['username']."!</b1>
    <h4>Your verification code is ".$code.".</h4>
    <p>If you don't know why you received this E-Mail, you can safely ignore and delete it.</p>
    ";
    $mail->send();
    http_response_code(200);
}
catch (Exception $e)
{
    http_response_code(503);
    exit(); 
}
?>

Ist da ein Fehler? Wenn ich den php code ohne dem Post Request und mit festen Werten ausführe, geht alles. Also muss es doch am c# code liegen, oder?

Wenn ich es mit dem Post Request versuche, wird im Programm eine MessageBox angezeigt, wo einfach garnichts drin steht.

FSCMessageBox.Show(responseString);

Email wird auch nicht verschickt.

Die Daten wie host, username, password, email etc. sind alle richtig, da liegt der Fehler nicht.

...zum Beitrag

PHP-Text mit Abstand nach oben?

Ich bin echt verwirrt, das ist heute schon mir dritter Post mit dem Thema HTML/CSS/PHP. Bin neu in dem Bereich und komme leider ohne Hilfe nicht ganz weiter...

Wie man in dem Bild sehen kann ist .test eine Klasse im HTML-Teil. ".test" gibt einen normalen Satz aus. Da ich nicht will, dass der Text genau unter der Navigation erscheint, habe ich "margin-top: 3em;" hinzugefügt.

Als nächstes habe ich versucht einen Text aus einem String in PHP auszugeben. Das war kein großes Problem, danach habe ich dem Text in PHP mit einen Namen gegeben, um diesen Text in PHP zu bearbeiten. Jetzt möchte ich genau wie oben, dass der Text nicht genau nach der Navigation oben kommt, sondern genau wie bei ".test" auch einen Abstand nach oben hat.

Ich habe vieles versucht, kann mir aber leider nicht erklären warum es in HTML mit .test funktioniert, aber in PHP mit #meintext nicht.

Ich freue mich über jede Antwort, danke!

...zum Beitrag

PHP: bestimmte Wörter in String hervorheben?

ich möchte in PHP bestimmte Wörter aus einem Text hervorheben. bis jetzt habe ich das hinbekommen :

$searchStr = 'WoRt1 wort2 WORT3';
$search = explode(' ', $searchStr);
$replace = array_map(fn($str) => "<u>$str</u>", $search);

$input = 'Dies ist wort1 ein Beispiel wort2 Text! bla wort3 bla bla Bla.';
$output = str_ireplace($search, $replace, $input);

echo $output;

Die wörter in $searchStr können aber unterschiedlich von der Groß und Kleinschreibung sein. "Problem" ist jetzt aber dass in $output diese groß- und Kleinschreibung ausgegeben wird, und nicht die originale aus $input. also erhalte ich "Dies ist WoRt1..." anstatt "Dies ist wort1...".

Wie bekomme ich das hin dass die unterstrichenen Wörter original aus $input verwendet werden ?

...zum Beitrag

Wie kann man c# code in einer Variable speichern?

Gibt es eine Möglichkeit, einen c#-Code in einer Variablen zu speichern? Ich möchte code als Text (user input) nehmen, bearbeiten, in einer Variablen speichern und in der Konsole anzeigen. (Code bearbeiten heißt Zeichen/Wörter ersetze und hinzufügen) Für eine einfache String Variable mit normalem Text würde das natürlich klappen. Wenn in der String Variable allerdings code gespeichert ist, gibt es als output oft errors, da eben viele Teie des Textes als echter code verarbeiter werden. Irgendwelche Ideen, wie man das lösen könnte?

...zum Beitrag

PHP: SMTP-E-Mail kommt nicht an?

Hey, ich habe diesen PHP-Code für SMTP um E-Mails zu senden, aber er funktioniert nicht. Hat jemand eine Idee?

Code:

<?php
  use PHPMailer\PHPMailer\PHPMailer;
  use PHPMailer\PHPMailer\Exception;

  function sendMail($user_email, $user_name, $mailContent, $mailSubject, $emailAltBody = null) {
    include BASE_PATH . 'app/notifications/mail_templates/mail_style.php';
    $mail = new PHPMailer(true);

    try {
      $mail->SMTPDebug = 1;
      $mail->isSMTP();
      $mail->SMTPAuth = true;
      $mail->Host = 'text';
      $mail->SMTPSecure = 'ssl';
      $mail->SMTPAutoTLS = true;
      $mail->Username = 'text';
      $mail->Password = 'text';
      $mail->Port = 465;
      $mail->setFrom('text', 'text');
      $mail->addAddress($user_email, $user_name);
      $mail->isHTML(true);
      $mail->Subject = $mailSubject;
      $mail->Body = $emailBody;
      $mail->AltBody = $emailAltBody;
      $mail->CharSet = 'utf-8';
      $mail->send();

      return true;
    }
    catch (Exception $e) {
      return 'abc';
      return 'Message could not be sent. Mailer Error: '.$mail->ErrorInfo;
    }
  }

...zum Beitrag

Random PHP?

Ich weiß, dass ich zufällige Zahlen mit PHP generieren kann, ich brauche aber einen Random Text aus zahlen, Buchstaben, Großbuchstaben (vill. Sonderzeichen) bestehend aus 64 Zeichen der Generiert wird.

...zum Beitrag

PHPMailer schickt unendlich E-Mails?

Ich habe eine index.php Datei auf meinem Webspace:

<?php
use PHPMailer\PHPMailer\PHPMailer;
use PHPMailer\PHPMailer\Exception;
require '.../PHPMailer/src/Exception.php';
require '.../PHPMailer/src/PHPMailer.php';
require '.../PHPMailer/src/SMTP.php';
$mail = new PHPMailer(true);
try
{
    $mail->SMTPDebug = 2;                                       
    $mail->isSMTP();                                            
    $mail->Host       = "...";                    
    $mail->SMTPAuth   = true;                             
    $mail->Username   = "...";                 
    $mail->Password   = "...";                        
    $mail->SMTPSecure = "tls";                              
    $mail->Port       = 587;  
    $mail->setFrom("...", "...");           
    $mail->addAddress("email1@...");
    $mail->addAddress("email2@...");      
    $mail->isHTML();                        
    $mail->Subject = "...";
    $mail->Body    = "<h1>...</h1>
    <h3>...</h3>
    <p>...</p>";
    $mail->send();
    echo "E-Mail geschickt!";
}
catch (Exception $e)
{
    echo "Konnte nicht geschickt werden! Mailer Error: {$mail->ErrorInfo}";
}
?>

Das funktioniert auch, wenn man auf die Website geht, steht da "E-Mail geschickt", und die Emails kommen auch an.

Problem: Jetzt werden jede 1-30 min Emails verschickt, bei der email1 email adresse ist alles normal, bei email2 ist der ganze Text zitiert. Wieso werden jetzt immer E-Mails verschickt? Wieso ist der Text bei email2 zitiert?

...zum Beitrag

Anfang von Wörtern in Java Array?

Schreibe die Methode:

public static String[] getWordsStartsWith(String text, String start)

Die Methode soll in einem String-Array alle Worte aus dem String text zurückgeben, die mit dem String start beginnen.

Die Groß-/Kleinschreibung soll dabei ignoriert werden.

Beispiel: "Hast du GESTERN gelernt?", "ge" {"GESTERN", "gelernt"}

Mein Code sieht bisher so aus:

public static String[] getWordsStartsWith(String text, String start) {
    String[] ia = new String[text.length()];
    int counter = 0;
    int endposition = 0;
    text = text.toLowerCase(Locale.ROOT);
    start = start.toLowerCase(Locale.ROOT);
    for (int i = 0; i < text.length(); i++) {
        if (text.startsWith(start, i)) {
            endposition = text.indexOf(' ', i);
            text = text.substring(i, endposition);
            ia[counter++] = text;
        }
    }
    return Arrays.copyOf(ia, counter);
}

Es liefert halt [gestern] zurück... Wie kann ich es so programmieren, dass es noch die anderen Wörter überprüft auch wenn schon eins mit start startet?

...zum Beitrag

SwiftUI Search Bar mit Liste?

Ich möchte für meine Liste eine SearchBar implementieren, was ursprünglich auch funktioniert hat, allerdings habe ich ein paar Sachen umgeschrieben und jetzt funktioniert es nicht mehr.

Warum und wie behebe ich es?

struct Elementis: Identifiable{
    var id = UUID()
    var order: String
    var ename: String   
}

let Chemics = [
    Elementis(order: "1", ename: "Wasserstoff"),
    Elementis(order: "2", ename: "Helium"),
    Elementis(order: "3", ename: "Lithium"),
    Elementis(order: "4", ename: "Beryllium"),
    Elementis(order: "5", ename: "Bor"),
]

import SwiftUI

    @State private var searchText = ""
    var Element: [Elementis] = Chemics

 var body: some View{
   List{
                ForEach(Element) { elementis in
                    HStack{
                        NavigationLink(elementis.ename,
                                       destination: Aluminium())
                        
                        //Text(elementis.order)
                    }
                }
           
                
            }
            .navigationTitle("Chemie")
            .searchable(text: $searchText, prompt: "Element suchen...")



}

 var searchResults: [String] {
           if searchText.isEmpty {
               return Element.ename
           } else {
               return Element.ename.filter { $0.contains(searchText) }
           }
       }
}

Es kann sein, dass einige Klammern hier auf GuteFrage fehlen, diese sind aber im Programm definitiv drin.

Der Fehler taucht unter "var searchResults" auf und sagt mir je nachdem was ich einsetze verschiedene Meldungen an.

Meistens sind es folgende Meldungen:

"Cannot convert return expression of type 'String' to return type '[String]' "

"Value of type '[Elementis]' has no member 'ename' "

Über ein wenig Hilfe würde ich mich freuen. Besten Dank im Voraus

...zum Beitrag

VBA zu HTML Code umgewandelt - Zeilenumbrüche weg?

Hallo,

ich habe durch den unten beigefügten Code versucht eine E-Mail samt Signatur automatisch kommen zu lassen. Nun habe ich das Problem, dass die Absätze in der Mail weg sind und alles in einer Zeile ist. Wie behebe ich das?

Private Sub CommandButton2_Click()

Dim objOutlook As Object

Dim objMail As Object

Dim S As String

Dim body As String

Dim htbody As String

Set objOutlook = CreateObject("Outlook.Application")

Set objMail = objOutlook.CreateItem(0)

If TextBox2.text = "" Or TextBox2.text = TextBox1.text Then

body = "Sehr geehrte Frau x," & vbCrLf & _

vbCrLf & _

"Folgende/r Mitarbeiter/in ist erkrankt:" & vbCrLf & _

vbCrLf & _

ComboBox1.text & vbCrLf & _

vbCrLf & _

"Zeitraum: " + TextBox1.text

Else

body = "Sehr geehrte Frau x," & vbCrLf & _

vbCrLf & _

"Folgender Mitarbeiter ist erkrankt:" & vbCrLf & _

vbCrLf & _

ComboBox1.text & vbCrLf & _

vbCrLf & _

"Zeitraum: " + TextBox1.text + " bis " + TextBox2.text

End If

htbody = fnConvert2HTML(htbody)

S = Environ("appdata") & "\Microsoft\Signatures\autoE-Mailsenden.htm"

If Dir(S, vbDirectory) <> vbNullString Then

S = S

S = CreateObject("Scripting.FileSystemObject").GetFile(S).OpenAsTextStream(1, -2).readall

With objMail

.To = "x.de"

.Subject = "Krankmeldung " + ComboBox1.text + " x"

htbody = body & " " & S

.htmlbody = "" & htbody & ""

.Display 'Erstellt die Email und öffnet diese. Der Versand erfolgt anschließend manuell vom User!

End With

Else

' With objMail

' .To = Empfänger

' .Subject = Betreff

' htbody = body '& " " & S

' .htmlbody = "" & htbody & ""

' .Display

' ' .Display 'Erstellt die Email und öffnet diese. Der Versand erfolgt anschließend manuell vom User!

' End With

End If

End Sub

Zudem noch folgende Funktion:

Function fnConvert2HTML(myText As String) As String

Dim bldTagOn, itlTagOn, ulnTagOn, colTagOn As Boolean

Dim i, chrCount, n As Integer

Dim chrCol, chrLastCol, htmlTxt As String

Dim myChar As String

bldTagOn = False

itlTagOn = False

ulnTagOn = False

colTagOn = False

chrCol = "NONE"

htmlTxt = "<html>"

chrCount = Len(myText)

End Function

Danke im voraus!!!

...zum Beitrag

CURL Code in Java umwandeln?

Ich versuche über die DEEP API ein Bild generieren zu lassen.

Der Curl code dazu ist:

curl \
    -F 'text=YOUR_TEXT_URL' \
    -H 'api-key:quickstart-QUdJIGlzIGNvbWluZy4uLi4K' \
    https://api.deepai.org/api/text2img

Mein Java Code ist:

URL url = new URL("https://api.deepai.org/api/text2img");
HttpURLConnection con = (HttpURLConnection)url.openConnection();
con.setRequestMethod("POST");
con.setRequestProperty("Content-Type", "application/json");

JSONObject data = new JSONObject();
data.put("text", "TEXT");
data.put("api-key", "quickstart-QUdJIGlzIGNvbWluZy4uLi4K");

con.setDoOutput(true);
con.getOutputStream().write(data.toString().getBytes());

try(BufferedReader br = new BufferedReader(
        new InputStreamReader(con.getInputStream(), "utf-8"))) {
    StringBuilder response = new StringBuilder();
    String responseLine = null;
    while ((responseLine = br.readLine()) != null) {
        response.append(responseLine.trim());
    }
    return response.toString();
}

Ich bekomme jedoch folgende Fehlermeldung:

Server returned HTTP response code: 401 for URL: https://api.deepai.org/api/text2img

Kann mir jemand weiterhelfen?

...zum Beitrag

Was möchtest Du wissen?

Deine Frage stellen