Windows | JSONL Datei - OpenfoodFacts Datenbank?

Guten Abend zusammen.

Ich hätte da mal so eine kleine Frage an euch Profis:

Ich habe hier eine Produkt Datenbank Datei von OpenfoodFacts in einem "JSONL" Format welches ich ich nicht mit einem normalen Editor öffnen kann. Ich würde mir diese Datei (37,0 GB) gerne anschauen wollen.

Wenn ich bei Google nach einem JSONL Editor suche finde ich dazu keinen. Nur diese JSON-Editoren. Weiss einer wie oder womit ich diese Datei anschauen oder vielleicht in ein anderes ansehbares Format konvertieren kann?

Vielen Dank im Voraus!

Mit freundlichen Grüßen: Robin | TechBrain. :)

Answer 1

[Palladin007]

Es kann auch ein eigenes Format sein, dann wirst Du da nichts finden.

Such mal nach Datei-Viewern, die sehr große Dateien stream können. Die können dann häufig nur anzeigen, aber zum Angucken reicht's ja.

Woher ich das weiß: Berufserfahrung – C#.NET Senior Softwareentwickler

Comments

[TechBrain]

Danke für deine Antwort. Kennst du da etwas? :)

[Palladin007]

@TechBrain

Kannte ich mal, weiß den Namen aber nicht mehr, sonst hätte ich das schon geschrieben.

Aber eine kurze Suche ergab:

https://stackoverflow.com/questions/159521/text-editor-to-open-big-giant-huge-large-text-files

Answer 2

[jo135]

JSONL ist lediglich eine Variante von JSON, die ein Objekt pro Zeile enthält. Das kann man natürlich problemlos mit einem Texteditor öffnen, aber auch mit jedem Editor der JSON-Unterstützung hat (die eh nicht allzu viel bringt: meistens wird halt eingefärbt und auf Syntaxfehler hingewiesen).

In deinem Fall ist das Problem wohl die Dateigröße, mit der viele Editoren nicht zurechtkommen, weil sie naiv die ganze Datei ins RAM laden wollen.

Wenn du nur "hineinschnuppern" willst, reichen aber die simplen Werkzeuge auf der Kommandozeile, etwa https://learn.microsoft.com/en-us/windows-server/administration/windows-commands/more

Wenn du bestimmte Teile filtern oder suchen willst, dann am besten mit https://jqlang.github.io/jq/

Comments

[TechBrain]

Danke!

Answer 3

[KarlRanseierIII]

Wie gedenkst Du denn mit der JSON Datei, die einen Datenbankdump repräsentiert umgehen zu wollen?

Durchstöbern oder wie?

Du kannst natürlich sowas wie nen Hexeditor nehmen, die operieren in der Regel eh auf Auschnitten der Datei - Oder eben Textviewer, der ähnliche Funktionalität bietet.

Comments

[TechBrain]

Keine Ahnung wie man damit umgeht. Ich will das alles nur ein wenig anschauen. :)

[KarlRanseierIII]

@TechBrain

Da wirst Du bei JSON ohen Aufbereitung nicht wirklich viel Spaß haben:

{"_id":"0000000000","unknown_nutrients_tags":[],"countries":"Italien, Germany","ciqual_food_name_tags":["unknown"],"last_image_t":1675967396,"removed_countries_tags":[],"main_countries_tags":[],"ingredients_that_may_be_from_palm_oil_tags":[],"allergens_from_ingredients":"","states_hierarchy":["en:to-be-completed","en:nutrition-facts-completed","en:ingredients-to-be-completed","en:expiration-date-to-be-completed","en:packaging-code-to-be-completed","en:characteristics-to-be-completed","en:origins-to-be-completed","en:categories-to-be-completed","en:brands-completed","en:packaging-to-be-completed","en:quantity-completed","en:product-name-completed","en:photos-to-be-validated","en:packaging-photo-to-be-selected","en:nutrition-photo-to-be-selected","en:ingredients-photo-to-be-selected","en:front-photo-selected","en:photos-uploaded"],"allergens_from_user":"(en) ","editors_tags":["allergies-app-chakib","omnomnotes-app","zoneblockscommunity","prepperapp"],"codes_tags":["code-10","0000000xxx","000000xxxx","00000xxxxx","0000xxxxxx","000xxxxxxx","00xxxxxxxx","0xxxxxxxxx"],"amino_acids_prev_tags":[],"product_name":"Brandenburger Stachelbeere","other_nutritional_substances_prev_tags":[],"checkers_tags":[],"food_groups_tags":[],"scans_n":2,"nova_group_error":"missing_ingredients","created_t":1480088467,"packagings_materials":{},"categories_properties_tags":["all-products","categories-unknown","agribalyse-food-code-unknown","agribalyse-proxy-food-code-unknown","ciqual-food-code-unknown","agribalyse-unknown"],"pnns_groups_2_tags":["unknown","missing-category"],"ingredients_hierarchy":[],"additives_tags":[],"nutrient_levels":{},"ingredients_text":"","popularity_key":13,"nutrition_score_debug":"no score when the product does not have a category","data_sources_tags":["app-speisekammer","apps"],"languages_hierarchy":["en:english"],"quantity":"1l","countries_tags":["en:germany","en:italy"],"countries_lc":"de","languages":{"en:english":2},"category_properties":{},"nova_groups_tags":["unknown"],"nova_group_debug":"no nova group when the product does not have ingredients.......

So in etwa stellt sich das dar.