Software-Projekt: Bücherdatenbank

[lowcut]

Ich hab vor 25 Jahren mal ein Programm in C geschrieben. Die manuell eingegeben Daten wurden damals in einer CSV-Datei abgelegt. Leider hatten sich Fehler eingeschlichen und das Projekt versank irgendwann. Ich hatte später noch nach einem Programm gesucht, das es ermöglicht, mit einem Barcodescanner die Daten einzulesen. Aber nichts gefunden, was mit zusagte.

Wird mal wieder zeit Google anzuwerfen.

Ich sag's mal so: Wenn ich das Projekt soweit gebracht habe, dass es wirklich zuverlässig und gut funktioniert (tut es eigentlich schon) und alle Features bietet, die ich haben will (kommt noch), dann gebe ich das eventuell auch frei und jeder kann es nutzen.

Da bin ich aber mal gespannt.

[breitsameter]

Ich weiß nicht, ob ich Dich richtig verstanden habe, aber mir stellt es sich so dar: Die ISFDB unterstützt drei Arten von Abfragen:
1. Suche nach exakter ISBN.

Ja, aber... die Daten, die da kommen, habe ich schon.
Mir ging es vor allem um Inhaltsauflistungen bei Sammlungen und Anthologien. Und die kriegt man da auch nicht.

[breitsameter]

So, jetzt kann man noch über den Klick auf den Autorennamen bei einer Buchansicht erfahren, wieviele Bücher man von einem Autor hat und etwas über den Autor, die Autorin erfahren.

Das sieht dann z.B. so aus:

Bibliothek Screenshot.JPG

Zur Erklärung: Ich habe bislang nur ein Buch von Andreas mal probehalber einglesen. Der gesamte obere Teil wird automatisiert mit Daten der Wikipedia erstellt.

Ein Desiderat bleiben die Inhalte der Sammlungen und Anthologien. Ich habe keine Lust, die von Hand einzutragen. Aber automatisiert hatte ich bislang beim Einlesen keinen Erfolg.

[breitsameter]

Es geht weiter.
Ich habe ja wegen SF-Fan.de und anderer Projekte im Laufe sehr viele Buchscans angefertigt - immer mit dem Namen des Buches als Namen. Jetzt habe ich das die Cover mal eben hochgeladen (ca. 1 GB) und über eine automatische Erkennung wichtiger Bestandteile des Titels kann ich jetzt optional, wenn das automatische Cover fehlt oder schlecht in der Auflösung ist, schauen, ob ich dazu einen Scan habe und diesen zuordnen.
Und das funktioniert prima!

Jetzt geht es daran zu erfassen, ob das Buch signiert ist.

[breitsameter]

Signatur ist auch umgesetzt - als Schalter mit der Option einen Scan der signierten Seite hochzuladen.

Außerdem wird jetzt bei AutorInnen, die keinen deutschen Wikipedia-Eintrag haben, automatisch auf die englische Wikipedia als Quelle gewechselt.

[lapismont]

Ein Desiderat bleiben die Inhalte der Sammlungen und Anthologien. Ich habe keine Lust, die von Hand einzutragen. Aber automatisiert hatte ich bislang beim Einlesen keinen Erfolg.

Das war letztlich auch mein Problem. Es gibt kaum verlässliche Angaben zum Inhalt von Anthos. Ich musste jedes Inhaltsverzeichnis abtippen. Noch nerviger wurde es, wenn ich noch Originaltitel und Übersetzer·in erfassen wollte. Oder Illustrator·innen.

Für den Fantasyguide suche ich noch heute regelmäßig nach diesen Angaben und da habe ich die Bücher meist nicht zur Hand. Elfenwerk!

[Naut]

Ich weiß nicht, ob ich Dich richtig verstanden habe, aber mir stellt es sich so dar: Die ISFDB unterstützt drei Arten von Abfragen:
1. Suche nach exakter ISBN.

Ja, aber... die Daten, die da kommen, habe ich schon.
Mir ging es vor allem um Inhaltsauflistungen bei Sammlungen und Anthologien. Und die kriegt man da auch nicht.

Okay, verstanden.
Anderer Lösungsvorschlag: Es ist möglich, einen kompletten Datenbank-Dump der ISFDB zu laden. (Das ist wenig erstaunlich, denn so groß ist so ein Datensatz nicht, verglichen mit dem, was heute Big Data genannt wird.)
Die Dateien gibt es hier:
https://www.isfdb.org/wiki/index.php/ISFDB_Downloads

Soweit ich das sehe, sind das MySQL-Backups, d.h. sie sollten in eine lokale Installation einfügbar sein und dann voll durchsuchbar.

[lapismont]

Ich weiß nicht, ob ich Dich richtig verstanden habe, aber mir stellt es sich so dar: Die ISFDB unterstützt drei Arten von Abfragen:
1. Suche nach exakter ISBN.

Ja, aber... die Daten, die da kommen, habe ich schon.
Mir ging es vor allem um Inhaltsauflistungen bei Sammlungen und Anthologien. Und die kriegt man da auch nicht.

Okay, verstanden.
Anderer Lösungsvorschlag: Es ist möglich, einen kompletten Datenbank-Dump der ISFDB zu laden. (Das ist wenig erstaunlich, denn so groß ist so ein Datensatz nicht, verglichen mit dem, was heute Big Data genannt wird.)
Die Dateien gibt es hier:
https://www.isfdb.org/wiki/index.php/ISFDB_Downloads

Soweit ich das sehe, sind das MySQL-Backups, d.h. sie sollten in eine lokale Installation einfügbar sein und dann voll durchsuchbar.

Das klingt verführerisch. Theoretisch könnte man dann einen eigenen Server mit der passsenden REST-API aufstellen. Wie sieht das vom Thema Nutzung fremder Arbeit aus? Ich finde das gerade auch von meiner Seite her interessant, also wenn man Daten des Fantasyguides als Dienst anbieten könnte.

[Naut]

Ich weiß nicht, ob ich Dich richtig verstanden habe, aber mir stellt es sich so dar: Die ISFDB unterstützt drei Arten von Abfragen:
1. Suche nach exakter ISBN.

Ja, aber... die Daten, die da kommen, habe ich schon.
Mir ging es vor allem um Inhaltsauflistungen bei Sammlungen und Anthologien. Und die kriegt man da auch nicht.

Okay, verstanden.
Anderer Lösungsvorschlag: Es ist möglich, einen kompletten Datenbank-Dump der ISFDB zu laden. (Das ist wenig erstaunlich, denn so groß ist so ein Datensatz nicht, verglichen mit dem, was heute Big Data genannt wird.)
Die Dateien gibt es hier:
https://www.isfdb.org/wiki/index.php/ISFDB_Downloads

Soweit ich das sehe, sind das MySQL-Backups, d.h. sie sollten in eine lokale Installation einfügbar sein und dann voll durchsuchbar.

Das klingt verführerisch. Theoretisch könnte man dann einen eigenen Server mit der passsenden REST-API aufstellen. Wie sieht das vom Thema Nutzung fremder Arbeit aus? Ich finde das gerade auch von meiner Seite her interessant, also wenn man Daten des Fantasyguides als Dienst anbieten könnte.

Die Lizenz sollte CC BY 4.0 sein:
https://www.isfdb.org/wiki/index.php/Cr ... ns_License

[lapismont]

Niklas, ich bin da nicht angemeldet.
Aber es wohl frei?

[Naut]

Niklas, ich bin da nicht angemeldet.
Aber es wohl frei?

Ja, frei unter Creative Commons 4.0 mit Attribution.

[Uschi Zietsch]

So, jetzt kann man noch über den Klick auf den Autorennamen bei einer Buchansicht erfahren, wieviele Bücher man von einem Autor hat und etwas über den Autor, die Autorin erfahren.

Das sieht dann z.B. so aus:

Wow!

[breitsameter]

Ein Desiderat bleiben die Inhalte der Sammlungen und Anthologien. Ich habe keine Lust, die von Hand einzutragen. Aber automatisiert hatte ich bislang beim Einlesen keinen Erfolg.

Das war letztlich auch mein Problem. Es gibt kaum verlässliche Angaben zum Inhalt von Anthos. Ich musste jedes Inhaltsverzeichnis abtippen. Noch nerviger wurde es, wenn ich noch Originaltitel und Übersetzer·in erfassen wollte. Oder Illustrator·innen.

Ich versuche das jetzt komplett technisch zu lösen.
Das Foto vom Inhaltsverzeichnis der Anthologie wird per KI analysiert und es wird automatisch die Datenbank mit den Daten zu AutorIn, Titel und evtl. Originaltitel befüllt.
Gemini hat mir hier ein Konzept dafür entwickelt, aber das wird aufwendiger in der Umsetzung... Ich denke noch darüber nach, ob ich das so angehe.

[lapismont]

In Amazon-Leseproben hole ich mir meist das Inhaltsverzeichnis aus dem HTML. Ist aber meist unterschiedlich aufgebaut.