Zu Beginn des Projekts wurden die zur Verfügung gestellten Dokumente sorgfältig gesichtet, um zu prüfen, ob diese eine einheitliche Struktur besitzen, aus der ein grundlegendes Template erstellt werden könnte, das gen Auf Grund der eingeschränkten Datenlage wurden als erste Evaluation nur lose Lastaufnahmemittel betrachtet, da diese den größten Teil der bereitgestellten Dokumente darstellen. Der nächste Schritt bestand darin, Betriebsanweisungen von losen Lastaufnahmemitteln mehreren lokalen LLM-Modellen zur Verfügung zu stellen, um mittels Retrieval Augmented Generation (RAG) relevante Informationen aus den Dokumenten zu extrahieren. Dabei wurden sowohl unterschiedliche Modelle, Umgebungen und Embedding Layer geprüft. Als Beispiele seien hier genannt Llama, Mistral und Qwen. Die Ergebnisse dieser Tests waren jedoch nicht durchweg zufriedenstellend. In einigen Fällen wurden nur Teile der Dokumente gelesen, oder der Zusammenhang zwischen den extrahierten Informationen stimmte nicht vollständig. Das größte Problem stellte sich die Eingabe der Dokumente in die lokalen Modelle heraus. Deren “Einlesefunktion”, sogenannte Embedding Layer, sind in der Regel nicht optimal darauf trainiert, deutsche Dokumente zu verarbeiten. Ein spezialisiertes Modell konnte die Genauigkeit hier erhöhen, lieferte jedoch auch nicht die gewünschte Qualität. Nach dieser ersten Phase der Untersuchungen wurden die Ergebnisse mit der Firma Kautenburger besprochen, die die Durchführung weiterer Tests mit den Cloud-basierten Modellen verschiedener Anbieter, wie ChatGPT, LeChat und Ms Copilot, bestätigte. Diese Cloud-Modelle erwiesen sich als deutlich leistungsfähiger als die lokalen LLM-Systeme. Die Ergebnisse waren signifikant besser, was darauf hindeutet, dass Cloud-basierte LLM-Systeme in der Lage sind, die komplexen Strukturen und Nuancen der deutschen Dokumente präziser zu erfassen. Daher wurde zur Erstellung eines Templates für lose Lastaufnahmemittel die Recherche auf Cloud-Modelle eingeschränkt. Dabei wurden teils sehr gute Ergebnisse erzielt, die durch gezielte Fragen und Anpassungen weiter verbessert werden konnten. Die Cloud-Modelle zeigten sich besonders flexibel und konnten auf spezifische Anforderungen schnell reagieren. Dies ermöglichte es, ein präzises und anwendungsorientiertes Template zu gestalten. Zum Abschluss des Projekts wurden die erstellten Templates miteinander verglichen, um die bestmögliche Kombination von Abschnitten zu ermitteln. Durch diesen abschließenden Schritt konnte ein optimiertes Template erstellt werden, das sowohl die Anforderungen des Projekts erfüllt als auch die Stärken der verschiedenen Cloud-Modelle optimal nutzt.