Merge branch...

Merge branch '#31_Implementation_Endpoint_Hochladen_einer_DOCX-FAQ-Datei_mit_Änderungen' into 'master'

#31 Implementation Endpoint Hochladen einer DOCX-FAQ-Datei mit Änderungen

See merge request !66

PM/Team1/sprints.md

-**1. Sprint: 28.4. - 12.5**
+##1. Sprint: 28.4. - 12.5
 **Sprintziel:**
 Extrahierung einzelner Fragen und dazugehörigen Antworten  von unterschiedlichen Medien.
 Persistierung der ausgelesenen Daten.
 
-#27 Definition guter Testfälle und Beispiele (FAQ, ...)
-#41 Spike: Fragengenerierung
-#25 Recherche/Definition Endpoints
-#26 Chatbot-Vokabeln
-#32 Definition einer sinnvollen JSON-Konfiguration mit konkreten Beispielen
-#33 Abbildung der JSON-Konfiguration in eine geeignete Kotlin-Datenstruktur und Implementation des zugehörigen Endpoints
-#30 Implementation Endpoint Hochladen einer DOCX-Datei
-#31 Implementation Endpoint Hochladen einer DOCX-FAQ-Datei mit Änderungen
-#34 Definition einer MongoDB-Struktur
-#36 Methoden zum Lesen, Schreiben und Ändern der MongoDB
-#38 Extraction von Fragen und Antworten einer HTML-FAQ-Datei auf Basis einer Konfiguration
-#37 Extraction von Fragen und Antworten einer DOCX-FAQ-Datei auf Basis einer Konfiguration
-#39 Daten in die MongoDB schreiben und Zusammenfassung einbinden
-#28 Überarbeitung ID-Generierung
-#40 Einlesen und Parsen einer HTML-Seite mit JSOUP, Zerlegen in semantische Blöcke
+* \#27 Definition guter Testfälle und Beispiele (FAQ, ...)
+* \#41 Spike: Fragengenerierung
+* \#25 Recherche/Definition Endpoints
+* \#26 Chatbot-Vokabeln
+* \#32 Definition einer sinnvollen JSON-Konfiguration mit konkreten Beispielen
+* \#33 Abbildung der JSON-Konfiguration in eine geeignete Kotlin-Datenstruktur und Implementation des zugehörigen Endpoints
+* \#30 Implementation Endpoint Hochladen einer DOCX-Datei
+* \#31 Implementation Endpoint Hochladen einer DOCX-FAQ-Datei mit Änderungen
+* \#34 Definition einer MongoDB-Struktur
+* \#36 Methoden zum Lesen, Schreiben und Ändern der MongoDB
+* \#38 Extraction von Fragen und Antworten einer HTML-FAQ-Datei auf Basis einer Konfiguration
+* \#37 Extraction von Fragen und Antworten einer DOCX-FAQ-Datei auf Basis einer Konfiguration
+* \#39 Daten in die MongoDB schreiben und Zusammenfassung einbinden
+* \#28 Überarbeitung ID-Generierung
+* \#40 Einlesen und Parsen einer HTML-Seite mit JSOUP, Zerlegen in semantische Blöcke
 
 
-**2. Sprint: 12.5. - 9.6**
+##2. Sprint: 12.5. - 9.6
+**Sprintziel:**
+Extrahierung einzelner Fragen und dazugehörigen Antworten  von unterschiedlichen Medien.
+Fragemöglichkeit generieren. Persistierung der ausgelesenen Daten.
+
+* \#27 Definition guter Testfälle und Beispiele (FAQ, ...)
+* \#41 Spike: Fragengenerierung
+* \#25 Recherche/Definition Endpoints
+* \#26 Chatbot-Vokabeln
+* \#33 Abbildung der JSON-Konfiguration in eine geeignete Kotlin-Datenstruktur und Implementation des zugehörigen Endpoints
+* \#30 Implementation Endpoint Hochladen einer DOCX-Datei
+* \#31 Implementation Endpoint Hochladen einer DOCX-FAQ-Datei mit Änderungen
+* \#34 Definition einer MongoDB-Struktur
+* \#36 Methoden zum Lesen, Schreiben und Ändern der MongoDB
+* \#38 Extraction von Fragen und Antworten einer HTML-FAQ-Datei auf Basis einer Konfiguration
+* \#37 Extraction von Fragen und Antworten einer DOCX-FAQ-Datei auf Basis einer Konfiguration
+* \#39 Daten in die MongoDB schreiben und Zusammenfassung einbinden
+* \#28 Überarbeitung ID-Generierung
+* \#40 Einlesen und Parsen einer HTML-Seite mit JSOUP, Zerlegen in semantische Blöcke
+* \#43 Question Generator
+* \#55 Fragemöglichkeit mit Chatette generieren
+* \#56 Fragemöglichkeit mit Bibliothek Question Generator generieren
 
 **3. Sprint: 9.6. - 7.7**

src/docker-compose.yaml

@@ -11,6 +11,8 @@ services:
     build: ktor-server
     ports:
       - 8080:8080
+    volumes:
+      - ./ktor-server/uploads:/home/gradle/src/build/install/ktor-server/bin/uploads
 
   openapi_validator:
     build: docker-openapi-validator

src/ktor-server/Dockerfile

@@ -4,5 +4,6 @@ WORKDIR /home/gradle/src
 RUN gradle clean installDist --no-daemon
 EXPOSE 8080
 WORKDIR  /home/gradle/src/build/install/ktor-server/bin
+RUN mkdir -p /home/gradle/src/build/install/ktor-server/bin/uploads
 CMD ./ktor-server
 

src/ktor-server/src/main/kotlin/de/h_da/fbi/smebt/intentfinder/server/Application.kt

@@ -14,7 +14,7 @@ import io.ktor.serialization.*
 import kotlinx.serialization.json.Json
 import java.io.File
 import java.lang.RuntimeException
-
+import de.h_da.fbi.smebt.intentfinder.server.upload.registerApiRoutes
 
 fun main(args: Array<String>): Unit = io.ktor.server.netty.EngineMain.main(args)
 
@@ -133,7 +133,7 @@ fun Application.module() {
 
     }
     //   registerUploadRoutes()
-
+    registerApiRoutes()
 }
 
 class InternalServerErrorException : RuntimeException()

src/ktor-server/src/main/kotlin/de/h_da/fbi/smebt/intentfinder/server/upload/ApiRoutes.kt

+package de.h_da.fbi.smebt.intentfinder.server.upload
+
+
+import io.ktor.application.*
+import io.ktor.http.*
+import io.ktor.http.content.*
+import io.ktor.request.*
+import io.ktor.response.*
+import io.ktor.routing.*
+import java.io.File
+import java.nio.file.Files
+import java.nio.file.Paths
+import kotlinx.serialization.Serializable
+import java.text.SimpleDateFormat
+import java.util.*
+
+
+@Serializable
+data class FileStatus(val path: String, val status: String)
+
+fun Route.apiRouting() {
+    route("/") {
+        post("{chatbotId}/file") {
+            var fileDescription = ""
+            var fileName = ""
+            var status = "error"
+            var  path=""
+            val multipartData = call.receiveMultipart()
+            val pathFile = call.parameters["chatbotId"].toString()
+            val pathAsFile = File("uploads/$pathFile")
+            if (!Files.exists(Paths.get(pathFile))) {
+                pathAsFile.mkdir()
+            }
+            multipartData.forEachPart { part ->
+                when (part) {
+                    is PartData.FormItem -> {
+                        fileDescription = part.value
+                    }
+                    is PartData.FileItem -> {
+                        fileName = part.originalFileName as String
+                        var fileBytes = part.streamProvider().readBytes()
+                        val file = File("uploads/$pathFile/$fileName")
+
+                        if (!file.exists()) {
+                            file.createNewFile()
+                            file.writeBytes(fileBytes)
+                            status = "created"
+                            path= file.path
+                        } else {
+                            call.respond(HttpStatusCode.InternalServerError, "file alredy  exist")
+                        }
+                    }
+                }
+            }
+            //'uploads/$pathFile/$fileName'
+            call.respond(FileStatus(path = "$path", status = "$status"))
+        }
+        put("{chatbotId}/file/{id}/{filename}") {
+
+            var fileDescription = ""
+            var fileName = ""
+            var newName = ""
+            val name = call.parameters["filename"].toString()
+            val pathFile = call.parameters["chatbotId"].toString()
+            var status = "error"
+            var file = File("uploads/$pathFile/$name")
+            val multipartData = call.receiveMultipart()
+            var fileContent = ""
+            multipartData.forEachPart { part ->
+                when (part) {
+                    is PartData.FormItem -> {
+                        if (part.name.toString().equals("description")) {
+                            fileDescription = part.value
+                        }
+                        if (part.name.toString().equals("id")) {
+                            var fileId = part.value
+                            if (!fileId.equals(call.parameters["id"].toString()))
+                                call.respond(HttpStatusCode.NotFound)
+                        }
+                    }
+                    is PartData.FileItem -> {
+                        if (file.exists()) {
+                            fileName = part.originalFileName as String
+                            val time = System.currentTimeMillis()
+                            val date = Date(time)
+                            val format = SimpleDateFormat("yyMMddHHmm")
+                            val current = format.format(date)
+                            newName = file.nameWithoutExtension +"_"+ current + "." + file.extension
+                            var fileBytes = part.streamProvider().readBytes()
+                            File("uploads/$pathFile/$newName").writeBytes(fileBytes)
+                            fileContent = part.streamProvider().reader().readText()
+                            status = "updated"
+
+                        } else {
+                            call.respond(HttpStatusCode.NotFound, "file not found")
+                        }
+
+                    }
+                }
+            }
+            call.respond(FileStatus(path = "'/uploads/$pathFile/$newName'", status = "$status"))
+
+        }
+    }
+}
+fun Application.registerApiRoutes() {
+    routing {
+        apiRouting()
+    }
+}