{"id":3874,"date":"2024-06-10T07:00:00","date_gmt":"2024-06-10T05:00:00","guid":{"rendered":"https:\/\/www.my-it-brain.de\/wordpress\/?p=3874"},"modified":"2024-06-06T20:48:08","modified_gmt":"2024-06-06T18:48:08","slug":"instructlab-das-erste-training-ist-beendet","status":"publish","type":"post","link":"https:\/\/www.my-it-brain.de\/wordpress\/instructlab-das-erste-training-ist-beendet\/","title":{"rendered":"InstructLab: Das erste Training ist beendet"},"content":{"rendered":"\n<p>Dies ist die Fortsetzung von \u201e<a href=\"https:\/\/www.my-it-brain.de\/wordpress\/mit-instructlab-zu-large-language-models-beitragen\/\" data-type=\"post\" data-id=\"3847\">Mit InstructLab zu Large Language Models beitragen<\/a>\u201c. Hier beschreibe ich, wie es nach dem Training weitergeht.<\/p>\n\n\n\n<p>Das Training auf einer virtuellen Maschine mit Fedora 40 Server, 10 CPU-Threads und 32 GB RAM dauerte <strong>180 Std. 44 Min. 7 Sek<\/strong>. Ich halte an dieser Stelle fest, ohne GPU-Beschleunigung fehlt es mir pers\u00f6nlich an Geduld. So macht das Training keinen Spa\u00df.<\/p>\n\n\n\n<p>Nach dem Training mit <code>ilab train<\/code> findet man ein brandneues LLM auf dem eigenen System:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>(venv) tronde@instructlab:~\/src\/instructlab$ ls -ltrh models\ntotal 18G\n-rw-r--r--. 1 tronde tronde 4.1G May 28 20:34 merlinite-7b-lab-Q4_K_M.gguf\n-rw-r--r--. 1 tronde tronde  14G Jun  6 12:07 ggml-model-f16.gguf<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\">Test des neuen Modells<\/h2>\n\n\n\n<p>Den Chat mit dem LLM starte ich mit dem Befehl <code>ilab chat -m models\/ggml-model-f16.gguf<\/code>. Das folgende Bild zeigt zwei Chats mit jeweils unterschiedlichem Ergebnis:<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"639\" height=\"800\" src=\"https:\/\/www.my-it-brain.de\/wordpress\/wp-content\/uploads\/2024\/06\/Screenshot-from-2024-06-06-20-30-09-639x800.png\" alt=\"Das Bild zeigt zwei Chats mit dem neuen LLM. Es ist zu sehen, dass es zu zwei unterschiedlichen Ausgaben kommt, von denen keine die richtige Antwort liefert.\" class=\"wp-image-3875\" srcset=\"https:\/\/www.my-it-brain.de\/wordpress\/wp-content\/uploads\/2024\/06\/Screenshot-from-2024-06-06-20-30-09-639x800.png 639w, https:\/\/www.my-it-brain.de\/wordpress\/wp-content\/uploads\/2024\/06\/Screenshot-from-2024-06-06-20-30-09-240x300.png 240w, https:\/\/www.my-it-brain.de\/wordpress\/wp-content\/uploads\/2024\/06\/Screenshot-from-2024-06-06-20-30-09-768x962.png 768w, https:\/\/www.my-it-brain.de\/wordpress\/wp-content\/uploads\/2024\/06\/Screenshot-from-2024-06-06-20-30-09-624x781.png 624w, https:\/\/www.my-it-brain.de\/wordpress\/wp-content\/uploads\/2024\/06\/Screenshot-from-2024-06-06-20-30-09.png 869w\" sizes=\"auto, (max-width: 639px) 100vw, 639px\" \/><figcaption class=\"wp-element-caption\">Zwei Chats mit dem frisch trainierten LLM. Beide Male erhalte ich nicht die erhoffte Antwort.<\/figcaption><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">Fazit<\/h2>\n\n\n\n<p>Schade, das hat nicht so funktioniert, wie ich mir das vorgestellt habe. Es kommt weiterhin zu KI-Halluzinationen und nur gelegentlich gesteht das LLM seine Unkenntnis bzw. seine Unsicherheit ein.<\/p>\n\n\n\n<p>F\u00fcr mich sind damit 180 Stunden Rechenzeit verschwendet. Ich werde bis auf Weiteres keine Trainings ohne Beschleuniger-Karten mehr durchf\u00fchren. Jedoch werde ich mir von Zeit zu Zeit aktualisierte Releases der verf\u00fcgbaren Modelle herunterladen und diesen Fragen stellen, deren Antworten ich bereits kenne.<\/p>\n\n\n\n<p>Wenn sich mir die Gelegenheit bietet, diesen Versuch auf einem Rechner mit entsprechender GPU-Hardware zu wiederholen, werde ich die Erkenntnisse hier im Blog teilen.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Dies ist die Fortsetzung von \u201eMit InstructLab zu Large Language Models beitragen\u201c. Hier beschreibe ich, wie es nach dem Training weitergeht. Das Training auf einer virtuellen Maschine mit Fedora 40 Server, 10 CPU-Threads und 32 GB RAM dauerte 180 Std. 44 Min. 7 Sek. Ich halte an dieser Stelle fest, ohne GPU-Beschleunigung fehlt es mir<span class=\"continue-reading\"> <a href=\"https:\/\/www.my-it-brain.de\/wordpress\/instructlab-das-erste-training-ist-beendet\/\">[Weiterlesen&#8230;]<\/a><\/span><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_metis_text_type":"","_metis_text_length":0,"_post_count":0,"footnotes":""},"categories":[51],"tags":[836,833,835,834],"class_list":["post-3874","post","type-post","status-publish","format-standard","hentry","category-linux","tag-ai","tag-instructlab","tag-ki","tag-llm"],"_links":{"self":[{"href":"https:\/\/www.my-it-brain.de\/wordpress\/wp-json\/wp\/v2\/posts\/3874","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.my-it-brain.de\/wordpress\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.my-it-brain.de\/wordpress\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.my-it-brain.de\/wordpress\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.my-it-brain.de\/wordpress\/wp-json\/wp\/v2\/comments?post=3874"}],"version-history":[{"count":1,"href":"https:\/\/www.my-it-brain.de\/wordpress\/wp-json\/wp\/v2\/posts\/3874\/revisions"}],"predecessor-version":[{"id":3876,"href":"https:\/\/www.my-it-brain.de\/wordpress\/wp-json\/wp\/v2\/posts\/3874\/revisions\/3876"}],"wp:attachment":[{"href":"https:\/\/www.my-it-brain.de\/wordpress\/wp-json\/wp\/v2\/media?parent=3874"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.my-it-brain.de\/wordpress\/wp-json\/wp\/v2\/categories?post=3874"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.my-it-brain.de\/wordpress\/wp-json\/wp\/v2\/tags?post=3874"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}