GPU in Proxmox durchreichen und OLLAMA2 nutzen.. #proxmox #ollama #nvidia

Super. Ich freue mich auf die kommenden Videos die auf die internen Inhalte trainiert werden

Endlich mal was neues und Interessantes. Weiter so. Macht Lust auf was neues. Ein paar "nützliche" Anwendungen wären auch schön.

Oh, der Schröder Dennis macht wieder was Interessantes. Bin sehr gespannt, meine Tesla P4 hab ich letztes Jahr gekauft, musste aber leider dringendere Dinge erledigen. Da gibt es ja ein paar Sachen zu beachten beim Durchreichen und bisher fehlte halt leider die Zeit. Also sehr cooles Projekt, passt wie die Faust aufs Auge.

Open WebUI arbeitet wahrscheinlich auf der CPU, weil der Container nicht mit dem Kernel direkt sprechen kann. Starte das Ding als privileged Container mit host Network, dann sieht das Ergebnis sehr wahrscheinlich so aus wie in der CLI.

Das 13b Model passt nicht vollständig in den "kleinen" VRAM der Tesla-GPU und muss zum Teil auch in den normalen RAM geladen werden. Dies führt dazu, dass auch die CPU mitackern muss. In der Beschreibung des llama2 (Q4) Models auf ollama steht: 7b models generally require at least 8GB of RAM 13b models generally require at least 16GB of RAM 70b models generally require at least 64GB of RAM

Interessant, bin gespannt auf das Video zum Finetuning von den Modellen. Eine Übersicht über GPU's zum Mieten wäre da noch ganz gut

Interessant aber bereits beim ausbinden der PCIe aus dem OS (Proxmox) bin ich leider nicht mehr mitgekommen. Bin noch auf Lernstufe 2 (Tutorial Niveau) aber danke für die ausblicke wofür es sich zum lernen lohnt.

@RaspberryPiCloud: Zum Speicherplatz-Problem: Rein bildlich gesprochen, kann man auch die Anzahl der enthaltenen "hard facts" im Modell auf die Anzahl der Gewichte mappen. Ich finde, die Metapher einer "Datenbank" + "Datenverabreitungsroutinen" => "Anzahl der Gewichte" (z.B. 7b, 13b, 70b) recht eingänglich. Ein Modell kann nur dann effizient angewendet werden, wenn alle (relevanten) Gewichte im VRAM der Grafikkarte liegen. Das ist leider bei den größeren Modellen (bei dir z.B. das Llama 13b) nicht mehr der Fall. Deshalb greift es dann in deinem Test (10:30) auf den normalen RAM und Prozessor zurück.

Die Frage ist jetzt nur welches Model willst du verwenden von den allen die es gibt um dieses zu traineren und zu füttern mit IPV64? Bzw hast du dich schon entschieden für ein Model welches du verwenden möchtest für IPv64?

Wie immer tolles Video. Würde Open Web UI mit Ollama auf einem Nitel Nuc Sinn machen?

Wie hast Du die Kühlung der GPU geplant? Soweit ich das verstehe ich die GraKa zwar passiv gekühlt, braucht aber wie in Server gewöhnlich einen entsprechenden aktiven Luftstrom.

Wie heißt denn das Tool im HIntergrund auf dem Fernseher?

Danke für die Erklärung! Musste ich direkt mal testen ... jedoch bemerke ich das llama3 bei mir nur die CPU belastet und nicht die GPU obwohl diese erkannt wird und alles ... auch hab ich bemerkt, dass das Modell nicht in die GPU geladen wird. Hast du da vielleicht noch einen kleinen kniff auf Lager ? :)

Hallo, was ist das denn für eine Maus, die Du benutzt? VG René

Sind das vorgefertigte Images / Infos oder kann man die selber anlernen bzw. füttern mit Infos

Sooooo, i saw this video and of course i thought it was a cool project so i bought a minsforum MS-01 and a Tesla P4 (Ofcourse not just because of this video ;-). But as i am expirimenting with it i cant get ollama to use the Tesla P4 card. I have installed the drivers and the cuda drivers for the card. Can someone tell me what i am doing wrong?... Thanks!

Hallo, Sehr interessantes Projekt. Gibt es die Möglichkeit zb meine Bücher einzuscannen u dann die Texte in die KI einzupflegen,so dass ich ihr Fragen stellen kann u sie mir aus dem Wissen der Bücher heraus antwortet? Vielen lieben Dank /Nick

Geht gpu pass through mit dem auch in true as zb fúr ne ai App?

Bin dann Mal gespannt, wie das Modell dann portiert wird auf andere Hardware

vdi ist auch interessant besonders mit thin client