Ich möchte gerne AI nutzen, aber auf der anderen Seite habe ich Bedenken, inwieweit persönliche Daten abfließen, und noch stärker personalisierte Profile erstellt werden. Daher habe ich den Plan lokale AIs laufen zu lassen.
Für den ersten Umgang damit habe ich Alpaca (für Linux) und Ollama (via Alpaca) installiert. Damit ist es mir möglich LLMs herunterzuladen, um sie dann lokal laufen zu lassen.
Recherche
- Der Speicherbedarf eines Modells ist in etwa die halbe Anzahl der Paramter (in Milliarden (“Billions”)) in Gigabyte. Also für ein 120B Modell etwa 60 GB. - Quelle: https://www.heise.de/news/Video-So-installiert-und-nutzt-ihr-lokale-KI-Modelle-11318296.html
- Durch Quantisierung ist es möglich den Speicherbedarf zu reduzieren. Das bringt jedoch eigene Vor- und Nachteile mit.