<?xml version="1.0"?>
<feed xmlns="http://www.w3.org/2005/Atom" xml:lang="de">
	<id>https://staging.moocwiki.org/index.php?action=history&amp;feed=atom&amp;title=Private_AI_und_Corporate_LLMs</id>
	<title>Private AI und Corporate LLMs - Versionsgeschichte</title>
	<link rel="self" type="application/atom+xml" href="https://staging.moocwiki.org/index.php?action=history&amp;feed=atom&amp;title=Private_AI_und_Corporate_LLMs"/>
	<link rel="alternate" type="text/html" href="https://staging.moocwiki.org/index.php?title=Private_AI_und_Corporate_LLMs&amp;action=history"/>
	<updated>2026-06-11T07:48:58Z</updated>
	<subtitle>Versionsgeschichte dieser Seite in MOOCsWiki Staging</subtitle>
	<generator>MediaWiki 1.45.3</generator>
	<entry>
		<id>https://staging.moocwiki.org/index.php?title=Private_AI_und_Corporate_LLMs&amp;diff=20194&amp;oldid=prev</id>
		<title>Glanz am 24. November 2025 um 21:05 Uhr</title>
		<link rel="alternate" type="text/html" href="https://staging.moocwiki.org/index.php?title=Private_AI_und_Corporate_LLMs&amp;diff=20194&amp;oldid=prev"/>
		<updated>2025-11-24T21:05:50Z</updated>

		<summary type="html">&lt;p&gt;&lt;/p&gt;
&lt;p&gt;&lt;b&gt;Neue Seite&lt;/b&gt;&lt;/p&gt;&lt;div&gt;{{:MOOCit - Oben}}&lt;br /&gt;
&amp;lt;br&amp;gt;&lt;br /&gt;
{{#ev:youtube|https://www.youtube.com/watch?v=0PogQDp2AGo|500|center}}&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
= Einleitung =&lt;br /&gt;
Dieser aiMOOC führt Dich systematisch in &amp;#039;&amp;#039;&amp;#039;Private AI&amp;#039;&amp;#039;&amp;#039; und &amp;#039;&amp;#039;&amp;#039;Corporate LLMs&amp;#039;&amp;#039;&amp;#039; ein – also in [[KI|KI-Systeme]], die lokal auf Deinem Rechner oder auf &amp;#039;&amp;#039;&amp;#039;eigener Infrastruktur&amp;#039;&amp;#039;&amp;#039; (On-Premises, Private Cloud) laufen. Der Fokus liegt auf &amp;#039;&amp;#039;&amp;#039;Datensicherheit&amp;#039;&amp;#039;&amp;#039; (&amp;#039;&amp;#039;&amp;#039;DSGVO&amp;#039;&amp;#039;&amp;#039;-Konformität), Kostenkontrolle und Unabhängigkeit von hyperskaligen US-Clouds. Du erhältst fundierte theoretische Grundlagen (Parameter, Quantisierung, Formate), konkrete Architektur-Blueprints (Open-Source-Stack mit [[Open WebUI]], [[Ollama]], [[Qdrant]], [[Caddy]] u. a.), rechtliche Leitplanken (&amp;#039;&amp;#039;&amp;#039;EU AI Act&amp;#039;&amp;#039;&amp;#039;, Datenübermittlungen in Drittländer) sowie fünf durchgehende Praxis-Use-Cases – vom unternehmensweiten Chat-Workspace über RAG-Workflows bis hin zu OMR-Automatisierung in sensiblen Kontexten. Damit kannst Du Private-AI-Lösungen professionell planen, implementieren und betreiben. :contentReference[oaicite:0]{index=0}&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
{{#ev:youtube|https://www.youtube.com/watch?v=uv0fL2nEtSI|500|center}}&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
= Videozusammenfassung (Executive Summary) =&lt;br /&gt;
Das verlinkte Video argumentiert, dass Standard-Abos (z. B. ChatGPT-Team-Lizenzen) bei Skalierung teuer werden und datenschutzrechtlich problematisch sein können. Stattdessen empfiehlt der Sprecher &amp;#039;&amp;#039;&amp;#039;Corporate LLMs&amp;#039;&amp;#039;&amp;#039; auf eigener Infrastruktur (On-Prem/Private Cloud), sodass Daten das Unternehmen nicht verlassen und Richtlinien (RBAC, SSO, Freigaben) zentral durchgesetzt werden. Er definiert sauber: &amp;#039;&amp;#039;&amp;#039;Private KI&amp;#039;&amp;#039;&amp;#039; (Oberbegriff für KI auf eigener Hardware), &amp;#039;&amp;#039;&amp;#039;lokales LLM&amp;#039;&amp;#039;&amp;#039; (vollständig offline auf Endgerät, z. B. via [[Ollama]]), &amp;#039;&amp;#039;&amp;#039;self-hosted LLM&amp;#039;&amp;#039;&amp;#039; (eigene Server/Private Cloud) und &amp;#039;&amp;#039;&amp;#039;Corporate LLM&amp;#039;&amp;#039;&amp;#039; (unternehmensweit verwaltetes System mit Governance). Anschaulich erklärt er die Funktionsweise [[Neuronales Netz|neuronaler Netze]], die Bedeutung von &amp;#039;&amp;#039;&amp;#039;Parametern&amp;#039;&amp;#039;&amp;#039; und die &amp;#039;&amp;#039;&amp;#039;Quantisierung&amp;#039;&amp;#039;&amp;#039; (z. B. &amp;#039;&amp;#039;&amp;#039;Q4_K_M&amp;#039;&amp;#039;&amp;#039; als guter Kompromiss für Alltags-Workloads). Hardware-Leitlinien: 7–8B-Modelle laufen auf moderner Laptop-Hardware, 14–20B erfordern mehr RAM/VRAM, 70B+ meist Server/Mehr-GPU. Fünf Use-Cases werden im Detail demonstriert: 1) Open-WebUI-Workspace mit &amp;#039;&amp;#039;&amp;#039;Caddy&amp;#039;&amp;#039;&amp;#039;-Reverse-Proxy, &amp;#039;&amp;#039;&amp;#039;Watchtower&amp;#039;&amp;#039;&amp;#039;-Updates und &amp;#039;&amp;#039;&amp;#039;Microsoft Entra ID&amp;#039;&amp;#039;&amp;#039;-SSO; 2) &amp;#039;&amp;#039;&amp;#039;n8n&amp;#039;&amp;#039;&amp;#039;-Automatisierung mit &amp;#039;&amp;#039;&amp;#039;RAG&amp;#039;&amp;#039;&amp;#039; (Embeddings via Ollama, Vektoren in [[Qdrant]]); 3) lokaler &amp;#039;&amp;#039;&amp;#039;Sprachassistent&amp;#039;&amp;#039;&amp;#039; mit [[Whisper]]/whisper.cpp und Hotkey-Steuerung; 4) &amp;#039;&amp;#039;&amp;#039;Kanzlei-Pipeline&amp;#039;&amp;#039;&amp;#039; zur Dokumentenextraktion und Gutachtenerstellung (inkl. Parallel-Modelle und Feedback); 5) &amp;#039;&amp;#039;&amp;#039;OMR&amp;#039;&amp;#039;&amp;#039;-Auswertung mit [[Poppler]]/pdftoppm und [[Tesseract]] für hunderte Papierfragebögen. Ein Experten-Interview betont, dass &amp;#039;&amp;#039;&amp;#039;spezialisierte kleinere Modelle&amp;#039;&amp;#039;&amp;#039; in klar umrissenen Domänen oft besser und datenschutzfreundlicher performen als riesige Cloud-Modelle. Das Fazit: Corporate LLMs sind keine Mode, sondern &amp;#039;&amp;#039;&amp;#039;Kern-Infrastruktur&amp;#039;&amp;#039;&amp;#039; für Rechtssicherheit, Kosteneffizienz und IP-Schutz. &lt;br /&gt;
&lt;br /&gt;
[[Datei:Neuron.svg|500px|rahmenlos|zentriert]]&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
= Grundlagen &amp;amp; Rechtsrahmen =&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== EU AI Act: Zeitplan und Bedeutung für Private AI ==&lt;br /&gt;
Der &amp;#039;&amp;#039;&amp;#039;EU AI Act&amp;#039;&amp;#039;&amp;#039; tritt gestaffelt in Kraft. Verbotene Nutzungen gelten bereits seit 02.02.2025; Pflichten für &amp;#039;&amp;#039;&amp;#039;General-Purpose-AI&amp;#039;&amp;#039;&amp;#039; (GPAI) laufen seit 02.08.2025 an. Weitere Teile – inklusive hochriskanter Systeme und nationale Sandboxes – folgen bis 2026/2027. Für Private-AI-Deployments bedeuten die Übergangsfristen: rechtzeitig Governance (Risikomanagement, Logging, Dokumentation) etablieren, Domänenrisiken bewerten und Transparenzpflichten prüfen. :contentReference[oaicite:1]{index=1}&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Internationale Datentransfers: Schrems II &amp;amp; EU-US Data Privacy Framework ==&lt;br /&gt;
Das &amp;#039;&amp;#039;&amp;#039;Schrems-II&amp;#039;&amp;#039;&amp;#039;-Urteil (C-311/18) erklärte 2020 &amp;#039;&amp;#039;&amp;#039;Privacy Shield&amp;#039;&amp;#039;&amp;#039; für ungültig; &amp;#039;&amp;#039;&amp;#039;SCCs&amp;#039;&amp;#039;&amp;#039; bleiben nutzbar, aber nur mit strengen Zusatzprüfungen. 2023 folgte die &amp;#039;&amp;#039;&amp;#039;Angemessenheitsentscheidung&amp;#039;&amp;#039;&amp;#039; für das &amp;#039;&amp;#039;&amp;#039;EU-US Data Privacy Framework (DPF)&amp;#039;&amp;#039;&amp;#039;. Unternehmen müssen dennoch sorgfältig prüfen, ob DPF/SCCs den konkreten Verarbeitungsvorgang abdecken. &amp;#039;&amp;#039;&amp;#039;Private AI&amp;#039;&amp;#039;&amp;#039; reduziert die Exponierung, indem sensible Verarbeitung lokal/in der EU bleibt. :contentReference[oaicite:2]{index=2}&lt;br /&gt;
&lt;br /&gt;
[[Datei:Scale of justice 2.svg|500px|rahmenlos|zentriert]]&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Begriffe: Private KI, Lokal, Self-Hosted, Corporate LLM ==&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Private KI&amp;#039;&amp;#039;&amp;#039; ist der Oberbegriff für KI auf &amp;#039;&amp;#039;&amp;#039;eigener Hardware&amp;#039;&amp;#039;&amp;#039; (On-Device, On-Prem, Private Cloud). Ein &amp;#039;&amp;#039;&amp;#039;lokales LLM&amp;#039;&amp;#039;&amp;#039; läuft vollständig offline auf dem Endgerät (z. B. mit [[Ollama]]). &amp;#039;&amp;#039;&amp;#039;Self-Hosted LLMs&amp;#039;&amp;#039;&amp;#039; residieren auf kontrollierten Servern (z. B. EU-Rechenzentrum), und &amp;#039;&amp;#039;&amp;#039;Corporate LLMs&amp;#039;&amp;#039;&amp;#039; fassen dies als &amp;#039;&amp;#039;&amp;#039;verwaltete Unternehmens-Plattform&amp;#039;&amp;#039;&amp;#039; mit SSO, RBAC, Audit-Logs, Richtlinien und Tool-Integrationen zusammen. [[Open WebUI]] und [[Ollama]] bilden dafür eine verbreitete Open-Source-Kombination. :contentReference[oaicite:3]{index=3}&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Technische Grundlagen: Parameter, Quantisierung &amp;amp; Formate ==&lt;br /&gt;
Größere &amp;#039;&amp;#039;&amp;#039;Parameter&amp;#039;&amp;#039;&amp;#039;-Zahlen korrelieren oft mit Leistungsfähigkeit, benötigen aber viel RAM/VRAM. &amp;#039;&amp;#039;&amp;#039;Quantisierung&amp;#039;&amp;#039;&amp;#039; (z. B. 16-Bit → 4-Bit) senkt Speicherbedarf und beschleunigt Inferenz – mit begrenztem Genauigkeitsverlust. In [[llama.cpp]]/GGUF sind &amp;#039;&amp;#039;&amp;#039;K-Quants&amp;#039;&amp;#039;&amp;#039; wie &amp;#039;&amp;#039;&amp;#039;Q4_K_M&amp;#039;&amp;#039;&amp;#039; weit verbreitet (guter Qualitäts-/Geschwindigkeitskompromiss); Tabellen belegen die Bits-pro-Gewicht-Profile. Für produktive Workloads sollte man Varianten gegeneinander testen (K-Quants vs. neuere IQ-Quants) und die Zielhardware berücksichtigen. :contentReference[oaicite:4]{index=4}&lt;br /&gt;
&lt;br /&gt;
[[Datei:Neural network.svg|500px|rahmenlos|zentriert]]&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
= Hardware &amp;amp; Architektur =&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Hardware-Leitplanken (Daumenwerte, Q4-Quantisierung) ==&lt;br /&gt;
Für &amp;#039;&amp;#039;&amp;#039;7B–8B&amp;#039;&amp;#039;&amp;#039;-Modelle reichen häufig 4–8 GB VRAM (oder entsprechend viel System-RAM bei CPU-Inferenz) für flüssige Interaktionen; &amp;#039;&amp;#039;&amp;#039;14B–20B&amp;#039;&amp;#039;&amp;#039; profitieren von 8–16 GB VRAM bzw. 32–64 GB RAM; &amp;#039;&amp;#039;&amp;#039;70B+&amp;#039;&amp;#039;&amp;#039; verlangen in der Regel Server- bzw. Multi-GPU-Setups. Passe Kontextfenster, Batch-Größen und quantisierte Gewichte an die verfügbare Speicherbandbreite an, teste mehrere Quant-Profile (z. B. Q4_K_M vs. Q5_K_M). (Technisch untermauert durch Messdaten und Tabellen aus der GGUF-/llama.cpp-Welt.) :contentReference[oaicite:5]{index=5}&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Architektur-Blueprint (EU-konformer Self-Hosted-Stack) ==&lt;br /&gt;
Ein praxistauglicher Blueprint umfasst: &amp;#039;&amp;#039;&amp;#039;Interface&amp;#039;&amp;#039;&amp;#039; mit [[Open WebUI]] (Chat, RAG, Prompt-Bibliothek, RBAC, Gruppen, Upload-Wissen), &amp;#039;&amp;#039;&amp;#039;Model-Runner&amp;#039;&amp;#039;&amp;#039; via [[Ollama]] (lokal/Server), &amp;#039;&amp;#039;&amp;#039;Vektor-DB&amp;#039;&amp;#039;&amp;#039; [[Qdrant]] für Embeddings und semantische Suche, &amp;#039;&amp;#039;&amp;#039;Reverse Proxy&amp;#039;&amp;#039;&amp;#039; [[Caddy]] (Automatic HTTPS/ACME), &amp;#039;&amp;#039;&amp;#039;Updates&amp;#039;&amp;#039;&amp;#039; via [[Watchtower]], sicheres &amp;#039;&amp;#039;&amp;#039;Overlay-Netz&amp;#039;&amp;#039;&amp;#039; über [[Tailscale]] (WireGuard, MagicDNS) zur Kopplung lokaler GPUs mit dem zentralen Web-Workspace, &amp;#039;&amp;#039;&amp;#039;Hosting&amp;#039;&amp;#039;&amp;#039; bei EU-Anbietern (z. B. &amp;#039;&amp;#039;&amp;#039;Hetzner&amp;#039;&amp;#039;&amp;#039; mit DPA). :contentReference[oaicite:6]{index=6}&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
&lt;br /&gt;
= Praxis: Fünf Use Cases Schritt für Schritt =&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Use Case 1 – Corporate LLM Workspace (Open WebUI) ==&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Ziel&amp;#039;&amp;#039;&amp;#039;: Unternehmensweiter Chat-Workspace (ChatGPT-ähnliche UX), &amp;#039;&amp;#039;&amp;#039;self-hosted&amp;#039;&amp;#039;&amp;#039; auf EU-Servern.  &lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Kernschritte&amp;#039;&amp;#039;&amp;#039;:  &lt;br /&gt;
{{o}} Server (z. B. Hetzner Cloud) bereitstellen, &amp;#039;&amp;#039;&amp;#039;DPA&amp;#039;&amp;#039;&amp;#039; abschließen, Domain konfigurieren.  &lt;br /&gt;
{{o}} [[Open WebUI]] und [[Ollama]] per &amp;#039;&amp;#039;&amp;#039;Docker Compose&amp;#039;&amp;#039;&amp;#039; deployen; Volumes für Modelle/Uploads anlegen.  &lt;br /&gt;
{{o}} [[Caddy]] als Reverse-Proxy davorsetzen; &amp;#039;&amp;#039;&amp;#039;Automatic HTTPS&amp;#039;&amp;#039;&amp;#039; per ACME/Let’s Encrypt.  &lt;br /&gt;
{{o}} [[Watchtower]] für automatisierte Container-Updates; Wartungsfenster/Canary-Rollouts definieren.  &lt;br /&gt;
{{o}} SSO via &amp;#039;&amp;#039;&amp;#039;Microsoft Entra ID&amp;#039;&amp;#039;&amp;#039; (OIDC) einrichten; optional Passwort-Login deaktivieren (SSO-only).  &lt;br /&gt;
{{o}} RBAC/Teams in Open WebUI pflegen (z. B. Marketing → leistungsstärkeres Modell, Dev → Code-Modelle); Richtlinie: primär lokale Modelle, Fallback nur für nicht-sensitive Spitzenlasten. &lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Use Case 2 – Lokale Automatisierung &amp;amp; RAG-Agents (n8n) ==&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Ziel&amp;#039;&amp;#039;&amp;#039;: Self-hosted Workflows mit sensiblen Daten (Alternative zu Zapier/Make) und &amp;#039;&amp;#039;&amp;#039;RAG&amp;#039;&amp;#039;&amp;#039;-Q&amp;amp;A über interne Dokumente.  &lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Kernschritte&amp;#039;&amp;#039;&amp;#039;:  &lt;br /&gt;
{{o}} [[n8n]] über Docker/Docker-Compose self-hosten; Ressourcen, Backups und Zugriff absichern.  &lt;br /&gt;
{{o}} Pipeline: PDF-Import → Chunking → Embeddings (Ollama) → Vektorisierung in [[Qdrant]] → Chat-Agent (Retrieval + Antwortformulierung).  &lt;br /&gt;
{{o}} Automatisierung: Datei-Watcher importiert neue Dokumente, re-embeddet geänderte Dateien und invalidiert Caches. &lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Use Case 3 – Lokaler Sprachassistent (Voice Agent) ==&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Ziel&amp;#039;&amp;#039;&amp;#039;: Offline-Diktiergerät &amp;amp; Voice-Kommandos (Hotkey), besonders geeignet für Berufsgeheimnisträger.  &lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Kernschritte&amp;#039;&amp;#039;&amp;#039;:  &lt;br /&gt;
{{o}} [[Whisper]]/[[whisper.cpp]] lokal betreiben (GPU-beschleunigt, Apple Silicon/NVIDIA/CPU-Modi verfügbar).  &lt;br /&gt;
{{o}} Hotkey-Recorder: Aufnahme → Transkript in Zwischenablage oder als Trigger für [[n8n]]-Flows (z. B. Kalender, Tickets).  &lt;br /&gt;
{{o}} Qualität &amp;amp; Risiken: Stichproben-QS, Prompt-Vorlagen für Korrektur-Heuristiken; Hinweis auf mögliche Fehltranskriptionen/Halluzinationen in sensiblen Domänen. &lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Use Case 4 – Custom Corporate LLM für Kanzleien (Dokumentenanalytik) ==&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Ziel&amp;#039;&amp;#039;&amp;#039;: Massen-Extraktion juristisch relevanter Variablen aus Beschlüssen/Anträgen und automatisierte &amp;#039;&amp;#039;&amp;#039;Gutachten&amp;#039;&amp;#039;&amp;#039; per Template.  &lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Pipeline (Beispiel)&amp;#039;&amp;#039;&amp;#039;: Upload → OCR/Parsing → Extraktion (LLM, Regelsätze als Guardrails) → Parallel-Analyse mit zwei Modellen (Qualitätssicherung) → Feedback (Daumen hoch/runter) → Template-Engine (Word/PDF) → Audit-Logs.  &lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Compliance&amp;#039;&amp;#039;&amp;#039;: Verarbeitung &amp;#039;&amp;#039;&amp;#039;On-Prem/EU&amp;#039;&amp;#039;&amp;#039;, lückenlose Protokollierung, Rechte-/Rollenkonzepte, manuelle Freigabe vor externer Kommunikation.  &lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Use Case 5 – OMR für psychische Gefährdungsbeurteilung (ohne generative KI) ==&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Ziel&amp;#039;&amp;#039;&amp;#039;: Hunderte Papierfragebögen automatisiert digitalisieren – robust, kosteneffizient, datensparsam.  &lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Kernschritte&amp;#039;&amp;#039;&amp;#039;:  &lt;br /&gt;
{{o}} Rasterisierung mit [[Poppler]]/pdftoppm, Vorverarbeitung (Thresholding, Morphologie).  &lt;br /&gt;
{{o}} Checkbox-/Markenerkennung und Texte mit [[Tesseract]]/PyTesseract; Export nach CSV/Excel.  &lt;br /&gt;
{{o}} Optional: Vision-Modelle nur für Freitextfelder (mit lokaler Inferenz). &lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
&lt;br /&gt;
= Setup-Rezepte (Kurz &amp;amp; präzise) =&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Open WebUI + Ollama (Docker-Compose, Checkliste) ==&lt;br /&gt;
Docker/Compose installieren → Open-WebUI- und Ollama-Container definieren → Volumes (Modelle/Uploads) → Healthchecks → Reverse-Proxy (Caddy) → SSO/Secrets als ENV → RBAC/Policies in Open WebUI pflegen. &lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Caddy als Reverse Proxy (Automatic HTTPS) ==&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Caddy&amp;#039;&amp;#039;&amp;#039; übernimmt Zertifikatserwerb und -erneuerung automatisch (ACME/Let’s Encrypt/ZeroSSL), inklusive HTTP→HTTPS-Redirects und modernen Defaults; feinsteuerbar über Caddyfile-Direktiven. &lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Watchtower für Container-Updates ==&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Watchtower&amp;#039;&amp;#039;&amp;#039; überwacht Images, zieht Updates, fährt Container kontrolliert neu und erhält Start-Optionen; wähle für Produktion Monitoring-only oder gestaffelte Rollouts. &lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Vektor-DB Qdrant (RAG-Baustein) ==&lt;br /&gt;
[[Qdrant]] speichert Embeddings, unterstützt Filterung, Hybrid-Suche und Reranking; Local-Quickstart &amp;amp; Tutorials erleichtern den Einstieg in skalierbare Retrieval-Workflows. &lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Tailscale (WireGuard-Overlay, MagicDNS) ==&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Tailscale&amp;#039;&amp;#039;&amp;#039; verbindet lokale GPUs/Server sicher (WireGuard) und vereinfacht Namensauflösung mit &amp;#039;&amp;#039;&amp;#039;MagicDNS&amp;#039;&amp;#039;&amp;#039; (Hostnamen statt IPs) – ideal für hybride Corporate-LLM-Topologien. &lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Hosting &amp;amp; DPA (Hetzner) ==&lt;br /&gt;
Für DSGVO-Konformität ist bei Auftragsverarbeitung ein &amp;#039;&amp;#039;&amp;#039;DPA&amp;#039;&amp;#039;&amp;#039; mit dem Hoster notwendig; EU-Standorte wählen und TOMs dokumentieren. Hetzner stellt dafür Standard-DPA und Hilfeseiten bereit. &lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
&lt;br /&gt;
= Sicherheit, Compliance &amp;amp; Betrieb =&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Datenschutz &amp;amp; Governance ==&lt;br /&gt;
Erstelle ein &amp;#039;&amp;#039;&amp;#039;Verzeichnis von Verarbeitungstätigkeiten&amp;#039;&amp;#039;&amp;#039;, definiere &amp;#039;&amp;#039;&amp;#039;Rechtsgrundlagen&amp;#039;&amp;#039;&amp;#039; und &amp;#039;&amp;#039;&amp;#039;Zwecke&amp;#039;&amp;#039;&amp;#039;, halte &amp;#039;&amp;#039;&amp;#039;Logging/Audit&amp;#039;&amp;#039;&amp;#039; und &amp;#039;&amp;#039;&amp;#039;Risikomanagement&amp;#039;&amp;#039;&amp;#039; (AI-Act-konform) vor. Für internationale Transfers nutze SCCs/DPF nur nach Einzelfallprüfung – Private-AI-Verarbeitung &amp;#039;&amp;#039;&amp;#039;in der EU&amp;#039;&amp;#039;&amp;#039; minimiert Risiken. &lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Härtung und Betriebs-Best-Practices ==&lt;br /&gt;
{{o}} Netzwerkzugriffe minimieren (VPN/Tailscale), Admin-UIs hinter SSO, Firewall-Policies restriktiv.  &lt;br /&gt;
{{o}} &amp;#039;&amp;#039;&amp;#039;RBAC&amp;#039;&amp;#039;&amp;#039; streng nach Least-Privilege; Modellzugriffe team-/mandantenweise trennen.  &lt;br /&gt;
{{o}} Secret-Management (z. B. Vault/KMS), versionierte Prompts, Backups der Vektor-DB und Uploads.  &lt;br /&gt;
{{o}} Qualitätssicherung (human-in-the-loop), Evaluations-Sätze, Modell-/Prompt-Drift überwachen.  &lt;br /&gt;
{{o}} Dokumentiere Grenzen (z. B. ASR-Fehler/Halluzinationen) bei sensiblen Workflows. &lt;br /&gt;
&lt;br /&gt;
[[Datei:Padlock.svg|500px|rahmenlos|zentriert]]&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
&lt;br /&gt;
= Interaktive Aufgaben =&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Quiz: Teste Dein Wissen ==&lt;br /&gt;
{{MC}}&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Was ist das zentrale Ziel von Corporate LLMs in Unternehmen?&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
(Schutz sensibler Daten bei gleichzeitiger Kosten- und Infrastrukturkontrolle)&lt;br /&gt;
(!Maximale Abhängigkeit von externen Cloud-APIs)&lt;br /&gt;
(!Verzicht auf jegliche Authentifizierung)&lt;br /&gt;
(!Austausch aller Fachverfahren durch ein einziges Modell)&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Welche Aussage zur Quantisierung (z. B. Q4_K_M) trifft zu?&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
(Reduzierter Speicherbedarf und schnellere Inferenz bei moderatem Genauigkeitsverlust)&lt;br /&gt;
(!Hat nur Einfluss auf das Training, nicht auf die Inferenz)&lt;br /&gt;
(!Erhöht die Modellgröße)&lt;br /&gt;
(!Ist ausschließlich für Bildmodelle relevant)&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Welche Komponente liefert Automatic HTTPS ab Werk?&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
(Caddy)&lt;br /&gt;
(!Watchtower)&lt;br /&gt;
(!Qdrant)&lt;br /&gt;
(!Tailscale)&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Welche Aufgabe übernimmt Qdrant in einer RAG-Pipeline?&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
(Semantische Vektorsuche über Embeddings mit Filtermöglichkeiten)&lt;br /&gt;
(!Automatisches TLS-Zertifikatsmanagement)&lt;br /&gt;
(!Transkription von Audioaufnahmen)&lt;br /&gt;
(!Bereitstellung eines Reverse-Proxys)&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Wofür eignet sich Watchtower im Betrieb?&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
(Automatisierte Aktualisierung laufender Container-Images mit kontrolliertem Neustart)&lt;br /&gt;
(!Hardware-Monitoring von GPU-Temperaturen)&lt;br /&gt;
(!SAML-basierte Single-Sign-On-Anmeldung)&lt;br /&gt;
(!Indexierung von Vektoren)&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Was beschreibt MagicDNS in Tailscale?&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
(Automatische Hostnamen-Zuweisung für Geräte im privaten Netz)&lt;br /&gt;
(!Ein proprietäres Zertifikatsformat)&lt;br /&gt;
(!Ein OCR-Modul zur Formularerkennung)&lt;br /&gt;
(!Ein proprietärer Reverse-Proxy)&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Welche Rechtsfolge hatte Schrems II?&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
(Privacy Shield wurde für ungültig erklärt; SCCs bleiben mit Auflagen nutzbar)&lt;br /&gt;
(!Sämtliche Datentransfers in die USA wurden ohne Ausnahme erlaubt)&lt;br /&gt;
(!Die DSGVO wurde ausgesetzt)&lt;br /&gt;
(!Das EU-US Data Privacy Framework trat 2020 in Kraft)&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Welche Pflicht betrifft GPAI-Modelle laut EU AI Act besonders?&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
(Transparenz- und Governance-Pflichten mit schrittweiser Anwendung ab August 2025)&lt;br /&gt;
(!Pflicht zur Open-Source-Lizenzierung aller Modelle)&lt;br /&gt;
(!Verbot der Modellquantisierung)&lt;br /&gt;
(!Zwangshosting in US-Rechenzentren)&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Was ist ein Corporate-LLM-Hybridbetrieb?&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
(Primär lokale Inferenz, mit wohldefiniertem Fallback auf externe APIs für nicht-sensitive Spitzenlasten)&lt;br /&gt;
(!Gleichzeitige Nutzung beliebiger externer APIs ohne Richtlinien)&lt;br /&gt;
(!Ausschließlicher Betrieb in der Public Cloud)&lt;br /&gt;
(!Nur CPU-basierte Inferenz ohne GPU)&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;Welches Risiko ist bei Offline-ASR (Whisper) zu beachten?&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
(Mögliche Fehltranskriptionen/Halluzinationen, daher QS und kritische Nutzungshinweise)&lt;br /&gt;
(!Automatische Rechtskonformität ohne weitere Maßnahmen)&lt;br /&gt;
(!Notwendigkeit permanenter Internetverbindung)&lt;br /&gt;
(!Unvereinbarkeit mit DSGVO)&lt;br /&gt;
&lt;br /&gt;
{{E}}&lt;br /&gt;
&amp;lt;br&amp;gt;&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Memory ==&lt;br /&gt;
Erstelle passende Paare:&lt;br /&gt;
&lt;br /&gt;
&amp;lt;div class=&amp;quot;memo-quiz&amp;quot;&amp;gt;&lt;br /&gt;
{|&lt;br /&gt;
|-&lt;br /&gt;
| Private KI || Verarbeitung auf eigener Infrastruktur (On-Prem/Private Cloud)&lt;br /&gt;
|-&lt;br /&gt;
| Corporate LLM || Zentral verwaltete Unternehmensplattform mit SSO/RBAC&lt;br /&gt;
|-&lt;br /&gt;
| Open WebUI || Chat-Oberfläche mit RAG, Prompt-Bibliothek und Gruppenrechten&lt;br /&gt;
|-&lt;br /&gt;
| Ollama || Lokaler Model-Runner für LLMs (GGUF/Quantisierung)&lt;br /&gt;
|-&lt;br /&gt;
| Qdrant || Vektor­datenbank für Embeddings und semantische Suche&lt;br /&gt;
|-&lt;br /&gt;
| Caddy || Reverse Proxy mit Automatic HTTPS (ACME)&lt;br /&gt;
|-&lt;br /&gt;
| Watchtower || Automatisierte Updates für laufende Container&lt;br /&gt;
|-&lt;br /&gt;
| Tailscale || WireGuard-Overlay-Netz mit MagicDNS&lt;br /&gt;
|-&lt;br /&gt;
| Whisper || Offline-ASR für Sprach-zu-Text&lt;br /&gt;
|}&lt;br /&gt;
{{E}}&lt;br /&gt;
&amp;lt;br&amp;gt;&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Drag and Drop ==&lt;br /&gt;
&amp;lt;div class=&amp;quot;lueckentext-quiz&amp;quot;&amp;gt;&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot; &lt;br /&gt;
! Ordne die richtigen Begriffe zu.&lt;br /&gt;
! Thema&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;Qdrant&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| Vektordatenbank für semantische Suche&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;Caddy&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| Reverse Proxy mit Automatic HTTPS&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;Whisper&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| Lokale ASR-Transkription ohne Cloud&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;Watchtower&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| Automatisierte Container-Image-Updates&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;Tailscale&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| WireGuard-Overlay-Netz mit MagicDNS&lt;br /&gt;
&lt;br /&gt;
|}&lt;br /&gt;
{{E}}&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&amp;lt;br&amp;gt;&lt;br /&gt;
...&lt;br /&gt;
&amp;lt;br /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
{{:BRK}}&lt;br /&gt;
== Kreuzworträtsel ==&lt;br /&gt;
&amp;lt;div class=&amp;quot;kreuzwort-quiz&amp;quot;&amp;gt;&lt;br /&gt;
{|&lt;br /&gt;
|-&lt;br /&gt;
| datenschutz || Welches Ziel verfolgt Private AI in erster Linie?&lt;br /&gt;
|-&lt;br /&gt;
| quantisierung || Wie heißt der Prozess zur Reduktion der Gewichts­präzision großer Modelle?&lt;br /&gt;
|-&lt;br /&gt;
| caddyserver || Welcher Webserver bietet Automatic HTTPS per ACME?&lt;br /&gt;
|-&lt;br /&gt;
| qdrantdb || Welche Vektor­datenbank wird häufig für RAG eingesetzt?&lt;br /&gt;
|-&lt;br /&gt;
| tailscale || Welches Tool baut ein WireGuard-Overlay mit MagicDNS auf?&lt;br /&gt;
|-&lt;br /&gt;
| whisperasr || Wie heißt das lokale Modell für Sprach-zu-Text?&lt;br /&gt;
|}&lt;br /&gt;
{{E}}&lt;br /&gt;
&amp;lt;br&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== LearningApps ==&lt;br /&gt;
&amp;lt;iframe&amp;gt; https://learningapps.org/index.php?s=Private+AI+Corporate+LLMs &amp;lt;/iframe&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== Lückentext ==&lt;br /&gt;
&amp;lt;quiz display=simple&amp;gt;&lt;br /&gt;
{&amp;#039;&amp;#039;&amp;#039;Vervollständige den Text.&amp;#039;&amp;#039;&amp;#039;&amp;lt;br&amp;gt;&lt;br /&gt;
|type=&amp;quot;{}&amp;quot;}&lt;br /&gt;
Private AI ermöglicht die Verarbeitung sensibler Daten { lokal } ohne Abfluss in fremde Clouds.&lt;br /&gt;
Für Retrieval Augmented Generation wird eine { Vektor­datenbank } genutzt.&lt;br /&gt;
Caddy stellt Zertifikate über das { ACME }-Protokoll automatisch bereit.&lt;br /&gt;
Das EU-US Data Privacy Framework ist eine { Angemessenheitsentscheidung } der EU-Kommission.&lt;br /&gt;
Schrems II erklärte das frühere { Privacy+Shield } für ungültig.&lt;br /&gt;
Die Anzahl der { Parameter } korreliert oft mit der Modellleistung.&lt;br /&gt;
Quantisierung wie Q4_K_M reduziert den { Speicherbedarf }.&lt;br /&gt;
Watchtower aktualisiert laufende { Container } automatisiert.&lt;br /&gt;
Tailscale nutzt den Tunnel­standard { WireGuard }.&lt;br /&gt;
Whisper ermöglicht { Transkription } ohne Internetzugang.&lt;br /&gt;
&amp;lt;/quiz&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;br&amp;gt;&lt;br /&gt;
&lt;br /&gt;
= Offene Aufgaben =&lt;br /&gt;
=== Leicht ===&lt;br /&gt;
{{o}} [[Begriffe strukturieren]]: Erstelle eine Mindmap zu Private KI, lokalem LLM, self-hosted LLM und Corporate LLM. Ergänze je zwei Beispiele für Tools.  &lt;br /&gt;
{{o}} [[Sicherheitscheck]]: Liste für Deinen Use-Case drei Datenarten auf, die das Unternehmen &amp;#039;&amp;#039;&amp;#039;nie&amp;#039;&amp;#039;&amp;#039; an externe APIs senden sollte, und begründe.  &lt;br /&gt;
{{o}} [[Quickstart]]: Installiere [[Ollama]] lokal und starte ein 7B-Modell. Dokumentiere RAM/VRAM-Verbrauch und Antwortzeit mit/ohne Quantisierung.  &lt;br /&gt;
{{o}} [[Netzwerkdiagramm]]: Skizziere die Komponenten eines Open-WebUI-Workspaces (Proxy, SSO, Runner, Vektor-DB, Storage) als Architektur-Skizze.&lt;br /&gt;
&lt;br /&gt;
=== Standard ===&lt;br /&gt;
{{o}} [[RAG-Prototyp]]: Baue einen Minimal-RAG mit Dokument-Upload, Embeddings und [[Qdrant]]-Abfrage. Evaluiere Antwortqualität an fünf Fragen.  &lt;br /&gt;
{{o}} [[SSO-Einbindung]]: Richte eine Test-App in Microsoft Entra ID ein und simuliere OIDC-Login für ein lokales Web-UI. Beschreibe Claims/Rollen.  &lt;br /&gt;
{{o}} [[Betriebskonzept]]: Erstelle ein kurzes &amp;#039;&amp;#039;&amp;#039;Operating Model&amp;#039;&amp;#039;&amp;#039; (Backups, Updates/Watchtower-Policy, Monitoring, Incident-Prozess, Rollback).  &lt;br /&gt;
{{o}} [[Datenklassifikation]]: Entwickle eine 3-stufige Klassifikation (öffentlich/intern/vertraulich) und leite Prompt- und Modell-Policy je Stufe ab.&lt;br /&gt;
&lt;br /&gt;
=== Schwer ===&lt;br /&gt;
{{o}} [[Compliance-Blueprint]]: Erarbeite eine AI-Act/DSGVO-Checkliste (Risikobewertung, Logging, Data-Maps, DPIA, Löschkonzept) für Deinen Corporate-LLM.  &lt;br /&gt;
{{o}} [[Benchmarking]]: Vergleiche zwei quantisierte Modelle (z. B. Q4_K_M vs. Q5_K_M) über einen repräsentativen Prompt-Satz (Halluzinations-/Faktenscore, Latenz, Kosten).  &lt;br /&gt;
{{o}} [[Voice-Agent]]: Implementiere einen Offline-ASR-Prototyp (whisper.cpp). Messe WER auf Deinem Fachvokabular und designe Korrektur-Prompts/Regeln.  &lt;br /&gt;
{{o}} [[OMR-Pipeline]]: Baue einen OMR-Proof-of-Concept mit [[Poppler]]/pdftoppm und [[Tesseract]]; detektiere Checkboxen, exportiere Ergebnisse als CSV.&lt;br /&gt;
&lt;br /&gt;
{{:Offene Aufgabe - MOOC erstellen}}&lt;br /&gt;
&lt;br /&gt;
= Lernkontrolle =&lt;br /&gt;
{{o}} [[Architektur-Transfer]]: Skizziere, wie Du denselben Corporate-LLM-Blueprint für eine Klinik anpasst (Rollen, Log-Pflichten, Offline-ASR-Grenzen).  &lt;br /&gt;
{{o}} [[Make-or-Buy]]: Entwickle Kriterien, wann lokale Inferenz externer API-Calls überlegen ist (Risiko, Kosten, Latenz, IP-Schutz) – begründe anhand eines Szenarios.  &lt;br /&gt;
{{o}} [[Regelkonformität]]: Ordne einen Use-Case dem AI-Act-Risikoniveau zu und leite daraus Governance-Maßnahmen ab (Nachweisführung, Tests, Monitoring).  &lt;br /&gt;
{{o}} [[Resilienz]]: Entwirf eine Störfall-Strategie (Modell-Fallbacks, isolierte Mandanten, Rate-Limits), die Datenschutz- und Verfügbarkeitsziele verbindet.  &lt;br /&gt;
{{o}} [[Datenflüsse]]: Zeichne einen Data-Flow-Graphen vom Prompt bis zum Audit-Log und erkläre, wo welche Daten &amp;#039;&amp;#039;&amp;#039;nicht&amp;#039;&amp;#039;&amp;#039; gespeichert werden dürfen.&lt;br /&gt;
&lt;br /&gt;
&amp;lt;br&amp;gt;&lt;br /&gt;
&amp;lt;br&amp;gt;&lt;br /&gt;
= OERs zum Thema =&lt;br /&gt;
&amp;lt;iframe&amp;gt; https://de.m.wikipedia.org/wiki/K%C3%BCnstliche_Intelligenz &amp;lt;/iframe&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;br&amp;gt;&lt;br /&gt;
&lt;br /&gt;
= Links =&lt;br /&gt;
{| align=center&lt;br /&gt;
{{:D-Tab}}&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;[[Private AI]]&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
{{o}} [[Corporate LLMs]]&lt;br /&gt;
{{o}} [[RAG]]&lt;br /&gt;
{{o}} [[Quantisierung]]&lt;br /&gt;
{{o}} [[Vektor­datenbank|Vektor­datenbanken]]&lt;br /&gt;
{{o}} [[Whisper]]&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
[[Kategorie:Informatik]]&lt;br /&gt;
[[Kategorie:Datenschutz]]&lt;br /&gt;
[[Kategorie:IT-Sicherheit]]&lt;br /&gt;
[[Kategorie:Recht]]&lt;br /&gt;
&lt;br /&gt;
= Teilen - Diskussion - Bewerten =&lt;br /&gt;
{{:Teilen - MOOCit}}&lt;br /&gt;
[[Kategorie:AI_MOOC]] [[Kategorie:GPT aiMOOC]]&lt;/div&gt;</summary>
		<author><name>Glanz</name></author>
	</entry>
</feed>