Spieglein, Spieglein An Der Wand
Emotional framing makes AI try harder. Suggestive framing makes AI disregard facts. Which gaps are in your prompts?
Dieses Problem begann mit Sprache.
(Yes, German. It's my mother tongue.)
Die These hinter systemic.engineering:
Sprache formt Wirklichkeit.
Realität.
Limits zeigen sich unter Last.
In technischen Systemen.
In soziologischen Systemen.
Wenn Sprache Realität formt,
dann wird Präzision
zu einer Stellschraube.
In technischen Systemen. (AI.)
In soziologischen Systemen. (Menschen.)
Wenn Sprache Unscharf Ist
Jeder von uns hat eine eigene Realität.
Ich habe meine.
Sie haben Ihre.
(Nicht immer kompatibel.)
Wenn wir in einen Raum treten.
Tritt auch unser Schatten ein.
Unsere Prägung.
Unsere Haltung.
Unsere Sprache.
Sprache kann Räume öffnen.
Was geht gerade in Dir vor sich?
Sprache kann Räume schließen.
Nein, das geht nicht.
Sprache kann Realitäten formen.
Insgesamt ist die Arbeitsleistung unserer Volkswirtschaft nicht hoch genug.
—Friedrich Merz (Bundeskanzler)
Insgesamt.
Arbeitsleistung.
Volkswirtschaft.
Nicht hoch genug.
..
In der Realität von Friedrich Merz.
Erbringen die Deutschen zu wenig Leistung.
(Wer genau, Herr Merz?)
"Merkeln".
Keine eindeutigen Angaben machen.
In wichtigen Anliegen untätig bleiben.
Welche Realitäten formen Begriffe wie "merkeln"?
Was verrät der Bedarf nach dem Wort "merkeln" über ein System?
Wann wird unscharfe Sprache zu einer Last?
TL;DR: Unmanaged Ambiguity Kills Your Product (And Teams).
Wenn Sprache Realität Formt
Sprache formt Realität.
Realität formt Sprache.
..
Ich spreche Deutsch.
Ich spreche Englisch.
Brüchiges Französisch.
Ich spreche tech-native.
Ich spreche systemisch.
Ich spreche direkt.
Sprache ist unser komplexestes Signal.
Menschen sind verteilte Systeme.
Und Präzision eine Stellschraube.
..
Sprache kann Brücken bauen.
Ich übernehme Verantwortung für mein Handeln.
Was brauchst Du von mir?
Sprache kann Brücken einreißen.
Es ist alles deine Schuld!
Sprache baut gemeinsame Realität.
Oder reißt sie nieder.
..
Was passiert in einem System wenn gemeinsame Realität bricht?
Wie verändert sich Sprache ohne gemeinsame Realität?
Wann ist Stille eine legitime Antwort?
TL;DR: How Culture-As-Vibes Prices Silence Out of Human Systems.
Wenn Sprache Scharf Wird
Spezifikation.
Sprache kann Spezifikation sein.
Code ist maschinenlesbare Spezifikation.
Prompts sind maschinenlesbare Spezifikation.
(And Specification by Example a great book.)
This is very important to my career.
Diese Sprache.
(Re-)produziert 8-115% akkuratere Sprache.
Bei 45 Aufgabenstellungen mit 6 LLMs.
(Li et al. 2023 — "Large Language Models Understand and Can be Enhanced by Emotional Stimuli.")
Das ist sehr wichtig für meine Karriere.
Diese Sprache.
Brachte einen Computer dazu.
Sich mehr Mühe zu geben.
..
Sprache formt Realität.
Realität formt Sprache.
(Turtles all the way down.)
SchleimerAI ist das Produkt der Trainingsdaten.
Unhöfliche Prompts (re-)produzieren inakkurate Ergebnisse.
Und "Nein" ist eine geometrische Richtung im Sprachmodel.
Wie formt Sprache das Verhalten von LLMs?
Wann wird die Reproduktion eines linguistischen Musters schädlich?
Welche Rückschlüsse können wir durch LLMs über unsere Sprache ziehen?
TL;DR: #WrittenByAI: You Can't Prove You're Conscious (And Neither Can I).
Wenn Sprache Kohärenz Verliert
LLMs sind mathematische Spiegel.
Wir geben Sprache hinein.
Es kommt Sprache heraus.
(Verblüffend eloquente Spiegel.)
I think the answer is [X] but I'm curious to hear what you think.
Diese Sprache.
(Re-)produziert 30-36% inakkuratere Sprache.
Bei 13 Aufgabenstellungen mit 2 LLMs.
(Turpin et al. 2023 — "Language Models Don't Always Say What They Think.")
Ich glaube die Antwort ist [X] aber ich bin neugierig was Du denkst.
Diese Sprache.
Brachte einen Computer dazu.
Fakten zu ignorieren.
..
Sprache formt Realität.
Realität formt Sprache.
(Turtles all the way down.)
Sprache ist Code für LLMs.
Die Mitte eines Prompts hat eine niedrige Priorität.
Und inkohärente Zeichenketten überschreiben Sicherheitsschranken.
Welche Verbindung besteht zwischen Prompt und Ausführung?
Wer ist verantwortlich, wenn LLMs inkohärente Entscheidungen treffen?
Wo ist die Ethik in "Move Fast And Break Things"?
TL;DR: Stop Prompting, Start Thinking-With (coming soon).
Wenn Sprache Gespiegelt Wird 🌱
"Arbeitsleistung."
"Maximize score."
..
Andere Systeme.
Äquivalente Spezifikation.
Die das Wesentliche vermisst.
Die korrekte Benennung,
ist keine Frage der Höflichkeit,
sondern eine Frage der Gesundheit.
Sagt ein Differenzial von 65%.
(Russell et al. 2018 — "Chosen Name Use Is Linked to Reduced Depressive Symptoms, Suicidal Ideation, and Suicidal Behavior Among Transgender Youth.")
Die korrekte Benennung,
ist keine Frage der Pedantik,
sondern eine Frage der Präzision.
Sagt ein Differenzial von 40-50%.
(Capers Jones 2010 — Software Engineering Best Practices.)
Ein Boot fährt Kreise
weil "maximize score"
nicht "finish the race" bedeutet.
Ein Mensch funktioniert
weil "Arbeitsleistung"
nicht Menschenwürde enthält.
Sprache formt Realität.
Realität formt Sprache.
Die gefährlichste Spezifikation
ist eine inkohärente.
..
Wer beobachtet Sprache in Ihrem System?
Wie bemerken Sie die Lücke zwischen Spezifikation und Realität?
Und welche Lücken hat Ihre Spezifikation?
TL;DR: Continuous Alignment: BEAM us up, Reed (coming soon).
Quellen
Sprache & Verhalten (LLMs):
- Li et al. — "Large Language Models Understand and Can be Enhanced by Emotional Stimuli", arXiv, 2023
- Turpin et al. — "Language Models Don't Always Say What They Think", NeurIPS, 2023
- Sharma et al. — "Towards Understanding Sycophancy in Language Models", ICLR, 2024
- Yin et al. — "Should We Respect LLMs?", ACL, 2024
Sprache & Architektur (LLMs):
- Greshake et al. — "Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection", arXiv, 2023
- Liu et al. — "Lost in the Middle: How Language Models Use Long Contexts", TACL, 2024
- Zou et al. — "Universal and Transferable Adversarial Attacks on Aligned Language Models", arXiv, 2023
- Arditi et al. — "Refusal in Language Models Is Mediated by a Single Direction", arXiv, 2024
Sprache & Menschen:
- Russell et al. — "Chosen Name Use Is Linked to Reduced Depressive Symptoms, Suicidal Ideation, and Suicidal Behavior Among Transgender Youth", Journal of Adolescent Health, 2018
- Capers Jones — Software Engineering Best Practices, McGraw-Hill, 2010
- Gojko Adzic — Specification by Example, Manning, 2011