Anthropic verhandelt Regeln für KI-Agenten-Verhandlungen

Das KI-Unternehmen Anthropic steht in Gesprächen mit Anwaltskanzleien, um Richtlinien für die Verhandlungsführung von KI-Agenten im Auftrag menschlicher Nutzer zu entwickeln. Ziel ist es, festzulegen, wie diese Agenten Nutzer bei Verhandlungen über Preise, Verträge oder Gehälter vertreten können, während gleichzeitig faire Ergebnisse gewährleistet werden.

Laut Quellen sucht Anthropic Rechtsberatung, um zu untersuchen, wie KI-Agenten als Vertreter von Klienten agieren und gleichzeitig ethische Grundsätze einhalten können. Das Unternehmen erforscht „Verhandlungsnormen“ für die Interaktion zwischen intelligenten Systemen, da KI-Agenten zunehmend Nutzer vertreten sollen, wenn sie mit anderen Agenten mit potenziell widersprüchlichen Interessen interagieren.

Das Unternehmen erwägt auch, wie viel menschliches Feedback KI-Agenten während Verhandlungen einholen sollten. Zudem wird überlegt, wie vorsichtig Agenten im Umgang mit anderen KI-Systemen sein sollten, um unnötige Misstrauen oder verschwörungstheoretische Entscheidungsfindung zu vermeiden. Ein diskutierter Ansatz ist eine von den Nutzern unterzeichnete Ermächtigung, die die Aufgaben des Agenten und die zu befolgenden Regeln festlegt.

Parallel dazu hat Anthropic Veränderungen in seiner Personalstruktur gemeldet. Im vergangenen Jahr hat das Unternehmen die Einstellung von Mitarbeitern auf Junior-Positionen reduziert. Der Anteil von Junior-Mitarbeitern in technischen Abteilungen ist von 21% auf 14% gesunken, wobei der Anteil neuer Junior-Mitarbeiter in technischen Rollen noch stärker von 27% auf 9% zurückging.