Ich führe auf meinem Handy eine laufende Notiz über jedes Tool, das meine tatsächliche Arbeit berührt. Nicht die Apps, die ich gelegentlich nutze. Die, durch die eine Entscheidung gegangen ist.
Ich habe damit angefangen, nachdem etwas, das eine Kollegin letztes Jahr beschrieben hat, mir in den Sinn kam.
Sie hatte ein KI-Zusammenfassungstool verwendet, um Marktforschungsberichte für ein Kundenprojekt zu verarbeiten. Nützlich, effizient, an nichts dachte sie zweimal. Dann hat der Kunde eine Empfehlung zurückgewiesen und auf Schlussfolgerungen verwiesen, die nicht in ihrer Zusammenfassung enthalten waren. Als sie die Originaldokumente durchging, stellte sie fest, dass das Tool Informationen anders gewichtet hatte, als sie sich erinnerte. Die Ausgabe war nicht falsch, genau genommen. Nur anders genug, um zu zählen.
Sie hatte keine Möglichkeit zu zeigen, was die frühere Version produziert hatte.
Was mich beunruhigte, war nicht der Fehler selbst. Es war die Abwesenheit eines festen Punktes, zu dem man zurückkehren konnte. Wenn sich das Verhalten eines Tools ohne Aufzeichnung oder Benachrichtigung ändern kann, wird alles, was darauf aufgebaut ist, auf leise unzuverlässige Weise, die vielleicht nie ans Licht kommt.
Und dann begann ich darüber nachzudenken, wer diese Veränderung hält. Nicht wer das Modell ursprünglich gebaut hat, sondern wer entscheidet, wann sich sein Verhalten ändert, wer den Zugang einschränkt, wer es ausschaltet. Diese Autorität liegt derzeit bei einer kleinen Anzahl von Entitäten. Es wird nicht veröffentlicht. Es gibt keinen Prozess, der von außen sichtbar ist.
Das ist eine andere Art von Macht als Besitz. Es ist fortlaufende Autorschaft über Systeme, die bereits in die Arbeitsweise der Menschen eingewoben sind.
Ich bin auf OpenGradient gestoßen, während ich darüber nachdachte. Das Netzwerk ist so gestaltet, dass keine einzelne Partei das Verhalten des Modells ändern kann, ohne dass die Änderung im gesamten System sichtbar wird. Das fühlte sich wie die erste technisch kohärente Antwort auf das an, worauf ich immer wieder zurückkam.
Wenn ein Tool eine Entscheidung beeinflusst hat, die du vor sechs Monaten getroffen hast und sich seitdem geändert hat, wen würdest du überhaupt fragen?
@OpenGradient
$OPG
#OPG
$BTC
$BAS
Ich habe damit angefangen, nachdem etwas, das eine Kollegin letztes Jahr beschrieben hat, mir in den Sinn kam.
Sie hatte ein KI-Zusammenfassungstool verwendet, um Marktforschungsberichte für ein Kundenprojekt zu verarbeiten. Nützlich, effizient, an nichts dachte sie zweimal. Dann hat der Kunde eine Empfehlung zurückgewiesen und auf Schlussfolgerungen verwiesen, die nicht in ihrer Zusammenfassung enthalten waren. Als sie die Originaldokumente durchging, stellte sie fest, dass das Tool Informationen anders gewichtet hatte, als sie sich erinnerte. Die Ausgabe war nicht falsch, genau genommen. Nur anders genug, um zu zählen.
Sie hatte keine Möglichkeit zu zeigen, was die frühere Version produziert hatte.
Was mich beunruhigte, war nicht der Fehler selbst. Es war die Abwesenheit eines festen Punktes, zu dem man zurückkehren konnte. Wenn sich das Verhalten eines Tools ohne Aufzeichnung oder Benachrichtigung ändern kann, wird alles, was darauf aufgebaut ist, auf leise unzuverlässige Weise, die vielleicht nie ans Licht kommt.
Und dann begann ich darüber nachzudenken, wer diese Veränderung hält. Nicht wer das Modell ursprünglich gebaut hat, sondern wer entscheidet, wann sich sein Verhalten ändert, wer den Zugang einschränkt, wer es ausschaltet. Diese Autorität liegt derzeit bei einer kleinen Anzahl von Entitäten. Es wird nicht veröffentlicht. Es gibt keinen Prozess, der von außen sichtbar ist.
Das ist eine andere Art von Macht als Besitz. Es ist fortlaufende Autorschaft über Systeme, die bereits in die Arbeitsweise der Menschen eingewoben sind.
Ich bin auf OpenGradient gestoßen, während ich darüber nachdachte. Das Netzwerk ist so gestaltet, dass keine einzelne Partei das Verhalten des Modells ändern kann, ohne dass die Änderung im gesamten System sichtbar wird. Das fühlte sich wie die erste technisch kohärente Antwort auf das an, worauf ich immer wieder zurückkam.
Wenn ein Tool eine Entscheidung beeinflusst hat, die du vor sechs Monaten getroffen hast und sich seitdem geändert hat, wen würdest du überhaupt fragen?
@OpenGradient
$OPG
#OPG
$BTC
$BAS