Wenn die KI anfängt zu schwurbeln...

[JFA]

Aus gegebenem Anlass hier ein Hinweis auf eine IMHO hochinteressante Studie https://www.heise.de/news/Studie-zeigt-W...36857.html

Trifft auf mich nicht zu. Ganz einfach: mein Hauptjob ist EMV, und da sind 90% der Dinge, 
- die in Fachbüchern stehen: falsch
- die allgemein kolportiert werden: falsch
- die als Maßnahmen in Schaltplänen und Layouts angewendet werden: falsch oder unwirksam
- wie überhaupt die EMV in Produkten angegangen wird: auhauaha

Da tut mir die KI fast leid. 

KI könnte interessant sein, bestehende Platinen und sie umgebende Produkte in ein Simulationsprogramm zu überführen. Das ist nämlich Sklavenarbeit. Aber bisher habe ich in der Richtung auch noch keinen Bedarf gehabt. 

Edit: Wär ich dagegen Anwalt oder was anderes schreibwütiges würde ich mir dagegen echte Gedanken machen. Denn Texte recherchieren, (so tun sie zu) verstehen, und darauf aufbauend neue Texte zu schreiben, dass kann die KI mindestens genauso gut und deutlich schneller.

[Koaxfan]

Dein Wettbewerbsvorteil besteht darin, dass Du weißt, wann 90 % der üblichen EMV-Antworten falsch sind. Die interessante Frage ist deshalb nicht, ob ein LLM mehr EMV weiß als Du. Die Frage ist, was passiert, wenn jemand mit Deinem EMV-Wissen eine AI bekommt, die ihm 70 % der Nicht-Expertenarbeit abnimmt.

Fun Fact: Siemens EDA / Cadence / R&S / Keysight / Ansys / Dassault / NI/Emerson haben da schon richtig geile Lösungen. Teils schon auf dem Markt, teils aktuell mit vielen Millionen in Entwicklung. Vielleicht bald auch in Deinem Labor.

[JFA]

Dein Wettbewerbsvorteil besteht darin, dass Du weißt, wann 90 % der üblichen EMV-Antworten falsch sind. Die interessante Frage ist deshalb nicht, ob ein LLM mehr EMV weiß als Du. Die Frage ist, was passiert, wenn jemand mit Deinem EMV-Wissen eine AI bekommt, die ihm 70 % der Nicht-Expertenarbeit abnimmt.

Prüfberichte schreiben? Hab ich schon teilautomatisiert. Da könnte die aber tatsächlich mal was drehen, ich habe da noch ein paar nervige Schwachstellen drin, da war der Leidensdruck aber bisher nicht groß genug um die zu beheben. 

Tatsächlich könnte ich ja eine KI mit meinem Wissen anlernen. Und dann schaue ich zu, wie sie versucht mit einer Sonde den Störer auf der Platine zu finden.

[JFA]

Nach reiflichem Bedenken hätte ich tatsächlich etwas, was ich der KI vorsetzen könnte. Ich hatte mal ein EMV Design Review angefangen um es nach Abschluss der Prüfungen den Systemarchitekten* um die Ohren zu hauen. Das um die Ohren hauen kann mir die KI nicht abnehmen, aber ich könnte sie anlernen, an Hand der in der Dokumenten-Vorlage erwähnten Kriterien selbständig diese Bewertung durchzuführen, oder sogar einen Abgleich mit schon getesteten Produkten zu machen. Da wird die Korrelation allerdings gering sein, weil die endgültige Dokumentation meist erst nach Anwendung weiterer Maßnahmen erfolgt bzw. ich im Vorfeld schon Maßnahmen in der Schaltung einfordern durfte. 

* EMV ist ein Systemproblem, Schaltung und Layout sind nur untergeordnet.

[Koaxfan]

Genau das ist für mich der interessante KI-Use-Case bei EMV: nicht „KI, erklär mir EMV“, sondern Dein EMV-Wissen skalieren. Dein Design-Review wäre dafür eigentlich ein perfekter Startpunkt. Aus Deinen Kriterien könnte ein System Schaltplan, Layout, BOM usw. automatisch vorprüfen und z. B. melden: „DC/DC-Wandler X auffällig: möglicher Common-Mode-Pfad über Y. Ähnlicher Fall bei Produkt Z. Damals wurde zwischen Rev. B und C die Chassis-Anbindung geändert.“ Der wichtige Punkt ist dabei genau Dein Einwand: Das freigegebene Endprodukt allein ist als Lernmaterial schlecht. Interessant wäre die Entwicklungsgeschichte:

Design → Dein Finding → Deine Hypothese → Änderung → Messung → nächste Änderung → Compliance-Ergebnis.

Dann lernt das System nicht „dieser Schaltplan besteht“, sondern kann alte EMV-Fälle und Maßnahmen wiederfinden. Und danach geht es noch weiter, weil die Werkzeuge inzwischen ebenfalls automatisierbar werden.

Keysight lässt seinen AI-Copilot bereits SIPro/RFPro bedienen und EM-Simulationen ausführen.
Siemens HyperLynx/Fuse kombiniert regelbasierte PCB-/EMI-Prüfung mit AI-Agenten und geht in Richtung Agent → Solver → physikalische Verifikation.
NI Nigel erzeugt bereits LabVIEW-/TestStand-Abläufe und kann Messdaten analysieren.

Damit wäre ein ziemlich realistischer Workflow:

Design → automatisches EMV-Vorreview → Du prüfst die kritischen Findings → AI setzt Simulation/Sweeps auf → Messdaten werden automatisch ausgewertet → Bericht wird vorbereitet.

Und perspektivisch wird es noch interessanter: Du sagst: „Wir haben bei 380 MHz gestrahlte Emission.“ Das System kennt Schaltplan, PCB, Stackup, Kabel, Gehäuse, Clockfrequenzen und alte Messungen und antwortet nicht „C17 ist schuld“, sondern: „Vier plausible Kopplungspfade. A und B sind am wahrscheinlichsten. Wenn A stimmt, müsste Nahfeldmessung X dieses Verhalten zeigen; wenn B stimmt, Simulation/Messung Y.“

Dann:
Hypothese → EM-Solver → Messgerät → Ergebnis → nächste Hypothese.

R&S zeigt zusammen mit NVIDIA bei digitalen Zwillingen und Hardware-in-the-Loop bereits das Grundprinzip, Simulation und reale Messtechnik eng zu koppeln. Das, was aktuell hart im Bau ist, bringt das definitiv auf ein ganz anderes Level. Und glaub mir: Damit werden gerade die erfahrenen Fachleute mal RICHTIG gefordert. Denn: Die KI ersetzt dabei nicht den EMV-Spezialisten. Messgerät und Solver liefern die Wahrheit, die KI sucht, korreliert und orchestriert- und Du entscheidest, was physikalisch Sinn ergibt. Statt drei Tage lang einen Schaltplan nach Problemen zu durchsuchen, bekommst Du morgens die sieben Stellen vorgelegt, über die es sich aus der Erfahrung am meisten nachzudenken lohnt. Die Gefahr, die dabei real besteht, ist wirklich, dass gerade die Fachleute so gut von Routinearbeit entlastet werden, dass sie sich selbst zu Pausen zwingen müssen weil die früheren Zwangspausen entfallen. Wir haben gesehen, dass jetzt, wo man sich nicht mehr einen Ordner aus einem anderen Raum holen muss und dabei evtl. kurz mit Kollege Müller schnackt, zwar alles um Welten schneller geht (die Unterlagen werden im Hintergrung gezogen und abgeglichen) aber eben gerade die Spezialisten dadurch auf Dauerfeuer "im Flow" bleiben. In Grenzen sehr gut (weil im Flow) aber man muss wirklich nach einer Weile sagen "Super Ergebnis, wollen wir das alles mal zusammenfassen und Du machst eine Pause?"

Und das „den Systemarchitekten um die Ohren hauen“ bleibt natürlich Handarbeit. ;-)

[Koaxfan]

Wer oft KiCad nutzt, hat sich vielleicht auch schon gefragt, warum sich die AIs so beharrlich dagegen sperren, dort Hilfestellung zu geben. Nun, das ist mit Astra zumindest auf einem Weg möglich: Astra kann produktiv im KiCad-GUI arbeiten; die OpenAI Demo beweist aber noch keinen selbstständig entwickelten serienreifen PCB. „Manufacturable“ bedeutet hier zunächst, dass eine routbare, formal herstellbare Platine entstanden ist. Nicht bewiesen sind dadurch:

- sinnvolle Rückstrompfade und Masseführung,
- EMV-Verhalten,
- Impedanz- und Differential-Pair-Auslegung,
- Kriech- und Luftstrecken,
- Stromtragfähigkeit und Wärme,
- reale Fertigungs- und Bestückungsrobustheit.

Gerade beim EMV-Thema gilt: KiCad-DRC erkennt regelbasierte Verstöße, aber nicht automatisch eine ungünstige Feldkopplung oder Common-Mode-Anregung. Astra ist daher sehr interessant als schneller Layout-Operator und regelbasierter Prüfer, explizit noch nicht als autonomer Hardwareentwickler, dem man ohne Review die Gerberdaten abnimmt.

[Nebenweg]

GPT-6 Astra wird doch erst in den kommenden Tagen ausgerollt, wie kommst du jetzt schon da dran? Astra AI meinst du ja eher nicht

[Koaxfan]

Sollte schon offiziell raus sein, müsste mal mit dem anderen Account testen. Also ja, GPT-6 Astra. Frisst die Tokens schneller als Obelix die Wildschweine.

[Nebenweg]

Danke dir. Ich wurde von Open AI noch nicht bedacht damit

[Koaxfan]

Joah, früher haben gute Freunde einen Ouzo bekommen, heute frische Modelle.

[mechanic]

Ich finde es irgendwie (fast) lustig, plötzlich als Bedenkenträger vereint mit den "Eigentümern" der KI-Technologie (Altmann-Musk & Co.) (fast) im Schulterschluss zu stehen https://www.n-tv.de/wirtschaft/Die-KI-Ri...96577.html ...

[linux1972]

Hallo,

Tatsächlich geht es auch in der seriösen Fachpresse, z.B. Heise und anscheinend unter renomierten Fachleuten in den letzten Tagen richtig ab, was Weltuntergangsszenarien in Verbindung mit KI anbelangt.
Ich weiss nicht, was man davon halten soll.

Gruß A.

[Koaxfan]

Gerade bei wirklich autonomen Agenten ist „ich wusste schon immer, dass KI Mist ist“ fast die unproduktivste mögliche Reaktion. Sie vermischt zwei sehr unterschiedliche Dinge: Einerseits das Herabblicken auf die Ergebnisse provoziert-schlechter Orakel-Prompts an Gemini, Halluzinationen oder den fundierten Ärger über handwerklich schlecht gemachte Rollouts, andererseits systemische Risiken durch handlungsfähige Software.

Bei einem Agenten verschiebt sich das Problem fundamental. Das Modell gibt dann nicht mehr nur eine falsche Antwort aus, die ein Mensch lesen und verwerfen kann. Es kann je nach Architektur selbständig Tools benutzen, Dateien verändern, APIs aufrufen, Mails versenden, Bestellungen auslösen, Code deployen oder weitere Agenten anstoßen. Damit wird aus einem Informationsfehler potenziell ein Aktionsfehler.

Mein Job ist, Architekturen zu bauen, welche die Leistungsfähigkeit der Agents beibehalten aber gerade solche absolut realen Ausbruchsprobleme massiv begrenzen. Also ich lese da nicht erst seit ein paar Tagen drüber, sondern ich kenne das Problem so gut, dass ich seit Monaten an ernstzunehmenden Lösungen dafür arbeite.

Deshalb führt die pauschale Anti-KI-Haltung am eigentlichen Sicherheitsproblem vorbei. Die relevante Frage ist nicht: „Ist KI gut oder schlecht?“ sondern: „Welche Handlungsfreiheit bekommt welches Modell unter welchen Bedingungen - und wie begrenzen, beobachten und stoppen wir diese Handlungen?“ Wenn man das tut, landet man sehr schnell bei klassischen Engineering-Fragen:
- Welche Aktionen darf der Agent überhaupt ausführen?
- Welche davon benötigen explizite Freigabe?
- Welche Ressourcen und Daten darf er sehen?
- Wie groß ist sein Handlungshorizont?
- Kann er irreversible Änderungen durchführen?
- Welche Zustände werden unabhängig überwacht?
- Wie erkennt man Abweichungen vom vorgesehenen Ziel?
- Gibt es Budget-, Zeit- und Berechtigungsgrenzen?
- Kann ein externer Mechanismus ihn zuverlässig stoppen?
- Ist hinterher nachvollziehbar, warum er etwas getan hat?
Das sind ziemlich konkrete Architekturfragen. Dafür hilft weder „KI wird uns alle retten“ noch „der ganze Schmarrn muss weg“. Solche Aussagen sind nicht Teil der Lösung sondern Teil des Problems.

Coxon war der Punkt, der das in die Populärmedien getragen hat, deshalb habe ich dazu auch einige Artikel geschrieben, die sich real mit den Gefahren beschäftigen (die kenne ich sehr gut, manchmal zu gut) aber eben auch die Nutzung vorhandener Architekturen und organisatorischer Boundaries zeigt. Da das mediale Echo auf einige (leider nicht alle) große Player Druck aufgebaut hat, sich mehr oder weniger ernsthaft zu solchen Boundaries zu verpflichten, sehe ich das Coxon-Event insgesamt positiv. 

Wer jede schlechte KI-Erfahrung als Beweis dafür nimmt, dass die Technologie generell nichts taugt, verliert gerade bei den gefährlicheren Entwicklungen die analytische Schärfe. Denn dann lautet das mentale Modell weiterhin „blöder Chatbot, der manchmal Unsinn erzählt“, während sich die relevante Technologie längst in Richtung Software mit eigener Aktionsschleife bewegt. Gerade das pauschale und unfundierte Bashing führt dazu, dass man sich als Techniker denkt: So lange die lauteste Kritik nichtmal zwischen Suchmaschine und AI unterscheidet, mache ich mal in Ruhe weiter mein Ding. Deshalb ist die seit Monaten intensivst geführte Debatte die jetzt sogar in Allgemeinmedien Einzug gehalten hat genau das Gegenteil eines "Schulterschluss" mit Pauschalkritik - im Gegenteil, die Pauschalkritik hat erst den Boden für autonom freidrehende Frontier-Labs geschaffen, die ihre Modelle autonom freidrehen lassen. 

Umgekehrt wäre es genauso fahrlässig, aus der beeindruckenden Leistungsfähigkeit heutiger Modelle abzuleiten, dass man ihnen einfach immer mehr Autonomie geben sollte. 

Die produktive Haltung liegt für mich genau dazwischen: Die Technologie ernst genug nehmen, um ihre Möglichkeiten zu nutzen und ernst genug nehmen, um ihre Grenzen technisch durchzusetzen. Ich arbeite genau daran: Mächtigen AI-Modellen den architekturellen Rahmen zu geben, damit das nicht passiert. Das ist für mich auch der große Unterschied zwischen der derzeitigen Kulturdebatte und einer echten Sicherheitsdiskussion. „Ich mag KI nicht“ ist eine Meinung. Authority boundaries, least privilege, runtime monitoring, approval gates, auditability und fail-safe behavior sind Engineering. Und genau dort sollten wir hier in einem technischen Forum die Diskussion eigentlich hinbekommen.

[Nebenweg]

Danke,

@Koaxfan. Also, für mich hat das scho a Gschmäckle, wenn Ex-Mitarbeiter über ihre ehemalige Firma herziehen...

[Koaxfan]

Naja, die Lage ist komplexer. Es gibt schon lange die sehr kleine Seite die sagt „Gerade weil wir die Mächtigkeit lieben, lasst es uns architekturell stärker kanalisieren“ (da bin ich) und die sehr große Seite „wir müssen schneller entwickeln als die Konkurrenz - wenn wir es nicht machen, machen sie es“.  Und viele Ausläufer- und Nebenströmungen. Wenn man tief genug drin ist um die Gefahren zu sehen aber trotzdem mit der Entscheidung nicht klarkommt, kann man schon mal sowas machen und es wurde auch in Fachkreisen nicht als Nachtreten aufgefasst.
Ich fand Coxon und auch das Event gut. Es hat in Fachkreisen tatsächlich dazu geführt, dass man einhegende Architekturen überhaupt eines Blickes würdigt.

[TomBear]

Ich habe dazu noch nichts gelesen.
In den Nachrichten wurde nur gesagt das versucht wurde die KI für Waffensysteme und biologischen Waffen zu nutzen.
Da sollte man sich wirklich Gedanken machen welche Möglichkeiten/ Zugriff man einer KI gestattet.

Gruß Tommi

Edit: Habe es mir gerade durchgelesen. Hört sich echt übel an.
Erinnert mich ein bisschen an 2001- Odissey im Weltraum. Als man den Computer abschalten wollte hat der sich zur Wehr gesetzt. Was wird wohl eine superschlaue KI machen wenn man ihr den Saft abdrehen will?
Die Büchse der Pandora ist scheinbar geöffnet worden.

[4711Catweasle]

Erinnert mich ein bisschen an 2001- Odissey im Weltraum. Als man den Computer abschalten wollte hat der sich zur Wehr gesetzt. Was wird wohl eine superschlaue KI machen wenn man ihr den Saft abdrehen will?
Die Büchse der Pandora ist scheinbar geöffnet worden.

Moin,

an anderer Stelle schrieb ich schon: "Cyberdyne Systems lässt grüßen".

Wer damit argumentiert das dieses pauschale "KI ist Mist" vollig falsch ist versucht imho nur von der tatsächlichen Problematik abzulenken.
Das erinnert mich an klassisches Kasperl Theater - Vorne jongliert der Seppel und lenkt die Zuschauer ab
und im Hintergrund zieht der Kasperl dem Krokodil eins mit der Klitsche über.

Mich wundert sogar das "Spezialisten" den Hut nehmen und gehen - mMn. sieht der "Fachmann / Frau", der nah (zu nah) am Problem ist dieses meist nicht oder zu spät.
Oppenheimer hat seine Beteiligung später (als es zu spät war) auch sehr bereut.

Das KI, richtig eingesetzt, nützlich sein kann bestreite ich nicht.

KI ist in seiner aktuellen Struktur (in den falschen Händen*) leider hoch gefährlich !
*Und das kann niemand verhindern weil niemand alle falschen Hände kennt....schon garnicht in der Zukunft.
Bzw. scheint es so zu sein das sich die KI auch in den "richtigen" Händen selbstständig macht.....

Isaac Asimov hat in den 1940er Jahren (für seine Romane) die 3 Roboter Gesetze formuliert:
1: : Schutz des Menschen vor Schaden.
2:  Gehorsam gegenüber menschlichen Befehlen - sofern sie das erste Gesetz nicht verletzen.
3:  Selbsterhaltung - sofern sie nicht im Widerspruch zu Gesetz 1 oder 2 stehen.

Dies zu implementieren wäre die Lösung - wurde mW. in keine KI implementiert....und die KI (alle ?) verstoßen dagegen.

[Koaxfan]

Wer damit argumentiert das dieses pauschale "KI ist Mist" vollig falsch ist versucht imho nur von der tatsächlichen Problematik abzulenken.

1. Was ist daran richtig?
2. Wie bringt es uns weiter?
3. Wenn man sich genug auskennt, um es fundiert zu analysieren, "lenkt man von der tatsächlichen Problematik ab"? Ernsthaft jetzt? Also mit anderen Worten: Wer weiß, worüber er spricht, ist nicht mehr glaubwürdig? Wer lernfähig und lernwillig ist, ist damit automatisch ein Taschenspielen von der dunklen Seite der Macht?

[4711Catweasle]

Es werden konkrete Probleme / Gefahren genannt, als Gegenargumentation kommt:
"Diese pauschale Kritik an KI ist völlig unbegründet"......blablabla

Edith meint: Uns bringt in diesem Thema (bezogen auf gefährliche KI) eh nichts "weiter", wir haben darauf* keinerlei Einfluss.
*Programmierung / Funktionsumfang / Fähigkeiten / Einsatz (wer und wozu).

[Koaxfan]

Es werden konkrete Probleme / Gefahren genannt,

Da habe ich wohl was übersehen - von wem wurde hier was konkret genannt, was auch fundiert war? Märchen wie "zehn Youtuber zählen mehr als ein Klinger" fällt nicht drunter und Enttäuschungen nach Orakel-Prompts auch nicht. 

Uns bringt in diesem Thema (bezogen auf gefährliche KI) eh nichts "weiter", wir haben darauf* keinerlei Einfluss.
*Programmierung / Funktionsumfang / Fähigkeiten / Einsatz (wer und wozu).

Also ich habe damit durchaus Einfluss, indem ich mit den Menschen rede, die sowas bauen. Dazu muss man aber bereit sein, sich wenigstens die grundlegenden Fakten anzueignen. Einfach zu sagen: „AI ist wie Suchmaschine und alles ist Mist“ hat exakt eine Folge: Es kommt genau keine inhaltliche Kritik an.