Mensch, Maschine, Risiko: Wie sicher ist autonomes Fahren?

00:00:00: Hallo, Andreas Hentscher hier von Hanser Automotive.

00:00:02: Gleich startet eine neue Folge unseres Podcasts.

00:00:05: Mein Gast ist heute Dr.

00:00:06: Rasmus Adler vom Fraunhofer Institut für experimentelle Software Engineering Erforscht ein autonomen System.

00:00:14: Was genau erklärt er gleich selbst?

00:00:16: Wir sprechen darüber wie stark automatisierte Systeme im Autoriesigen reduzieren können und welchen technischen Aufwand und welche Kosten das aber nach Sicht sieht.

00:00:25: Nach dem Opener geht es direkt rein Das

00:00:32: Podcast Update von Hansa Automotive.

00:00:38: Was genau ist eigentlich Ihre Rolle bei Frauenhofer?

00:00:41: Ja, ich habe tatsächlich zwei Rollen aber die Hauptrolle nennt sich Programmanager für Autonomesysteme und da geht es darum das ganze... hält sozusagen ein bisschen Foresight zu machen, zu gucken was kommt da auf uns in verschiedenen Branchen.

00:00:57: Also im Bereich Automotive denken viele natürlich direkt an automatisiertes Fahren aber auch die Robotik ist auf dem Vormarsch und es gibt auch autonome Systeme in der virtuellen Welt agieren oder Energie verteilen bei SmartCrit, also ganz viele Bereiche.

00:01:16: Und wir haben Abteilungen wie eine Safety-Abteilung, Security-Abteilung, KI-Abteilung, Healthcareabteilung – die haben alle.

00:01:22: für sie bedeutet das alles und es ist auch meine Aufgabe entsprechend zu sagen wo ist ein guter Match?

00:01:27: Und Forschungsanträge zuschreiben, Projekte zu leiten… Das gehört alles dazu!

00:01:33: Das Ganze zu gestalten in Abstimmung mit den Abteilungsleitern.

00:01:36: Die andere Rolle, die ich habe, ist Nommungsbeauftragter Und auch da tut sich bei Autonomen sehr viel.

00:01:42: Es gibt Gesetzgebungen, die damit zusammenhängen und die Gesetze werden dann übersetzt in technische Normen.

00:01:48: Da bin ich persönlich aktiv und koordiniere ein bisschen die Normungsaktivitäten an unserem Institut.

00:01:54: Sie hatten Automotive schon erwähnt?

00:01:55: Können sie da ein bisschen konkreter darauf gehen, an was für Projekten arbeiten Sie da?

00:01:59: Ja also zwei Projekte, die wir jetzt zum Beispiel haben, das nennt sich eine, nennt es sich Safe AI Engineering, das andere nennt man sich Control Safer Engineering, da geht es wie der Name schon sagt um den Einsatz von KI in sicherheitskritischen Funktionen.

00:02:15: Wie zum Beispiel Fußgängererkennung und bei Kontrolle ist das sogar noch ein bisschen breiter.

00:02:21: Hauptsächlich auch im Automotive, aber es gibt auch Sachen die jetzt für den Railwellbereich auch relevant sind und ein Fokus dabei ist die Sicherheitsargumentation.

00:02:30: Also wenn man Lösungen hat und Maßnahmen hat um trotz des Einsatzes von KI irgendwie Sicherheit zu erreichen und Verlässlichkeit dann ist halt die Frage reicht das aus?

00:02:39: Und wie kann man das darstellen?

00:02:40: Wie kann man argumentieren dass die wesentlichen Sicherheitsanforderungen auch erfüllt sind?

00:02:46: Sie haben gerade schon diese Teilautonomensysteme angesprochen oder diese Interaktion von Mensch und Maschine, die scheint mir irgendwie kritisch

00:02:55: zu sein.

00:02:55: Hör ich das richtig raus?

00:02:57: Genau!

00:02:58: Das ist natürlich ein wichtiger Punkt immer, dass bei diesen sicherheitskritischen Funktionen meistens es dann doch so ist, dass sie nicht so verlässlich sind, dass der Menschen nochmal drüber gucken muss.

00:03:10: Und entsprechend wichtig, dass sozusagen einerseits der Mensch die Maschine überwacht und guckt wenn die Funktion nicht gut genug funktionieren.

00:03:21: andererseits ist dann sogar wieder die Maschinen also das Fahrzeug in dem Fall.

00:03:27: In der Verantwortung den Fahrrad zu überwachen ob er wiederum Das Fahrzeug rechtlich überwacht.

00:03:33: Also da gibt es komplexe Abhängigkeiten, das ist halt sozusagen man muss ganz genau überlegen wie die Abhängigkeit sind und welche Sicherheitslast liegt wo?

00:03:41: Und dass sehr situationsspezifisch auch funktioniert.

00:03:46: Wie versuchen Sie das rauszufinden?

00:03:49: Ja also wir haben zum Beispiel bei uns ein Simulator stehen.

00:03:53: Man kann sich reinsetzen ein großer Raum, hat Lenkgefühl und alles.

00:03:58: Und da sind dann auch Sachen wie Kameras

00:04:01: usw.,

00:04:01: wo man versucht den Fahrrad zu beobachten.

00:04:04: Eine konkrete Sache ist zum Beispiel dass heutige Systeme in erster Linie gucken ob der Fahrer überhaupt Aufmerksamkeit ist.

00:04:11: Aber das heißt wenn er nach links guckt und jetzt aufmerksam links aber das Risiko kommt für rechts, die Unfallgefahr ist rechts, dann bringt es natürlich wenig.

00:04:20: Das meinte ich eben mit dem Selbstüberzones Spezifisch hingucken.

00:04:24: Passt das zusammen?

00:04:25: Passt es zusammen, wo das Fahrzeug sozusagen die Schwächen hat, die der Mensch dann sozusagen wieder aushebeln muss?

00:04:33: Das ist ja quasi nach innen gewandt zum Fahrer hin.

00:04:38: Sie schauen ja auch noch außen oder wie man dieses System schaut, um da Risiken zu erkennen.

00:04:42: Gibt's da auch so Szenarien, die besonders komplex und damit schwierig sind?

00:04:46: Ja auf jeden Fall!

00:04:48: Grundsätzlich gibt es auch einfach Bereiche, die viel komplexer sind auf der Autobahn.

00:04:53: Man ist zwar mit hohen Geschwindigkeit unterwegs aber an sich sind die Verkehrssituation relativ einfach im Vergleich zum Stadtverkehr und man merkt das ja auch als normaler Autofahrer dass was für einen selber sehr komplexes ist ein Normalfall dann auch für die Maschine relativ komplex gerade wenn es so viele Situationen sind.

00:05:13: Und immer dann weil es soviele Situationen Man kann nicht mehr explizit sagen, in der Situation soll sich das Fahrzeug so verhalten und wenn man die alle aufzählen will.

00:05:24: Das sind viel zu viele.

00:05:26: Wir machen es ja so dass wir in der Situation irgendwie intuitiv irgendwas lösen.

00:05:30: Und immer dann, wenn irgendetwas mit Intuition gemacht wird ist man relativ nah dabei, dass man das technisch implementieren will Dass KI an sich das beste Werkzeug ist, weil man dann doch wieder eine Situation vergisst.

00:05:45: Die Schwierigkeit dabei ist natürlich dass die KI nicht ganz so verlässlich ist und da diesen Sweetspot zu erreichen zu sagen okay einerseits habe ich eine Sicherheitsfunktion die mächtig genug ist alle Situationen wirklich zu behandeln aber andererseits auch trotzdem verlässlig genug dass sie die dann auch wirklich gut genug behandeln kann.

00:06:09: Das ist ein großes Forschungsgebiet mit vielen Teilthemen.

00:06:14: Wir sind dabei, auch in der Sicherheitsargumentation zu sagen, in diesem konkreten Fall haben wir diesen Sweetspot gefunden.

00:06:22: Da haben Sie den tatsächlich gefunden?

00:06:27: Der ist sehr anwendungsfaltspezifisch und es gibt aber Sachen wo man dann sagen kann ja da hat man ihn tatsächlich gefunden und kann argumentieren dass das sicher genug ist.

00:06:38: Geben Sie uns doch

00:06:39: bitte mal das ein oder andere Beispiel.

00:06:40: Das würde mich sehr interessieren.

00:06:42: Also ganz einfache Beispiele sind einfach da, wenn man sagt naja Man hat jetzt schon einen Restrisiko Einfach jetzt wenn man nicht automatisiert fährt Ganz normale Autofahrer ist und wenn dann müde ist aufgrund von Müdigkeit passieren natürlich Unfälle.

00:06:55: Ja, wenn es sagt mit normalen Systeme erkenne ich aber ein paar Fehlerfälle.

00:06:59: Nicht weil die sind nicht mächtig genug Die können nicht genau erkennen gut genug Erkennen wann man müde isst Oder andere Situation.

00:07:06: Jetzt nutze ich KI.

00:07:08: Dann kann man ganz einfach argumentieren, naja wenn diese Zusatzerkennung funktioniert dann reduziere ich das Risiko.

00:07:15: Wenn sie nicht funktioniert ist es auch nicht größer als vorher.

00:07:18: Das heißt es natürlich von der Argumentation relativ einfach zu sagen na ja ein bisher akzeptiertes Restrisiko drücke ich weiter nach unten.

00:07:26: Das wäre eine Art von Argumentation, wo man das ganz gut machen kann.

00:07:31: Eine andere Sache ist wenn man sagt naja es kommt jetzt drauf an ich habe vielleicht auch in manchen Situationen erhöht ein bisschen aber in ganz vielen anderen Situationen verringere ich's dafür dass man das genau gegeneinander hält und sagt ja wie verhält sich das zueinander?

00:07:47: Und kann nicht das auch irgendwie vermessen?

00:07:50: diese Fehlerwahrscheinlichkeit?

00:07:52: Dass ich sage wie wahrscheinlich hab ich denn eine höhere Risiko?

00:07:56: oder die Wahrscheinlichkeit ist sozusagen in Teilen vom Risiko.

00:07:59: Risiko ist immer Wahrscheinlichkeiten von Schaden und Schadensausmaß, eine Kombination daraus.

00:08:04: Und dazu muss man eben auch wissen, die Fehler-Wahrscheinlichkeit vermessen.

00:08:09: Auch da forschen wir dran – das nennt sich dann die Unsicherheitsbestimmung von KI an Certainty of English.

00:08:16: Unsicherheit ist das Risiko?

00:08:18: Das heißt sie machen eine Risikaranalyse am Ende.

00:08:21: Unsicherheit ist erstmal sozusagen, dass wir nicht genau wissen in welchem Bereich man sich auf die Ausgabe der KI verlassen kann.

00:08:30: Also ich mache jetzt mal ein ganz konkretes Beispiel.

00:08:32: Schilderkennung ist sowas was man mit KI machen kann indem man Schilder klassifiziert und selbst bei Assistenzfunktionen kriegt man die dann auch angezeigt.

00:08:42: Jetzt kann es natürlich sein das ich ein falsches Schild angezeigt bekomme.

00:08:46: da muss man erst einmal zwischen dem Fehlerfall unterscheiden.

00:08:49: wenn ich jetzt sozusagen eigentlich Wunder fahren kann und ich kriege jetzt ein Schild angezeigt, dass ich nur Achtzig fahren kann.

00:08:55: Das ist im Schnitt natürlich weniger kritisch als wenn es andersrum ist.

00:08:59: Ja weil ich in dem einen Fall zu schnell fahre, den man dann nicht.

00:09:01: und dann gibt's halt die Frage wann habe ich diesen kritischen Fehlerfall?

00:09:06: Und wie wahrscheinlich ist das?

00:09:08: Und dann ist es so, dass wir sagen können in manchen Situationen zum Beispiel wenn ein Schilt auch einfach mit Matsch verdeckt ist Dann ist die Unsicherheit höher.

00:09:16: Das ist auch eine inherente Unsicherkeit, das bei uns Menschen schon so.

00:09:19: Wenn ich weiß...das Schild ist rund und erkennt nur ein Teil von der Zahl dann kann ich sozusagen nach Ausschlusskriterien bleiben zwei Sachen übrig.

00:09:26: aber es ist dann fiftie-fifty Und da kann dann im Endeffekt sogar auch die KI gar nichts für.

00:09:31: Es gibt so ne Inhernteunsicherheit und dann gibt's aber noch Unsicherheiten, die haben einfach was damit zu tun wie gut in einem bestimmten Bereich gelernt wurde oder so einen Grundrauschen Und das kann man mit statistischen Testen doch ganz gut erfassen.

00:09:45: Also wo sind die Grenzen und auf verschiedene Arten von Unsicherheiten, die da zusammenkommen?

00:09:50: Einerseits diese Interrente, wo die KI gar nichts machen können aber dann auch noch die Fehler aufgrund von begrenzten Trainingsdaten und anderen Themen.

00:10:00: Wenn man die dann genau vermessen hat, weiß man okay in dieser Eingabesituation, sag ich mal.

00:10:05: Zum Beispiel wenn es regnet oder wenn Matsch da ist das sind ja auf Pixel-Ebene ganz viele Eingaben.

00:10:11: Kann ich sagen bei diesem Eingabebereich ist die Fehlerwahrscheinlichkeit erhöht und das kann man vorab bestimmen und damit kann man dann eben umgehen und versuchen dass eben auch entsprechend bei der Anzeige dann irgendwie zu berücksichtigen.

00:10:24: Und dann kommt's genau ins Sicherheitskonzept.

00:10:27: Ist das eventuell sinnvoll dem Nutzer anzuzeigen?

00:10:30: Dass dann eine Unsicherheit ist oder lässt man es dann lieber weg?

00:10:34: Wie geht man dann sozusagen auch Systemeben um?

00:10:37: Denn eins ist auch klar, safety-Sicherheit ist immer eine Eigenschaft vom Gesamtsystem.

00:10:43: Man muss immer überlegen was die konkrete Situation ist und wie kommt es potenziell zu einem Unfall.

00:10:48: Das hängt mit der Fehlerwahrscheinlichkeit von der KI zusammen.

00:10:51: aber ganz wichtig ist dass man das große Ganze nicht aus dem Blick verliert.

00:10:57: Ich würde da nochmal kurz einsteigen bei dieses Beispiel mit der Fehlererkennung für die Schilder.

00:11:02: Das ist ja relativ klar, er kennt es richtig oder er kennt's falsch.

00:11:07: Es gibt nichts dazwischen.

00:11:09: jetzt gibt sie aber Situationen wo die KI irgendwie entscheiden also die komplexer sind.

00:11:16: im Straßenverkehr keine Ahnung da läuft ein Kind am Straßenrand das hat einen Ball in der Hand des klassische was man so irgendwie nach Fahrschule schon lernt.

00:11:22: als Mensch ist meine plötzlich wach und sagt okay könnte potenziellen Risikosituation sein kann sowas die KI auch?

00:11:32: Und wie messen Sie, wie gut, also wie qualitativ wertvoll die KI-Entscheidung ist.

00:11:38: Ja sie kann es auch.

00:11:39: und jetzt muss man wirklich unterscheiden denn KI ist nicht gleich KI.

00:11:44: Es gibt erstmal ganz viele Arten von Methoden und Modellen, Arten zu lernen auf, wie man diese Modelle trainiert und eine Art oder ein Anwendungsfall ist das man überhaupt erst mal erkennt dass dann Kind Man kann natürlich mit anderer Sensorik und auch ohne KI, da ist ein Objekt von einer bestimmten Größe bewegt sich mit einer bestimmte Geschwindigkeit.

00:12:07: Aber dass es dann wirklich ein Kind ist also diese genaue Objekt-Klassifikation das ist ein typischer Anwendungsfall von KI.

00:12:14: Da kann man die eine Art von KI erst mal einsetzen um überhaupt die Situation einigermaßen zu erkennen.

00:12:20: Und dann kommt das nächste und zu sagen, na so wie wir als Menschen eine Situation erfassen.

00:12:26: Also auch die Zusammenhänge da ist ein Ball, das Kind läuft den Ball hinterher und so Das kann man auch versuchen mit einer KI irgendwie zu erfassen.

00:12:36: Allerdings gibt es halt eben zwei Ansätze Kann man auch sagen ich versuche diese Sachen jetzt lieber regelbasiert zu implementieren also nur die Wahrnehmung Die mache ich jetzt erstmal mit einer Art von KI, ob da ein Kind ist oder nicht.

00:12:49: Und dahinter kommt dann was Regelbasiertes wo ich es versuche irgendwelche Regeln aufzustellen und zu sagen ja ich versuche immer einen Abstand zu halten usw.

00:12:58: Von Kindern.

00:12:59: oder wenn ich jetzt sich versuche im Extremfall den Ball zu erkennen das Kind zu erkennen dann versuche ich noch zu entsprechend größeren Abstandshalten aber kann sich vorstellen Das sind endlos viele Regeln, die man da aufstellen müsste.

00:13:12: Also das sind ja auch Spezialfälle.

00:13:14: wie okay jetzt habe ich einen Polizist erkannt.

00:13:15: ist es wirklich ein Polizisten?

00:13:17: oder haben wir Karneval?

00:13:17: und der ist nur verkleidet?

00:13:19: also... Und das ist auch die Frage Wie viel Ausnahmen will man da reinprogrammieren?

00:13:27: Und egal wieviel man mühe sich gibt Es wird immer wieder irgendwelche Fälle geben die man vergessen hat.

00:13:33: Und dann stellt sich halt die Frage ist es vielleicht nicht einfach zu viel.

00:13:38: Sind das zu viele Verkehrsregeln, als dass man das noch explizit machen kann?

00:13:42: Diese Verkehrsreger sind ja auch überall unterschiedlich!

00:13:45: Man fängt dann jedes Mal von neu an.

00:13:47: oder ist es eventuell möglich ein Dark AI zu nehmen und so eine Art Weltmodell aufzubauen die eben diese ganzen Zusammenhänge versteht?

00:13:57: Und das wäre natürlich ein KI-Modell.

00:14:00: Das hat einen sehr großen Eingaberaum von den ganzen Situationen.

00:14:05: Und wie ist das überhaupt auch getrennt von der Eingabe?

00:14:08: Es gibt da auch theoretisch den Ansatz, dass man es gar nicht mehr trennt und sagt die Eingaben, die Erkennung von dem Kind.

00:14:14: Und dann direkt wieder weiterverarbeitet... Das ist eins!

00:14:20: Dann hat man einen Riesen-Lackbox.

00:14:22: Da kann man sich halt schwer darauf verlassen.

00:14:24: Andererseits ist es ein relativ mächtiger Ansatz Und da ist es auch um das zu analysieren, was kann das jetzt?

00:14:31: Zumindest mal zwischendrin abzugreifen.

00:14:33: Hat's denn jetzt eher an der Erkennung gelegen?

00:14:35: Habe ich jetzt das Kind übersehen oder hats eher in der Situationswahrnehmung gelegt dass man sagt ja ich habe schon den Ball und das Kind erkannte aber ich hab halt einfach nicht verstanden, dass die Karrieren nicht verstanden, dass das Kind mit dem Ball hinterher rennt und auf die Straße geht?

00:14:53: Entschuldigung, das klingt ja wie ein Job der eigentlich nie zu Ende ist.

00:14:57: Das klingt so unglaublich viel und groß weil diese ganze Welt so komplex ist.

00:15:05: wenn wir mal die welt als hundert prozent annehmen wieviel prozent von dieser welt haben sie eigentlich mittlerweile in irgendwelchen modellen so beschrieben dass eine ki so reagiert dass sie sagt ja dass sie sagen ja das risiko minimieren wir jetzt wirklich das was passiert?

00:15:21: Ja, also wenn man mir sagen muss wir bauen diese großen Modelle als Frauenhofer-Institut nicht weil das ist jetzt und das ist auch eigentlich gerade sind das große Initiativen die laufen.

00:15:31: Man braucht unheimlich viel Daten, unheimliche Rechenkapazität und es ist gar nicht klar ob das funktioniert.

00:15:37: aber ich Ich würde sagen, dass man von diesen ganzen, was man alles machen muss.

00:15:42: Von vornherein sich sowieso nur einen kleinen Teil raussucht.

00:15:46: Also es ist nie das Ziel und meiner Meinung nach auch gar nicht so sinnvoll zu sagen wenn man in irgendeinem Bereich jetzt mit Robotaxis rumfahren will Dann wird man sich erstmal genau diesen Bereich anschauen und sagen, okay ich brauche jetzt nicht zu lernen wie ich irgendwo in den Alpen im letzten Dorf mit wahnsinnig vielen Spezialfällen eventuell auch noch zurechtkomme wenn ich doch eigentlich nur vorhabe in diesen Bereich in der Stadt zu fahren.

00:16:11: Das heißt man schränkt das schon mal ein, wenn man die hundert Prozent die ganze Welt nehmen würde an alle Straßen dann geht man von vornherein schonmal sagt okay womit will ich was überhaupt mein Business Case?

00:16:20: Womit will Ich Geld verdienen?

00:16:22: Was soll das System können?

00:16:23: Und dass ist überhaupt erst einmal der Bereich wo man anfängt Und dann kann man von dort aus gehen und sagen, wie viel davon schaffe ich denn überhaupt sinnvoll?

00:16:33: Also wenn man jetzt sagt zum Beispiel auch bei Regen oder bei bestimmten Wetterbedingungen funktioniert das gar nicht so gut.

00:16:41: Aber in dem Gebiet wo ich rum war regnet es so gut wie gar nicht.

00:16:45: Will ich wirklich versuchen noch diesen Regenfall also jetzt in San Francisco oder anderen Gebieten auf der Erde wo immer gute Wetter-Bedingungen sind will ich dann wirklich soviel Invest nehmen um dieses letzte Stückchen von dem Bereich, wo ich rumfahren will überhaupt noch mit zu betrachten.

00:17:00: Und das ist tatsächlich auch eine Entscheidung, wo einerseits sozusagen das Geschäftsmodell mit rein spielt.

00:17:09: also was will man welchen Bereich will man unterstützen und dann Aufwand und Kosten?

00:17:14: Also unter Umständen brauchen wir eine zusätzliche Sensorik Man hat einen weiteren Entwicklungsaufwand und man will vielleicht auch erst mal mit einem kleinen Bereich anfangen da Erfahrungen sammeln und den Schrittweise dann, wenn das in einem ganz kleinen Bereich funktioniert ausweiten.

00:17:30: Aber jetzt mal so ganz gesagt, wenn ich einen Bereich mir vorher noch einmal rumzufahren würde ich mal sagen In dem Bereich kommt man also auf die Achtzig Prozent.

00:17:38: um jetzt mal irgendeine Zahl in den Raum geworfen zu haben

00:17:43: Könnte man sagen dass autonomes Fahren im flotten Betrieb Also spricht zum Beispiel als

00:17:48: Taxi

00:17:49: etwas ist was einfacher umzusetzen ist als jetzt zum Beispiel in einem privaten Bereich, wo ich die Szenarien in dem dieses Autonome fahren zum Einsatz kommt nicht so genau kenne.

00:18:03: Ja also zumindest mal ist ganz wichtig erstmal diese zwei Szenariens zu unterscheiden und die zwei Geschäftsmodelle verkauft man im Fahrzeug an eine Privatperson oder an eine Organisation wie ein Taxiunternehmen sozusagen versucht jetzt einen Roboter-Taxis rumfahren zu lassen.

00:18:22: Der erste Unterschied ist, wo ist es wertvoll und was darf es kosten?

00:18:26: Also als Privatpersonen ist das natürlich auch schon unheimlich hilfreich wenn man einfach mal auf Autobahnen sich zurücklegen kann gerade im Stau und die Komplexität dass dort in den Griff zu bekommen ist relativ gering.

00:18:38: Das heißt da im Privatverkehr fokussiert man sich auf Assistent beim bei Autobahn hingegen jetzt einem anderen Geschäftsmodell In der Stadt fokussiert man sich eben auf komplexe Szenarien, weil da aber auch der größte Mehrwert ist.

00:18:57: Weil dort das Taxigeschäft verortet ist und es ist eben auch ein Unterschied wie viel kann man demjenigen, der dann das Fahrzeug betreibt oder verantwortlich ist?

00:19:11: Und noch mal in Situationen wo das Fahrzeug nicht zurückpunkt zumuten?

00:19:15: Bei der Privatperson kann das ja jede beliegebliche Person sein, die hat keine besondere Ausbildung.

00:19:21: Also da muss man mit viel mehr Rechnen was schief gehen kann als wenn man jetzt sagt man hat ein professionelles Unternehmen und Taxi betrieb wo auch hinten dran remote Personen sitzen die das ganze überwachten die sehr geschult sind Und wo man auch im Prinzip von ausgehen kann, dass die besondere Dinge wirklich viel wert oder legen oder besondere Acht haben.

00:19:48: Dass das nicht passiert.

00:19:49: Oder auch die Frage Man kann jetzt nur zu den und den Bedingungen fahren Zu denen und den Wetterbedingungen.

00:19:55: Also wie sehr kann ich mich darauf verlassen?

00:19:57: Das einerseits wirklich ein Unternehmen und Taxi-Unternehmen mit Robotaxis das so umsetzt.

00:20:03: Versus vielleicht, dass eine Privatperson dann doch einfach mal ein autowierenbaren Pilot anschaltet wenn die Wetterbedingungen nicht gut sind.

00:20:10: Da sollte vielleicht das Fahrzeug eher selber erkennen, dass die Wettbedingung nicht ausreichen, wenn es möglich ist und dann gar nicht erst sozusagen das Anschalten ermöglichen.

00:20:19: Sind das unterschiedliche Szenarien, die Sie auch durchtesten?

00:20:23: Und an denen sie arbeiten oder die Sie durchdenken also dieses private Fahren und das fahren zum Beispiel in dem Taxibetrieb?

00:20:31: Ja, also das denken wir schon in dem Sinne durch.

00:20:34: Wenn wir zum Beispiel auch Risikobetrachtungen machen, Firmen beraten die jetzt entweder den einen oder den anderen Fall im Fokus haben bei unserer Forschung hier, die wir z.B am Simulator machen gibt es Fragestellungen, die tatsächlich eben für beide Anwendungsfälle relevant sind.

00:20:51: wenn

00:20:51: man jetzt den Fahrer Innenraum überwachen will mit einer Kamera und einfach rauskriegen will, wenn man bestimmte Sachen über die Personen im Innenraum, wie verlässlich man sie mit NKI erkennen kann.

00:21:05: Dann ist das potenziell eben für beide Anwendungsfälle relevant.

00:21:08: Von daher ist es ein Jein.

00:21:10: Einerseits unterscheiden wir ganz klar jetzt sozusagen auch bei Risikobetrachtung, wie groß ist das Risiko?

00:21:16: Wie hoch ist die Risikoakzeptanz?

00:21:18: Wie gut kriegt man das überhaupt hin zwischen diesen zwei Fällen?

00:21:21: Andererseits haben wir Forschungs- fragestellungen, die wirklich für beide fellerrelevant sind.

00:21:25: Sie reden ja mal so von Risiko.

00:21:29: Ist das grundsätzlich beherrschbar?

00:21:31: Ja, Risiko kann man immer versuchen zumindest mal zu reduzieren.

00:21:38: Zu beherrschen irgendwie wie beherrzbar ein Risiko ist.

00:21:42: Hängt ganz stark vom Anwendungsfall von der konkreten Situation aber interessanterweise auch die Risikoakzeptanz und es gibt verschiedene Risiko-Akzeptanzkriterien.

00:21:53: Neues ist, was jetzt sozusagen kommt, dass man mit KI und autonomem System, das man die Idee hat.

00:22:00: Man vergleicht sich mit dem Mensch weil der Mensch vorher die Aufgabe gemacht hat.

00:22:03: wenn jetzt natürlich ein technisches System das übernimmt Dass man da einen Vergleich herzieht Und der Mensch ist natürlich auch nicht in allen Situationen gleich gut.

00:22:12: Also wenn die Situation sehr komplex ist dann hat der Mensch die auch nicht so gut im Griff macht dort auch eher Fehler als ein technisches System.

00:22:21: Wenn man das sozusagen als Messlatte nimmt, dann ist die Risikoakzeptanz eine andere und aber auch die Beherrschbarkeit ist eine andere.

00:22:30: Und wenn man – und es wird eben teilweise gemacht also Referenz den Menschen, den menschlichen Fahrer nimmt und sagt das technische System muss mindestens genauso gut sein oder vielleicht besser in bestimmten Größenordnungen dann ist natürlich die Risikoakzeptanz auch nicht in jedem Szenario und in jedem Bereich gleich.

00:22:48: Und das gilt es eben zu zeigen, zu sagen ja einerseits habe ich das Risiko soweit wie möglich reduziert, wie das technisch machbar und sinnvoll irgendwie sinnvoll machbar ist andererseits reicht das auch.

00:23:00: also dass was sich sozusagen nach jetzigem Stand der Technik erreichen kann Ist gut genug für ihn für den konkreten Anwendungsfall.

00:23:12: Sie haben vorhin schon was angesprochen, dass wenn man ein Flottenbetreiber ist von Taxis zum Beispiel dann kann man Verantwortung in Hände geben.

00:23:19: Von jemanden wo man ausgehen kann der ist geschult er kennt sich aus mit dieser Materie.

00:23:24: im privaten Bereich ist es ja eher so die Leute wollen sich ans Auto setzen sie kennen das Auto die wissen wie man das fährt und sie sind sowieso die besten Autofahrer der Welt.

00:23:33: haben wir da als Autofahrer eine niedrigere Schwelle?

00:23:38: sind wir da kritischer mit der Technik, als wir es eigentlich mit uns selbst sind?

00:23:42: Ja auf jeden Fall.

00:23:44: Das würde ich schon sagen und das ist jetzt nicht nur beim Bereich Automotive so.

00:23:49: Also es ist grundsätzlich so dass Menschen vertrauen oder die Risiko Akzeptanz gegenüber Fehlern ist bei technischen Systemen geringer als bei Menschen.

00:23:59: Also technische Fehler, technische Systeme dürfen nicht so wahrscheinlich Fehler machen wie Menschen.

00:24:05: Das ist einfach nicht so akzeptiert.

00:24:07: Und bei Menschen ist es zum Beispiel auch so, dass man die Risikoakzeptanz gegenüber anderen fehlern und auch das Vertrauen gegenüber anderen ist geringer als das eigene.

00:24:16: Also viele Leute überdurchschnittlich glauben, dass sie überdürchendlich gute Fahrer sind.

00:24:21: also das kann allein ja schon gar nicht sein und das ist eben auch ein Indiz dafür.

00:24:27: Das wirkt sich eben auch auf auf Risiko Akzeptanz Kriterien und Prinzipien aus.

00:24:33: Die Frage ist tatsächlich reicht dass ein technisches System besser ist oder genau, ja das es nur besser ist als der durchschnittliche Fahrer.

00:24:44: Oder vielleicht ein guter Fahrer selbst einen sehr guten Fahrer?

00:24:48: Oder kommen da nicht noch andere Sachen mit hinzu?

00:24:51: also wenn man jetzt sagen kann, dass ein gutter Fahrer in so einer Situation trotzdem nicht so gut zurechtkommt aber wenn ich ein technisches System habe ich mit sehr wenig Aufwand das Risiko reduzieren kann dann gibt es eigentlich keinen Grund Wenn da nur eine Geringe in Westen notwendig ist, das Risiko noch weiter zu reduzieren.

00:25:11: Auch wenn es erheblich ist.

00:25:12: Das passieren menschliche Fehler im Verkehr die sind da würde man so weit wie möglich nach unten kriegen.

00:25:20: und Man muss auch sehen dass man jetzt sozusagen verschiedene Arten von Unfällen miteinander vergleichen muss und zu sagen ja Ist das denn so?

00:25:27: Es wäre jetzt zum Beispiel auch nicht so wenn insgesamt die Unfallzahlen runtergehen oder die Toten runter gehen Aber jetzt andere Bevölkerung oder Personengruppen betroffen sind.

00:25:38: Die, die in den Robotaxis sind, die sind sicher, aber die, die zu Fuß unterwegs sind, sind dann weniger sicher?

00:25:44: Oder vielleicht auch nur bestimmte Fußgänger oder so?

00:25:47: Also deshalb ist es nicht ganz so einfach das sozusagen alles statistisch zu betrachten.

00:25:53: Sie hatten vorhin schon mal kurz angesprochen dieses große Weltmodell

00:25:56: für

00:25:57: wir... Realistisch.

00:25:58: halten Sie es denn, dass man tatsächlich so ein großes Weltmodell bauen kann?

00:26:03: Also ich kann auch nicht in die Glaskugel schauen.

00:26:07: Von daher eigentlich würde ich sagen total unrealistisch.

00:26:12: Allerdings habe ich in der Vergangenheit schon oft gesagt total unrealistisch und dann ist es doch gekommen.

00:26:18: von daher finde ich schwierig.

00:26:21: aber was ich sagen kann ist das wenn es funktioniert Ich glaube schon es wäre ein wahnsinniger Durchbruch.

00:26:27: Ich sage mal so, im Moment endet das Internet am Bildschirm.

00:26:31: Und die KI, die die Information wahrnimmt und vielleicht jetzt durch Texte, Bilder oder sowas, die ist relativ abgekoppelt von der realen Welt.

00:26:39: weil wenn ich jetzt sage Bildschirmen dann sind es vielleicht Fotos, Handys oder Desktoprechner oder so... Es ist der Zugriff zu der realem Welt nur sehr bedingt da!

00:26:49: Wenn jetzt über autonome Fahrzeuge oder vielleicht auch Roboter- und andere Systeme Das ist noch ein bisschen größer gedacht.

00:26:55: aber Wenn da drüber in Zugang zu realen Welt entsteht und ein Verständnis, dann ist das noch mal was ganz anderes als wenn das einfach nur auf Text- und Bilddaten basiert.

00:27:09: Und das könnte natürlich schon einen riesigen Umbruch sein... Die Frage ist auch sozusagen nicht, ob man es irgendwann mal schafft.

00:27:18: Man soll wahnsinnige Investitionen notwendig, die sich auch irgendwann mal sozusagen austalen sollen.

00:27:25: und wenn das Ganze zu lang dauert dann ist natürlich auch kritisch Und das kann ich im Moment tatsächlich schwer abschätzen, ob da nicht eine KI-Blase irgendwo gerade am Entstehen ist bei den ganzen Investitionen die in dem Bereich gemacht werden.

00:27:39: Von daher würde ich auch dazu plädieren zu sagen man guckt sich doch erst mal auch die Anwendungsfälle an wo man relativ schnell einen echten Wehrwert hat und einen schnellen kurzen Return on Invest.

00:27:52: Sehr gut, das ist so ein praktischer Aspekt den ich gerade mal ansprechen wollte.

00:27:56: wenn man als Entwickler heute an einem Automotive-Projekt sitzt.

00:27:59: Gibt es so Fragen die man sich zwingend stellen sollte, die man dann auch beantworten kann?

00:28:03: Ja also als Entwicklern hat man ja diese ganz großen Fragen wo investiere ich rein und was mache ich?

00:28:12: glücklicherweise aber damit muss man sicher nicht beschäftigen.

00:28:14: die Entscheidung ist einem da ja schon abgenommen worden Und man kriegt dann eher sozusagen den Auftrag, dass man nach was machen soll.

00:28:21: Aber die Verantwortung liegt dann noch letztendlich da zu sagen, reicht das jetzt?

00:28:27: Also ist meine KI für diesen Anwendungsfall gut genug und Kann man mal grob unterscheiden, wenn Menschenleben von abhängen.

00:28:35: Das ist dann ja auch ein regulierter Bereich, wenn es Sicherheit und Leib und Leben gehen.

00:28:39: Das da noch einmal eine andere Punkt.

00:28:41: aber letztendlich geht's immer um die Qualität.

00:28:44: also wenn ich hatte eben schon von Fehlerwahrscheinlichkeiten gesprochen auch sozusagen wenn die Qualitäten nicht reicht bringen Produkt auf den Markt was dann vielleicht nicht sicherheitskritisch ist.

00:28:53: Aber es gibt ja auch Sachen wie Rufschädigungen und andere darüber die man sich Gedanken machen braucht einen gewissen gewisses Qualitätsniveau.

00:29:02: Da sollte man sich immer fragen, habe ich das wirklich erreicht?

00:29:05: Wie kann ich das genau bestimmen was ich gut genug bin.

00:29:07: Wie gut muss ich sein?

00:29:09: und da sind zwei ganz großes Fragen wichtig.

00:29:11: also nicht nur die Frage wie gut bin ich weil da ist sehr viel Unsicherheit sondern auch wie gut muss Ich sein dass eben auch sehr viel unsicherheit.

00:29:19: und Man Muss Beides Genau Genug Bestimmen um zu sagen, ja das schaffe ich und wenn es in den sicherheitskritischen Bereich geht.

00:29:26: Da würde ich gerne noch den Hinweis mitgeben sich auch zumindest mal am ganz am Anfang nochmal sehr grundlegend zu fragen gibt es nicht vielleicht auch eine Lösung ohne KI?

00:29:36: also wir waren beim Thema Verkehrsschülenerkennung.

00:29:38: Wenn ich jetzt mit einer Kamera und Kamerabildern jetzt Verkehrsschilder klassifizieren will dann mag es sein dass das die beste Lösung ist Und wenn ich das als Assistenz von der Sicherheitslasten mache für den Menschen, okay.

00:29:50: Das ist eine Sache.

00:29:51: aber man kann doch sagen Man kann jetzt vielleicht die Schilder könnte irgendwo schilderausstellen, wenn es nur begrenzter Bereich ist oder andere Sachen, die aktiv irgendwas senden Oder man macht das über Map-Daten oder hat noch zusätzliche Sachen und nimmt die KI nur zur Blausebilisierung usw.

00:30:07: Also da gibt's ganz viele Varianten.

00:30:10: und sich dann immer zu fragen Gibt es nicht vielleicht noch irgendwelche anderen Möglichkeiten?

00:30:15: Wie kombiniere ich die Möglichkeit, dass nicht zu viel Sicherheitslast auf der KI liegt.

00:30:23: Spannende Fragen!

00:30:24: Eine letzte Frage habe ich noch weil Sie das eben schon so kurz angesprochen haben.

00:30:29: man sollte sich überlegen wo man die KI einsetzt beziehungsweise wo man sie vielleicht auch einfach weglassen kann.

00:30:35: also im Prinzip sollte man sich auf die frage stellen wo liegt die grenze zwischen technischer machbarkeit und Verantwortbarkeit?

00:30:44: Ja, auf jeden Fall.

00:30:46: Es gibt da den Begriff der Stand der Wissenschaft und Technik und an denen sollte man sich halten und es gibt auch dem... Da gibt's viele Varianten in allgemein Anerkanntenstand der Wissenschaft oder Technik dann nur der Technik usw.

00:30:59: Und da ist es eben auch schon wichtig zu sein Wenn man jetzt als Hersteller zu einer bestimmten Sicherheitsniveau hat, dass hinter dem hinterherhängt, wie denn wir es alle anderen machen.

00:31:11: Dann ist das gefährlich.

00:31:13: wenn man bei Sicherheit sehr innovativ und zu innovativ ist dann birgt das natürlich auch ein gewisses Risiko und sich da strategisch überlegen wie stelle ich mich auf was machen sozusagen andere?

00:31:25: Und bin nicht am Stand der Wissenschaft und Technik dran und versuche das bestmögliche zu machen.

00:31:31: Ganz einfaches Beispiel beim Airbag, der wurde auch irgendwann mal eingeführt.

00:31:35: Dann gab es den noch nicht.

00:31:36: Der hatte aber am Anfang und da sind auch Unfälle passiert.

00:31:39: Er kann auch das Risiko erhöhen wenn er nicht gut gebaut ist.

00:31:42: Und die Frage ist bin ich irgendwann der Letzte der den Airbag noch nicht im Auto hat sozusagen?

00:31:48: Dann wird's irgendwann auch kritisch.

00:31:50: andersrum Bin ich vielleicht jetzt zu früh und habe ein unreifes Produkt.

00:31:55: Wenn der Allerjahrste der Airbag auf dem Markt bringt, dann funktioniert sozusagen nicht gut genug.

00:32:00: Und das ist, glaube ich die Frage, die man sich da stellen muss und beim Stand der Wissenschaft und Technik.

00:32:06: Die sollen eigentlich in den Normen drin stehen dafür sind sie auch da und den festhalten.

00:32:10: aber bei der rasanten Entwicklung kommt die Normung kaum noch hinterher.

00:32:15: Und letztendlich ist es auch mit unserer Aufgabe einerseits im Stand der Wissenschaft und Techniek voranzutragen wenn die Normungen zu tragen Aber auch dahingehend zu beraten zu sagen okay wo steht man denn jetzt eigentlich?

00:32:28: Gut, sehr schön.

00:32:29: Vielen Dank!

00:32:30: Ich sehe schon dass wir noch ganz viele Themen haben über die wir auch in Zukunft sprechen können nachdem was Sie alles so angerissen haben.

00:32:37: vielen dank für Ihre Zeit Herr Adler.

00:32:40: vielleicht hören wir uns ja mal wieder.

00:32:41: Ja, sehr gerne.

00:32:42: Herzlichen Dank auch von meiner Seite.