Autopilot Hardware 2.0 - ausreichend für Level 5 Autonomie?

Hallo Leute!

In diesem Thread soll es ausschließlich um die Hardwarekomponenten der Autopilot 2.0 Hardware gehen, im Hinblickauf deren technischen Aspekte für die Eignung für vollautonomes Fahren. Natürlich darf es auch um die Frage gehen, ob eine AP 3.0 Hardware notwendig sein wird oder nicht, und was an dieser noch verbessert werden könnte.

Bitte hier nur konstruktive Beiträge posten.

Dass Tesla es hinbekommt auf der Autobahn vollautonom zu fahren glaube ich schon, vor allem auf den üppigen US highways. Auch deutsche enge Autobahnbaustellen sollten damit im Gegensatz zu AP 1.0 sicher möglich sein, wobei auch hier in dichter Kolonnenfahrt evtl Probleme auftreten könnten durch Verdeckung der Fahrbahnmarkierungen durch vorausfahrende Fahrzeuge.

Tesla hält sich ein rhetorisches Hintertürchen offen mit der Formulierung „enabling full self-driving in almost all circumstances“.
Welche mögen es sein? Die ersten Zweifel kamen mir als ich neulich mit einem Freund in seinem 90D durch das nächtliche, stark verregnete und dunkle Ludwigshafen fuhr, und ich selbst mit meinen Augen trotz Licht kaum noch etwas von der Fahrbahn sehen konnte…kann das die Kamera besser? Handykameras bekommen Probleme mit Rauschen bei geringer Heligkeit, was gilt wohl für die Tesla Kameras?

Falls irgendwelche Annahmen oder Bauteile falsch sein sollten, bitte PN an mich, danke!

Die AP 2.0 Hardware besteht im Gegensatz zu AP 1.0 aus:

  • 8 Kameras statt einer
  • 12 Ultraschallsensoren mit fast doppelter Reicheite und Auflösung (zuvor ca 5-6m, jetzt etwa um die 10m?)
  • einem nVidia basierten Supercomputer (basierend auf nVidia NVIDIA DRIVE™ PX 2) mit etwa 40x mehr Rechenleistung als AP1.0
  • einem etwas präziseren GPS
  • einem vorwärts schauenden Radar (ich kenne noch keine Details ob der wesentlich besser ist als AP 1.0 oder gleich)

Nach dem semi truck trailer Todesfall, bei dem die eine Kamera nicht den querenden Truck von einem Schild unterscheiden konnte, vollzog Tesla ja einen Schwenk von Kameras hin zu „seeing the world in radar“ als Haupt-Informationsquelle…nun scheinen die Kameras doch wieder den Löwenanteil der Erfassungsarbeit zu tragen.

Die Kameras sind:

3 Im Rückspiegel: vorne links, vorne rechts und eine medium range „zoomkamera“ für schnelle Autobahnfahrten und optische Früherkennung ausserhalb der Radar Erfassungsweite (von ca. 150m?). Da die gerade schauende Kamera im Rückspiegel die medium range Zoomkamera sein muss, werden die weitwinkligeren Kameras nach vorn links und vorn rechts sich im Sichtfeld überlappen.

2 Kameras in den B Säulen, für den Blick zur Seite links und rechts verantwortlich. Dadurch werden Kreisverkehre ect. zuverlässig erfasst.

2 Kameras in den seitlichen Blinkern, die zu diesem Zweck etwas ausgestellt sind, um nach hinten ein sich ebenfalls überlappendes Blickfeld zu ermöglichen.

Macht 7 - die Rückfahrkamera dürfte die 8. Kamera sein, sie wird nun offenbar auch vom Rechner ausgewertet statt nur dem Fahrer im 17" Touchscreen eingeblendet zu werden.

Der Radar ist gut und kann Entfernungsunterschiede schneller erkennen als die Optik, teilweise sogar unter dem vorausfahrenden Fahrzeug hindurch das übernächste Fahrzeug tracken.

Das mit dieser Sensorflotte tagsüber bei klaren Fahrbahnmarkierungen eine hochpräzise, hochzuverlässige und wesentlich sicherere Fahrweise möglich ist als der durchschnittliche, ja sogar der gute Autofahrer steht ausser Frage. Denn kein Mensch kann 360° gleichzeitig überblicken und auch bei 15 Stunden Gewaltfahrten permanent 100% aufmerksam und wach bleiben.

Ich habe jedoch bedenken, ob die Kameras bei sehr ungünstigen Lichtverhältnissen (nasse Strasse, fehlende Fahrbahnmarkierungen, „Flickenteppich“ Asphalt, Nebel oder Starkregen) noch gut und zuverlässig auswertbares Bildmaterial liefern, und ob es wirklich möglich sein wird, das Ziel ins Navi eintippen zu können, und sich schlafen zu legen oder ein Buch zu lesen, Film anzuschauen oder sonstwie seine Aufmerksamkeit vollständig vom Verkehrsgeschehen abzuwenden.

Das Problem an AP 1.0 ist doch, dass man als Fahrer jederzeit voll aufmerksam bleiben muss, und innerhalb von einer Sekunde eingreifen wenn nötig. Was mich interessiert ist die spannende Frage, wird AP 2.0 so sicher und zuverlässig funktionieren, das Tesla fahren ähnlich entspannt und erholsam sein wird wie Zugfahren?

Edit: Hier noch ein sehr interessanter Artikel über die verschiedenen Erfassungssysteme die es momentan auf der Welt gibt:
cleantechnica.com/2016/07/29/te … dar-right/
Google baut auf LIDAR, Tesla sagt es geht ohne…sieht technisch fundiert aus, vor Allem die Diagramme vermitteln einen guten Eindruck. Mag sie nicht direkt hochladen wg. Copyright, aber die Seite ist öffentlich.

Edit2: cleantechnica.com/2015/11/05/te … ving-cars/
Hier noch ein Breakdown des Autors über die Ansätze (neudeutsch: approaches) von Tesla vs. Google - und ich denke er hat Recht! Tesla macht das Rennen, während Google sich an super-perfekten Zentimetergenauen Karten zutode rackert. Ich glaub Elon Musk als Visionär weiß genau warum er (momentan) auf Lidar verzichtet. bei schlimmem Wetter (Regen, Nebel…) ist Lidar auch schnell erledigt, und das noch schlimmer als Kameras. Falls es jedoch billiger wird, wird Elon einer der ersten, wenn nicht der erste Sein, der es in seine Teslas einbaut. Eine sinnvolle Ergänzung wären sie in jedem Fall, jedoch nicht zwingend notwendig.

Du kennst in deiner Auflistung den Nvidia Chip näher bezeichnen:
Nvidia Drive PX 2
nvidia.com/object/drive-px.html

Elon Musk hat dieses Jahr bereits zugegeben, dass für Level 5 möglicherweise ein zweiter Chip dieser Bauart notwendig ist.

Btw vermute ich, dass dieser neue Thread sich dauerhaft schwer vom alten HW2.0 Thread trennen lässt.

Ich sage dass L5 so definitiv nicht funktioniert. Vielleicht als Scnönwetterautopilot auf eifens gebauten Pisten. Aber wenn ich L5 kaufe erwarte ich das auch wenn es regnet, in der Nacht/Dämmerung, wenn es auch mal Salzwasser auf der Strasse hat etc… dafür müssten alle Kameras entweder so verbaut sei. Dass sie nicht dreckig werden oder sich reinigen können… ist glaub nicht der Fall… und solange das nicht funktioniert heisst es 100% bei der Sache sein, Hände ans Steuer oder ein Taxi nehmen…

Dann dauert das wohl noch ein wenig und wenn es bedeutet das man auf AP 3.0 warten muss auch das. Bei Fahrzeugen in dieser Preisklasse erwarte ich bei L5 Autonomie das das Auto ganz ohne Insassen überall hin kommt. Auch bei Nebel und Schnee, ohne Ausnahme.

Weder die CPUs noch die Sensoren können bei AP2 voll autonom fahren meiner Einschätzung nach. Nicht vergessen, voll autonom heißt, und das verspricht Tesla ja auch, das Fahrzeug ist ohne Fahrer unterwegs. Zum Beispiel zur Parkplatzsuche.

Warum schätze ich das so ein? Nun, weil zum einen alle Sensoren benötigt werden um die NNs zu füttern. Man könnte eingeschränkt auch trainieren mit ausgefallenen Sensoren zu fahren aber ich glaube da kommen schnell Grenzen. Aber Fahrzeuge die durch eine Verschmutzung, Defekte, etc. sofort hilflos werden lässt sicher niemand ohne Backup Fahrer auf die Straße. Zum Anderen sind sehr viele Kontext Fähigkeiten des Menschen im Straßenverkehr nötig um Ausnahmen zu lösen die nicht häufig genug sind zum trainieren aber auch nicht selten genug zum ignorieren. Da brauchen echte L5 Fahrzeuge mehr vom vollständigen Verhalten eines Menschen als nur um im Regelfall von A nach B zu steuern.

Das allerdings glaube ich ist erreichbar mit AP2 HW, Navigation von A nach B autonom abfahren, mit Händen am Steuer und Fahrer auf dem Sitz, immer bereit zu übernehmen wenn der AP überfordert ist. Grundsätzlich wird das allerdings oft der Fall sein bei schlechten oder gar falschen Markierungen und Beschilderungen, schlechten Wetterverhältnissen, Verschmutzung, Sensorausfällen, Computerausfällen, etc.

Man kann sich das leicht plausibilisieren wenn man die APs von Flugzeugen heranzieht. Hier muß auch der Pilot überwachen, die Verkehrssituation ist unendlich weniger komplex aber trotzdem sind Sensoren und CPUs mehrfach redundant mit Systemen die vergleichen welche Ergebnisse die Systeme liefern und bei unklaren Abweichungen wieder an den Piloten übergeben. Ein Auto in den Stadtverkehr mit lächerlich weniger Redundanz, dafür aber ohne Fahrer zu lassen ist aus meiner Einschätzung komplett absurd.

Für Schönwetter Tageslicht L5 Autonomie wird wahrscheinlich die aktuelle AP2 Hardware ausreichend sein.
Das wird aber sicher nicht der Fall sein für Regen, Schnee und nächtliche Fahrten. Da führt meines Erachtens nach kein Weg an (Solid State) LIDAR vorbei.

Siehe auch:

google.lu/search?q=lidar+in … e&ie=UTF-8

Ich stimme der Einschätzung dass L5 mit dieser Hardware nicht möglich sein wird zu.

Wer den Valeo Film den ich kürzlich gepostet habe genau angesehen hat, der hat dort z.B. eine Reinigungsanlage für die Kameralinsen gesehen. Dieses fehlt bei HW2.0 völlig und macht damit den Einsatz bei widrigen Witterungsbedingungen praktisch unmöglich.

Abgesehen von der Redundanz wichtiger Komponenten werden solche Details letztlich darüber entscheiden ob „full self-driving in almost all circumstances“ ermöglicht wird.

Ich habe mich auch lange mit dem Thema befasst und schon überlegt meinen AP1 gegen ein AP2 Modell zu tauschen, aber dann habe ich es aus folgenden Gründen nicht gemacht:

Der Unterschied zwischen AP1 und AP2 auf der Autobahn wird relativ gering sein. AP1 macht für mich genau das, was ich will - eine Entlastung des Fahrers.

Autonomes Fahren (nochmal teurer!) kann mit der eingebauten Hardware aus meiner Sicht nicht vollständig funktionieren. Dafür fehlen einfach Sensoren/Kameras/Radar/Lidar, die im Regen und im städtischen Verkehr (enge, zugeparkte Straßen) funktionieren. Als Beispiel: Ausfahrt, bei der ein großer LKW so parkt, dass man keine Sicht auf den Querverkehr hat, in den man sich einordnen muss. Wenn Tesla die Kameras statt in den B-Säulen vorne eingebaut hätte, wahrscheinlich kein Problem, aber was macht das Auto bis die Kamera hinter der Windschutzscheibe bzw. in den B-Säulen den Querverkehr zuverlässig erfassen kann? Blindflug? Warten bis der LKW nicht mehr dort ist? Sich langsam vortasten, wie ein menschlicher Fahrer? Autonomes Fahren wird mit der eingebauten Hardware sicher in vielen Situationen möglich sein (Autobahn, Überland, Hauptverkehrswege), aber auf der anderen Seite wird es auch ebenso viele Situationen geben, wo es nicht klappen wird.

Und wenn autonomes Fahren, dann will ich auch eine Bestuhlung haben, die das unterstützt! Z.B. Umdrehen zu den Kindern.

Das finde ich auch sehr wichtig auf der „Habenwollen“ Skala: wenn level 5 wirklich auf der Langstrecke zuverlässig und sicher funktioniert, dann möchte ich mich auch in ein richtiges Bett legen können, das zurückfahren des Fahrersitzes in max. 45° oder 50° reichen mir dann einfach nicht mehr :mrgreen: Ein Schlafwagen mit Chauffeur wäre dagegen toll :wink:

Hast Du einen Link zu dem Zitat von Elon?

Wäre schon recht töricht, wenn er jetzt ein Auto mit 40x höherer Rechenleistung baut, und dann nach kurzer Zeit sagt hups, Pech gehabt, ihr braucht 80x höhere Rechenleistung - bitte nochmals neu kaufen - zu selbstredend nochmals höheren Preisen…denke schon das sie sich das gut überlegt haben, er muss ja den Input aller Kameras gleichzeitig verarbeiten können - was macht dann der zweite Chip wenn alle Bilder schon verarbeitet sind? die immer komplexeren AI Routinen durchlaufen? Denkbar wärs, aber dann wäre AP 2.0 ein Flop denke ich, verspricht Tesla doch Level 5…

teslamag.de/news/musk-ki-compute … hren-12490

Danke für den Link!

Das bezieht sich aber nur rein auf die Rechenleistung zur Verarbeitung der Signale, nicht auf tatsächliche Sensoren…d.h. wenn man es so sieht reichen die Sensoren und Bildinformationen aus, sie müssen nur in Echtzeit im Detail verarbeitet werden…ich meine ein Mensch hat auch nur seine Augen und sein Gehör um sich zu orientieren, und wenn die Musik an ist, sieht er auch nur noch, mit Hören ist da nimmer viel…warum sollten also Kameras nicht ausreichen? für Schulterblick-Fails für Autos die parallel mit derselben Geschwindigkeit im toten winkel fahren sollten die Ultrasonics reichen…

Interessant auch in diesem Artikel ist folgender Satz: "Musk glaubt, das die zurzeit in den Fahrzeugen verbaute Hardware ausreichen dürfte, um das Fahrverhalten von Menschen zu übertreffen. Sollte dies jedoch nicht der Fall sein, könnten die verbauten Computer problemlos aufgerüstet werden. Die Kosten dafür müsste Tesla jedoch selbst tragen, schließich hat man dem Kunden „volles Potenzial für autonomes Fahren“ bereits verkauft.

Man muss hier denke ich unterscheiden zwischen autonomen Fahren ohne Achtsamkeit des Fahrers (Level 5) und selbiges Level 5 in jeder! erdenklichen Verkehrssituation.

Die zugegebenermaßen großmundige Ankündigung von Musk, dass die aktuelle Hardware Level 5 können wird zweifle ich nicht an. Er hat damit recht! Es ist ein lernendes System. Ein Fahrschüler kann auch binnen weniger Fahrstunden das „autonome“ (ohne eingreifen des Fahrlerers) Fahren erlernen. Das heißt nicht gleich, dass er 100,00 % aller Fahrsituationen unfallfrei meistert.

Es gibt sehr einfache routinemäßige Aufgaben im Straßenverkehr bei vielen Fahrten von A nach B, wenn dieser Streckenabschnitt keine extrem außergewöhnliche Straßenführungen, Baustellen, spontan Änderungen der Linienführungen etc. enthält.

Level 5 heißt für mich also nicht automatisch Level 5 in ausnahmslos allen Situationen des Straßenverkehrs, sondern schrittweise von den einfachsten Strecken-Abschnitten, bis hin zu den komplexesten Streckenabschnitten.

Meistert das Model S also nur eine Strecke von Tausenden möglichen Strecken im Level 5, hat Elon Musk mit seiner Behauptung, dass Full Autonomy Möglich ist mit der aktuell verbauten Hardware, Recht.

Das Englische WORT „FULL“ darf man hier nicht verwechseln mit „vollständig (100,00% für ALLE Verkehrssituationen weltweit , egal von welchem Ort zu welchem“

Full bedeutet hier lediglich: Vollständig ohne eingreifen des Fahrers für den definierten TEIL-Streckenabschnitt.

Und diese TEIL-Streckenabschnitte werden mehr und mehr vergrößert!

Die Deutsche Sprache hat deutlich mehr Wörter als die Englische und kann Dinge präziser ausdrücken! Wir haben nicht selten mehrere Übersetzungsmöglichkeiten, wo im Englischen nur wenige Formulierungen möglich sind. So kommen auch die einen oder andern Missverständnisse zustande beim Rückwärtsübersetzen von ENG > DE!

Und die Erwartungen sind zu hoch!

Wenn das einem wichtig ist kann man ja warten bis das System funktioniert und zugelassen ist. Ich denke bei so heiklen Systemen ist ein Vorzeitiger Kauf ein Fehler.

Elon hat nirgends gesagt, dass Full Autonomy überall funktionieren wird. Full heißt nicht „bei jedem Wetter“ und heißt nicht „in jeder Verkehrssituation global“. Sondern innerhalb des abgesteckten Fahrbereichs (zB Parkplatz X)

Das ist aber genau der Unterschied zwischen Level 4 und Level 5. Elon hat behauptet dass die Hardware Level 5 fähig ist.Ziemlich mutig wenn man bedenkt, dass nichtmal Level 2 Software für die AP2 Hardware bei Tesla verfügbar ist…
Wer kann denn heute bereits abschätzen ob die noch nicht existierende Level 5 Software doch noch an der ein oder anderen Stelle zusätzliche Sensordaten oder Rechenpower braucht.

Nein, das sehe ich anders. Full autonomy heisst das Fahrzeug Kann von meiner Haustüre autonom etliche hundert km zu einer anderen Adresse fahren.

Wenn es nur um abgesteckte Fahrbereiche geht ist das immer nur teilautonom. Also z.B. nur Autobahn usw.

Volle Autonomie bedeutet für mich, dass ich auch wahlweise meine 85-jährige Mutter, mein 4-jähriges Kind, meinen Hund, mein Paket (beliebig erweiterbar) in Köln ins Automobil (hmm auch diese Wort bekommt plötzlich eine wirkliche Bedeutung) setzen kann, und dass alle wohlbehalten in Frankfurt ankommen.

gizmodo.com/what-happens-if-a-se … 1721702532

Nicht korrekt:

„Level 5: Kein Fahrer erforderlich. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich.“

Hier steht nur „bis zum Ziel“ also definitiv für ein abgestecktes Intervall von A nach B und sei es nur 3km weit , schon dann hast Elon Musk nicht gelogen. Es steht da nicht, dass es auch für 500km weite Strecken überall auf der Welt funktionieren muss!

Verstehe auch nicht, weshalb an AP2 gezweifelt wird, dass es schrittweise verbessert wird. Dass aktuell nicht Level 2 Standard ist, beunruhigt nicht.

Aber ihr müsst aufhören zu denken, dass Level 5 = voll autonomes fahren in allen Situationen bedeutet. Es bedeutet voll autonomes fahren im abgesteckten Start-Ziel Korridor!! (ONLY!) und das ist definitiv mit AP2 Hardware möglich.

Genau da ist das Missverständnis. Es kommt drauf an, von wo aus das Auto losfährt. Dann kann das durchaus möglich sein mit Level 5. aber es wird nicht von überall auf der Welt gehen. Nicht von Anfang an. Da die Bereiche für Level 5 erst schrittweise erweitert werden, und ob da alle Ziele in Frankfurt mit dabei sind ist fraglich :slight_smile: