Verkehrszeichenerkennung / Patent MobilEye

Um die Diskussionen um die (mit > AP2 nicht vorhandene) Verkehrszeichenerkennung, die eventuelle Kollision mit dem MobileEye-Patent, etc. zu bündeln, hier ein eigener Thread dazu.

Follow up von Reisekoffer für den Roadster

Vielen Dank für das Anlegen des neuen Threads.

Vielleicht vorab zwei Anmerkungen:

  1. Was in der Zusammenfasung (Abstract) ist ziemlich unerheblich. Relevant ist, was in den unabhängigen Patentansprüchen (z.B. „Claim 1“) des erteilten(!) Patents steht.

  2. Wenn ich die richtige Schrift gelesen habe, ist es bei ME ein wesentlicher Bestandteil, dass die aufgenommenen Bilder in mehrere Teile unterteilt werden, wobei ein Teil den Bereich mit dem Verkehrszeichen trackt. Das dürfte jetzt nicht so schwer zu umgehen zu sein.

Wie es Tesla macht/machen will weiß wohl keiner von uns. Zumindest das das immer wieder gebetsmühlenartig angeführte Patent dürfte jedoch kein wirklicher Hinderungsgrund für die Entwicklung einer Verkehrszeichenerkennung sein.

Daher können wir uns eigentlich nur auf Weihnachten freuen und bis dahin Spekulatius essen :slight_smile:

Die Frage ist vor allem, ob das Patent überhaupt so großzügig gefaßt sein kann, das es gültig ist:

Hier mal ein paar schädliche Vorveröffentlichen vor der Erteilung des Patents:
ncbi.nlm.nih.gov/pmc/articles/PMC3304106/ (2012, Patent Uni Madrid zu exakt diesem Thema)
robotik.dfki-bremen.de/fileadmi … /ABorn.pdf (2012)

Da müßte man jetzt die Unteransprüche genau vergleichen…

@Kumasasa, danke für das Ausgliedern.

Halte die Frage ob Verkehrszeichenerkennung in V10 wie angekündigt kommen kann und warum zwar nicht für OT im V10-Thread, aber finde sie zu interessant, um das Verkehrszechen Thema immer von irgendwelchen anekdotischen Erzählungen mit einem Sample von n=1 darüber, ob Phantombremsungen in V10 nun besser/schlecher/gleich geblieben sind unterbrechen zu lassen :wink:

Ich denke auch, dass wir dieses Patent als ernsthaftes Hindernis ausschließen können, man muss glaube ich kein Patentanwalt und kein Spezialist für Bildverarbeitung sein, um das zu folgern.

Bin mal gespannt wann der nächste damit kommt, dass Verkehrszeichenerkennung patentiert sei und deshalb nicht kommen werde- Dann können wir wenigstens auf diesen Thread hier verweisen.

Hier nochmal der Link zu meinem Beitrag aus dem V10-Thread, um nicht hier im Thread nochmal das gleiche zu schreiben:

Gruß Mathie

Hier zunächst noch einmal der Link auf das fragliche Patent Mobileyes;
patents.google.com/patent/US20080137908A1/en

Dort ist erkenntlich, daß es 2007 eingereicht wurde, die beiden von Dir verlinkten Veröffentlichungen können 5 Jahre später definitiv nicht mehr als „prior art“ herangezogen werden.

Ich verstehe die Segmentierung von Bildern so, daß sobald ein Element erkannt wird dieser Bereich gezielt verfolgt wird - so wie es Tesla Vision auch mit Fahrzeugen etc. macht. Und Mobileye macht auf dem EyeQ Chip nichts anderes als dort ein trainiertes Neurales Netz zur Erkennung einzusetzen.
Insofern frage ich mich schon wie man das „einfach“ umgehen soll.

Nicht falsch verstehen, ich hoffe eines besseren belehrt zu werden (wie zB schon geschehen daß es eben nicht nur um Speed limits, sondern Schilder allgemein geht - was als Funktionalität in Tesla Vision bereits bestätigt ist). Für mich kann die Funktionalität nicht früh genug kommen weil die Kartendaten in meiner Ecke einfach grottig sind.

Die Tesla Fahrzeuge mit AP1 sollten die erkannten Schilder ans Mutterschiff übermitteln. Von dort aus kann es dann an alle Fahrzeuge verteilt werden.

Vorteile

  • keine Verletzung des MobilEye Patents
  • crowdbasierte Datenerfassung
  • keine absichtlichen Falscheingaben a la „wütender Vater trägt 10km/h Schild vor der Schule seiner Kinder in die Datenbank ein“ :mrgreen:

Nachteile

  • Es werden keine AP1 Fahrzeuge mehr gebaut. Hütet eure Schätzchen!
1 „Gefällt mir“

@CK_Stuggi Da Tesla eigens entwickelte Prozessoren nutzt, wäre Claim 1 a) ein Ansatzpunkt. Ein dezidierter Prozessor für die Schildererkennung würde das Patent bereits umgehen. Da Claim 1 a), b) und c) mit einem und verbunden sind, müssen alle drei Anforderungen erfüllt sein, damit das Patent greift.

Um claim 1c) zu erfüllen, muss dann mindestens einer der Claims 2) bis 11) erfüllt werden.

Wenn man Claim 1a) oder 1b) umgeht, hat man so alle Claims von 1) bis 11) erschlagen.

Claim 12 hab ich beim schnelle durchlesen nicht ganz verstanden oder das was ich verstanden habe, scheint mir so einfach zu umgehen zu sein, dass ich nicht ganz glauben kann, dass man sowas tatsächlich patentiert …

Wenn ich es richtig verstanden habe geht es darum, dass die Kameraparameter für die Aufnahmen der Frames für die Schilderkennung und die ominöse andere aufgabe unterschiedlich eingestellt werden müssen und danach beim Trackin nicht verändert werden dürfen. Falls ich das richtig verstanden habe, wüsste ich nicht was daran patentwürdig ist und hätte zahlreiche Ideen das zu umgehen …

Wie gesagt, ich kann mir nicht vorstellen, dass Tesla an diesem Patent scheitert.

Gruß Mathie

Leider aber muss ich annehmen, daß Tesla an dieser Verkehrszeichenerkennung derzeit scheitert: Warum auch immer. Patent von Mobile Eye oder nicht:

Sie können es nicht., weder hier in „Europe“, noch in „God´s own Country“ (soweit ich weiß).

Sonst würden sie das bringen, was inzwischen tatsächlich fast jeder „Dacia Sandero“ kann, wie hier geschrieben wurde.

Ich hatte ja geschrieben: Verkehrszeichenerkennung ist die banalste und eine der allerersten Voraussetzungen, um die von Musk ja für 2020 (!) angekündigten, voll-autonomen Roboter-Taxis auf Basis der aktuellen (!!!, sic!) Model 3 zu realisieren. Er hat das noch mal betont: Jedes Model 3 habe heute schon die Hardware für Vollautonomes Fahren (by the way: Das glaube ich nicht oder erst, wenn mein Model 3P-FSD endlich Verkehrsschilder erkennen kann. Alle anderen Hersteller auf der Erde sehen das für ihre aktuellen Autos und deren aktuelle Computer anders. Kommt mir ein bisschen so vor wie " 1 Geisterfahrer? Hunderte!.." )

Und deswegen, als Käufer dieser FSD-Option, hätte ich gerne wenigstens das wieder, was mein P85D (Mobile-Eye) schon ca. 2016 (oder 2017, vergessen) konnte:
Dämliche Verkehrszeichen von spielenden Kindern und Hochhäusern diskriminieren und diese dann im Display anzeigen .

Derzeit kann man Model 3 „FSD“ ein Hochhaus ganz offensichtlich nicht von einem Verkehrsschild unterscheiden.
Oder was ist der Grund, warum der Wagen, der ein immer noch vollmundig als „Autopilot“ bezeichnetes Fahrassistrenzsystem beinhaltet, diese Schilder nicht mal ins Display einblenden kann? Das er auf das erkannte Zeichen reagiert, indem er z.B. die Geschwindigkeit reduziert, würde ich ja noch nicht mal sofort erwarten. Step by step.

@Kumasasa: danke für’s Auslagern :slight_smile:

Ich kenne eine Patentanwältin gut in München, muß mal hin und einen Kaffee trinken gehen, damit wir das auch professionell beleuchten können. :slight_smile:

Das Patentgeflecht kann man aber schon versuchen zu verstehen. Die ersten Patente betreffend Verkehrszeichenerkennung wurden von Bosch eingereicht. Mercedes hat dann dies aufgegriffen und in den späten 80ern in ein Konzept zum Automatisierten Fahren einfließen lassen, worauf es auch wieder einen Haufen Patente gibt.

Da aber in dem Mobileye Patentgerüst Referenzen aufgebaut sind, ist es für Tesla nicht einfach. Man kommt wohl an den methodischen Konzepten vorbei, ansonsten gäbe es ja von allen anderen Herstellern keine Eigenentwicklung, aber an den „genaueren“, die den vernetzten Systemaufbau beschrieben und teilweise die Prozessoren spezifizieren, nicht mehr so leicht. Nicht umsonst sind einige große Hersteller von den eigenen Systemen auf das Mobileye-System umgeschwenkt (GM, Chrysler, …) Habe selbst ein 2019 Fahrzeug aus dem Chrysler-Konzern, und der kann Verkehrszeichen ziemlich gut…

Kann 2 Gründe haben: entweder man fährt eine buy-above-build Strategie, oder aber das Patentnetz ist zu dicht gestrickt, so daß der Preis der Lizenzierung letztendlich viel geringer ist als weiter auf Eigenentwicklung zu setzen. Oder Grund 3, es ist einfach zu schwierig…

Der Tesla-Breakup hat halt leider soviel verbrannte Erde hinterlassen, daß eine Rückkehr zu Mobileye nicht sehr wahrscheinlich ist. Mobileye ist zwar jetzt Teil von Intel, so daß die Chancen ja eigentlich gestiegen wären. Aber dann müßte Tesla eingestehen, daß die letzten 3 Jahre verlorene Zeit waren, allen FSD Besitzern ihr Geld zurückzahlen oder alternativ die Hardware wieder austauschen. Gelegenheit gäbe es ja, wenn man den HW3 Tausch, sofern er jemals kommt, zum Austausch von weiteren Komponenten benutzen würde. Wie kompliziert und teuer das ist, kann man aber nur raten…

Der AP1 ist bei weitem nicht perfekt. Eine Baustellentempobegrenzung erkennt er an manchen Tagen, an anderen nicht (gleiche Zeit, gleiches Wetter, gleiche Geschwindigkeit, zumindest im Rahmen meiner Beobachtungsgenauigkeit). Es sind halt 5 Jahre seit Freigabe dieses Systems vergangen. Im Moment taugt es halt zumindest als visuelle Warnung.

Laßt uns noch ein bißchen kontrovers diskutieren, vielleicht ergibt sich ja daraus was, wer weiß :smiley:

Nur der Vollständigkeit halber:

Hier die anderen Threads zum Thema Verkehrszeichenerkennung

Da sich dieses Thema generell schon seit Ewigkeiten in vielen Threads und Unterforen verteilt.

Was ich nicht nachvollziehen kann ist, warum es ohne die Erkennung von Schildern so schlecht klappt. Warum gibt es kein offizielles Datenmaterial für alle Verkehrszeichen? Es ist ja nicht so, dass Schilder überraschend auftauchen wie Fußgänger, Radfahrer oder Hunde. Jedenfalls bei uns in Deutschland ist jedes Verkehrszeichen auf Anordnung der Straßenverkehrsbehörde aufgestellt, bzw. von dieser genehmigt. Dies gilt auch für Baustellen, Umleitungen usw. Ausnahmen kann ich mir eigentlich nur bei sehr kurzfristigen Maßnahmen vorstellen.

Deutschland will doch beim autonomen Fahren vorne dabei sein, warum gibt es da keine zentrale Datenbank wo jedes Verkehrszeichen automatisch gemeldet wird? Lokal muss dies ja sowieso schon bei der zuständigen Behörde passieren (z.B. zum Zwecke der Koordination und auch zum Nachweis eines Verbots in Bußgeldverfahren). Auch liegt es doch im Interesse der Verkehrsbehörden, dass sich möglichst viele Autofahrer an die Anordnungen halten. Als Kommune würde ich doch alle meine verkehrsberuhigten Zonen bei GoogleMaps usw. einpflegen, damit sie eingehalten werden. Das Land Berlin kriegt es ja nicht mal hin, seine Tempo 30 Zonen bei den Kartenanbietern einzupflegen.

Ich finde, wer ein Schild anordnet, die Aufstellung beauftragt und dies in die internen Karten/Datenbanken aufnimmt, könnte es auch zentral speichern. Das ist natürlich nicht Teslas Problem, aber die Autohersteller könnten schon gemeinsam auf eine solches Verfahren drängen bzw. es finanzieren.

Weil das keine 100% Methode ist.

Beispielsweise wetterabhängige oder verkehrsabhängige Wechselzeichen. Beispielsweise im Großraum München. Hier gibt es viele elektronische Verkehrszeichen, die je nach Bedarf gesteuert werden. Mal freie Fahrt, mal nur 80 oder gar nur 60. Mal kein Überholverbot, dann LKW-Überholverbot, dann allgemeines Überholverbot.

Nicht jedes Verkehrszeichen muss von den entsprechenden Behörden genehmigt werden. Wenn die Polizei eine Verkehrskontrolle macht, dann stellt sie einfach ihre Schilder auf. Das darf sie, da muss sie niemanden fragen oder das vorab melden. Gerade hier wäre es nicht von Vorteil, wenn der Tesla da dann mit 120 durch rauscht, weil das mobile Verkehrsschild in keiner Datenbank ist.

Und du bist der Meinung, die Polizei sei keine Behörde?

Ja aber sie pflegt das sicherlich nicht in eine Datenbank - gibt doch kein Internet in ländlichen Polizeistationen :laughing: :laughing:

Die variablen Tempolimite nehmen sowieso zu. Die A8 zwischen Albaufstieg und Ulm machte den Anfang, jetzt gibt es sie fast überall.

Ohne Erkennung läuft nix. Und man stelle sich das auf einem einsamen Highway in New Mexico vor. Da kann man schon manchmal als Mensch die alten Schilder erkennen…

Gute Zusammenstellung. Beweist aber auch Null Fortschritt seit 2016 -darum wiederholen sich ja unsere Argumente, mich eingeschlossen :blush:

Schon bei der Vorstellung des neuen Chip wurde ganz klar gesagt, daß autonomes Fahren nur über Kameras funktionieren muss. Sowohl Karten als auch sonstige Schilder und Co können niemals die aktuelle Situation abbilden. Da reicht ja schon eine Fahrbahnverängung für eine Tagesbaustelle und keine Datenbank stimmt mehr.

1 „Gefällt mir“

Cool wäre es meiner Meinung nach, wenn jedes Schild seine Aussage nicht nur optisch sondern auch per Funk senden würde. Dann müsste man nicht diese fehleranfälligen Erkennungen machen.

Diese Idee mit den sendenden Schildern gibt es schon länger. Ich habe gerade eine Patentschrift aus der Hand gelegt, in der das schon 2008 erwähnt wurde.

Allerdings glaube ich persönlich da nicht dran.

Das wird sicher irgendwann kommen, aber dauert noch. In Hamburg gibt es eine Teststrecke, die VW nutzt, wo die Ampeln ihren jeweiligen Zustand funken und auch wann sie auf eine andere Farbe wechseln werden. Das ist sehr sinnvoll, da dann das Auto weiß, ob sich lohnt Strom zu geben oder schon ausrollen kann.

Wenn ich bedenke wie schnell man an den meisten Schildern vorbeifährt, wie präzise die lokalisiert/trianguliert werden müssten etc… Ne. Vision.
Das ganze Vehicle to vehicle Gefunke hielt ich schon immer für eine übermäßig komplizierte Lösung, wenn man dann auch noch Schilder einbinden will…
Einfach Mal überlegen wie weit ein 120er Schuld auf der AB funken muss damit das ein Fahrzeug, das sich mit 150 nähert, mitbekommt. Und dabei ausschließt daß die Gegenrichtung nicht betroffen ist. Alles Probleme die man mit Vision nicht hat.