Mercedes-Benz luidt nieuw tijdperk in voor user interface met mensachtige virtuele assistent op basis van generatieve AI

Mercedes-Benz toont tijdens CES 2024 tal van ontwikkelingen die zijn visie voor de hyper-gepersonaliseerde klantervaring van de toekomst definiëren – in het voertuig en daarbuiten. Highlight is de nieuwe geïntegreerde MBUX Virtual Assistant. Deze maakt gebruik van geavanceerde software en generatieve AI om een nog natuurlijkere en intuïtievere relatie met het voertuig te realiseren, met proactieve ondersteuning die het leven gemakkelijker maakt. Deze baanbrekende ontwikkeling tilt de spraakassistent “Hey Mercedes” naar een nieuwe visuele dimensie met highres game-engine graphics van Unity. De virtuele assistent draait op het zelf ontwikkelde Mercedes-Benz Operating System (MB.OS). De introductie ervan start met de voertuigen op het komende MMA-platform (Mercedes-Benz Modular Architecture). De Concept CLA Class, die zijn Noord-Amerikaanse première viert tijdens CES 2024, is gebaseerd op dit platform en biedt eveneens een preview van MB.OS.

“Dankzij de vooruitgang op het gebied van kunstmatige intelligentie kent de Mercedes van morgen zijn bestuurder beter dan ooit. Dit zal het leven van onze klanten verbeteren en verrijken – in hun voertuig en ook op andere gebieden. We hebben op deze weg al grote vooruitgang geboekt. De nieuwste ontwikkelingen die we op CES laten zien, geven een spannend voorproefje van wat ons te wachten staat.”

Markus Schäfer, lid van de raad van bestuur van Mercedes-Benz Group AG, Chief Technology Officer

MBUX Virtual Assistant maakt het leven gemakkelijker met natuurlijke interactie en proactieve intelligentie

De baanbrekende MBUX Virtual Assistant op basis van MB.OS is de meest mensachtige interface met een Mercedes tot nu toe. Hij verbindt alle intelligente systemen van MBUX in één enkele eenheid en presenteert klanten een nieuw design met natuurlijke en empathische interactie. De MBUX Virtual Assistant is een doorontwikkeling van het systeem dat voor het eerst werd getoond in de VISION EQXX. Hij maakt gebruik van generatieve AI en proactieve intelligentie om het leven zo gemakkelijk, aangenaam en comfortabel mogelijk te maken. Zo kan hij bijvoorbeeld nuttige suggesties doen op basis van aangeleerd gedrag en de context van de situatie. Voorbeelden hiervan zijn het weergeven van het laatste nieuws in de ochtend of het starten van een gewenst massageprogramma aan het einde van de werkdag. En als de bestuurder te laat is voor een vergadering die in de agenda staat, kan het systeem aanbieden om direct vanuit het voertuig in te bellen. Desgewenst kunnen klanten deze processen ook automatiseren. De ervaring kan verder worden verbeterd door de sfeerverlichting en het sound system te integreren. Warm licht en zachte muziek kunnen bijvoorbeeld een ontspannende massage begeleiden.

“De Mercedes-Benz klantervaring van morgen zal hyper-gepersonaliseerd zijn. Met behulp van generatieve AI zorgt onze MBUX Virtual Assistant voor meer vertrouwen en empathie in de relatie tussen voertuig en bestuurder. Dankzij onze MB.OS chip-to-cloud architectuur gaan onze toekomstige modellen klanten precies bieden wat ze nodig hebben en wanneer ze het nodig hebben.”

Magnus Östberg, Chief Software Officer van Mercedes-Benz AG

Met vier eigenschappen is de assistent altijd afgestemd op de behoeften en voorkeuren van de klant

De MBUX Virtual Assistant heeft vier ‘persoonlijkheidskenmerken’ die samensmelten tot een harmonieus geheel: natuurlijk, vooruitziend, empathisch en persoonlijk. Het onderliggende principe is altijd natuurlijk en biedt een naadloze interactie die gebruikmaakt van het beste van spraak- en grafische interfaces. De klant kan ervoor kiezen om met de assistent te spreken met of zonder het activeringswoord “Hey Mercedes”. De MBUX Virtual Assistant benut de voordelen van grote taalmodellen (LLM’s). Daardoor kan hij met een natuurlijke dialoog vragen en opdrachten beantwoorden. Dit lijkt op een gesprek met een vriend(in). De assistent beantwoordt vragen op basis van algemene kennis en kan ook intelligente vragen stellen om duidelijkheid te krijgen over wat de klant wil en conclusies te trekken. Door zijn vooruitziende ‘karakter’ kan de MBUX Virtual Assistant ook proactieve suggesties en routines aanbieden op basis van de context van de situatie, aangeleerd gedrag en het gebruik van generatieve AI. Tegelijkertijd genereert een emotionelere neurale stem, die verschillende manieren van spreken kan hebben, een gevoel van empathie. En om ervoor te zorgen dat het altijd een zeer persoonlijke assistent is, kan de bestuurder hem met een scala aan opties aanpassen aan de eigen voorkeuren. 

Krachtige 3D-graphics maken visuele communicatie nog intuïtiever en emotioneler

De holistische benadering verbindt een natuurlijker dialoog met visuele feedback via geavanceerde 3D-graphics van de Unity game engine. In de nieuwe MBUX Virtual Assistant maakt een ‘levende’ steravatar gebruik van animaties om verschillende stemmingen en gemoedstoestanden uit te drukken. De emoties variëren van kalm tot opgewonden en zelfs gevoelig. Andere animaties geven aan of de assistent spreekt, luistert, nadenkt, een suggestie doet of een waarschuwing geeft. De beweging, helderheid, intensiteit en kleur zijn naadloos op elkaar afgestemd om intuïtief met de bestuurder te communiceren. 

MBUX Surround Navigation verbindt assistentie en routegeleiding voor een naadloze ervaring

De geïntegreerde visuele communicatie bereikt ook een nieuwe dimensie met MBUX Surround Navigation. Dankzij de diep geïntegreerde gebiedsarchitectuur van MB.OS verbindt de geavanceerde navigatie een reëel beeld van de omgeving van het voertuig met zijn reacties daarop in realtime. De bestuurder profiteert van een aanzienlijk verbeterd situationeel bewustzijn doordat hij of zij kan ‘zien wat het voertuig ziet’. De naadloze integratie van informatie met 3D-graphics van de Unity game engine in het combi-instrument geeft een uiterst intuïtief overzicht. Het biedt alles wat de bestuurder moet weten in één oogopslag. Het toont bijvoorbeeld het type verkeer, of dat nu een andere personenwagen, bestelwagen, vrachtwagen of een fietser is. Het geeft ook voetgangers langs de kant van de weg en andere potentiële gevaren weer. Het systeem toont de routegeleiding in een realistische weergave van de omgeving, wat vooral handig is in drukke stedelijke omgevingen. De bestuurder kan duidelijk zien wat er achter de volgende afslag ligt. Gebouwen en andere infrastructuur zijn eenvoudig en snel te herkennen. Het systeem biedt ook een geïntegreerd overzicht van de voertuigstatus door middel van virtual reality-visualisatie in realtime. Dit omvat knipperende richtingaanwijzers, grootlicht en dimlicht. Zelfs acceleratie of vertraging worden gevisualiseerd door draaiende wielen. 

Meer productiviteit, entertainment en comfort met nieuwe apps en content van derden[1]

Over-the-air (OTA) updates zorgen ervoor dat klanten toegang krijgen tot de nieuwste content en functies die desgewenst zijn afgestemd op hun wensen en regionale voorkeuren. De nieuwe E-Klasse biedt deze voordelen al – het infotainmentsysteem is een voorloper van de MB.OS-technologie. In het eerste kwartaal van 2024 kan de MBUX Meeting-app worden geïntegreerd. Deze kan worden gebruikt om de productiviteit in de E-Klasse verder te verhogen en deel te nemen aan Teams-vergaderingen. Samen met het bestaande aanbod voor Zoom en WebEx komen daarmee alle marktleiders op het gebied van videoconferenties aan bod. De uitgebreide update omvat ook de toevoeging van andere apps voor dagelijks gebruiksgemak. Hiertoe behoren Booking.com, getAbstract, Just Eat Takeaway.com en meer. Op het gebied van entertainment is cloud-gebaseerde retro gaming van Antstream Arcade en nog meer immersive ervaringen gepland.

 Sony Pictures Entertainment RIDEVU breidt het aanbod voor videostreaming uit

Mercedes-Benz verrijkt zijn videostreamingaanbod met de integratie van de ultramoderne RIDEVU-dienst van Sony Pictures Entertainment (SPE). RIDEVU belooft de entertainmentervaring voor klanten verder te optimaliseren. Daarvoor krijgen ze rechtstreeks in hun voertuig toegang tot een breed scala aan video-entertainment. De geavanceerde bedieningselementen en functies zijn speciaal ontwikkeld voor gebruik in het voertuig. Gebruikers kunnen content van Sony Pictures Entertainment direct in het voertuig huren of kopen. Daartoe behoort een samengestelde bibliotheek met films die beschikbaar zijn voor streaming en die het entertainmentaanbod van Mercedes-Benz verrijken.

Hyper-personalisatie door digitale kunst met MBUX Collectibles en meer

MBUX Collectibles is de eerste in-car-app van Mercedes-Benz die digitale kunst en collector’s items op basis van NFT’s (non-fungible tokens) kan tonen. Dit maakt het mogelijk om een privé-kunstgalerij te creëren door de persoonlijke NFT-wallet van de klant te verbinden met de user interface. Gebruikers kunnen ook een tentoonstelling bekijken die is samengesteld door Mercedes-Benz. Tijdens CES worden in de app NFT-collecties getoond van Mercedes-Benz NXT, de nieuwe speciale afdeling van de onderneming met focus op digitale objecten. De Mercedes-Benz NXT Icons Era 1 ‘Luxury’-collectie is de eerste ‘Era’ in een serie van zeven over het rijke designerfgoed van Mercedes-Benz. Tijdens CES is er ook een eerste sneak peek van Era 2 ‘Technology’, die nog zal worden uitgebracht. En als eerbetoon aan de CES van vorig jaar krijgen bezoekers een eerste glimp van de Superdackel NFT (superteckel) van Mercedes-Benz NXT. Een gelimiteerde oplage van 1.000 Superdackel NFT’s by Mercedes-Benz NXT zal binnenkort worden uitgebracht.

Concept CLA Class toont MB.OS als basis voor de hyper-gepersonaliseerde Mercedes

De voertuigen op het komende MMA-platform zullen de eerste zijn die volledig op MB.OS draaien. De Concept CLA Class, die zijn Noord-Amerikaanse debuut maakt tijdens CES 2024, biedt een bijna productierijp inzicht in de toekomstige familie van vier voertuigen. Om de centrale rol van MB.OS bij het vormgeven van de klantervaring te benadrukken, biedt het interieur van het conceptvoertuig een indrukwekkende visualisatie ervan. De complexe, meerlaagse architectuur van het besturingssysteem wordt weergegeven door een van de vele hardwarecomponenten – de krachtige watergekoelde chip van samenwerkingspartner NVIDIA. Het geavanceerde MBUX Superscreen met drie displays verwijst naar de rol van de Mercedes van de toekomst als hyper-gepersonaliseerd onderdeel van het digitale leven van de klant. MB.OS biedt de basis om dit te bereiken. Het besturingssysteem omvat vier gebieden – infotainment, geautomatiseerd rijden, carrosserie & comfort alsmede rijden & laden. Aangevuld met de connectiviteitsmodule voor verbinding met de Mercedes-Benz Intelligent Cloud. De chip-to-cloud architectuur zorgt voor een verregaande integratie met het voertuig en geeft Mercedes-Benz de volledige controle over alle sensoren en actuatoren. Door de innovatiecycli van software en hardware los te koppelen, kan Mercedes-Benz er bovendien voor zorgen dat de voertuigen altijd up-to-date zijn.

[1] Het gebruik van de digitale extra's vereist de permanente acceptatie van de gebruiksvoorwaarden voor digitale extra's en de Mercedes me-ID gebruiksvoorwaarden in de huidige versie, de permanente koppeling van het voertuig aan het Mercedes me-gebruikersaccount en – indien van toepassing – de activering van de digitale extra's. Na het verstrijken van de looptijd kunnen de digitale extra's tegen betaling worden verlengd in de Mercedes me Store, op voorwaarde dat ze op dat moment nog voor het betreffende voertuig worden aangeboden. Daarnaast kunnen er verdere gebruikseisen of beperkingen gelden voor het gebruik van sommige digitale extra's, met name een separaat klantencontract met derden (bijvoorbeeld streaming, afsluiten van een datacontract voor comfortdatavolume), geselecteerde producten van derden (bijvoorbeeld smartphone, smartwatch) of ze zijn alleen beschikbaar voor bepaalde klantgroepen. Als alternatief voor het comfortdatavolume moet, afhankelijk van de generatie van het multimediasysteem, in het voertuig een datavolume via internet beschikbaar zijn of, indien mogelijk, het eigen datavolume via tethering worden gebruikt. Informatie over de verwerking van persoonsgegevens voor het gebruik van digitale extra’s zijn te vinden in de gegevensbeschermingsverklaring voor Mercedes me connect.