Några av forskningsmiljöerna kopplade till WASP - Wallenberg AI, Autonomous Systems and Software Program vid Ò»±Ÿ”Às universitet (LiU), finns vid Institutionen för systemteknik (ISY) på Campus Valla i Ò»±Ÿ”À.
PÄ den hÀr sidan kan du lÀsa om:
För mer information om hela WASP pÄ LiU, gÄ upp en nivÄ i menyn till WASP - Wallenberg AI, Autonomous Systems and Software Program. DÀr finns ocksÄ en kontaktlista pÄ alla WASP-forskare vid LiU uppdelade per institution.
Forskningen täcker ett brett spektrum av ämnen inom artificiella seende system med särskilt fokus på maskininlärning för robotseende. Gruppen har funnits sedan 1970-talet och har i hög grad bidragit till att etablera begreppet datorseende i Sverige.
Utvecklingen av metoderna för det artificiella seende har sin utgÄngspunkt i modeller av mÀnniskans synsinne. Detta eftersom det artificiella seendet ska samexistera med mÀnniskor och Àven förutse mÀnniskans reaktioner pÄ synintryck. Forskningsresultaten lÀgger dÀrmed grunden för sjÀlvkörande bilar eller robotsystem som interagerar med mÀnniskor.
Forskargruppen inom datorseende, Computer Vision Laboratory, grundades av professor Gösta Granlund under 1970-talet och var tidigt ute med att anvÀnda maskininlÀrning inom datorseende. 2008 tog professor Michael Felsberg över ledningen för gruppen.
I Vinnovas rapport "Artificiell intelligens i svenskt nÀringsliv och samhÀlle, analys av utveckling och potential" framhÄlls gruppen som en av de större och mest framgÄngsrika forskningsmiljöerna inom AI i Sverige.
Datorseende Foto Göran Billeson
Visuell objektföljning Àr en av de grundlÀggande utmaningarna inom omrÄdet datorseende, dÀr uppgiften Àr att följa ett visst objekt i en video dÀr positionen enbart Àr given pÄ den första bilden.
NÄgra exempel pÄ hur vÄr metod klarar skalning av objektet.Beroende pÄ förÀndringar i formen och pÄ Ät vilket hÄll objektet rör sig, behöver modellen frÄn den första bilden uppdateras kontinuerligt. Vi hanterar problemet genom maskininlÀrning, mer precist genom sÄ kallade diskriminativa korrelationsfilter.
samt en applikation inom WASP dÀr utvecklad kod anvÀnts för att följa mÀnniskor:
Tack vare den allt större tillgängligheten till djupkameror och lidar har behandling av punktmoln blivit ett underområde till datorseende.
Illustration av probabilistisk modellering av punktmoln.
Data från dessa sensorer är ofta glesa och kräver förtätning. Positionen och orienteringen är dessutom oftast bara delvis kända vilket betyder att ett gemensamt referenssystem krävs för registrering av mätningarna.
Slutligen måste punktmolnen delas upp per objekt, vilket kräver 3D-segmentering. Vi närmar oss problemet genom att använda en ny djupinlärningsmetod baserad på normaliserade neurala faltningsnätverk och fusion i 3D av 2D-segmenteringar, såväl som probabilistisk modellering - modelleringsmetoder som tar hänsyn till osäkerhet.
Centauro och Cykla-projektet (Veoneer)
Saab Group
En semantisk beskrivning av mÀnniskan i bild och video Àr ett av de fundamentala problemen inom datorseende med en lÄng rad applikationer.
Rao Muhammad Anwer
Målet för forskning inom sensorfusion är att kombinera data från många olika sensorer till information av bättre kvalitet än vad som kan uppnås med en sensor eller som annars kräver andra kostsamma lösningar.
Forskningen har stor industriell relevans inom omrÄden som autonoma fordon pÄ marken och i luften, för samverkan mellan mÀnniska och robot och för positionering med hjÀlp av mobiltelefoner, för att bara ta nÄgra exempel.
Forskargruppen inom sensorfusion Àr en del av avdelningen för Reglerteknik vid Linköpings universitet. Sensorfusion som forskningsomrÄde har funnits sedan 1995 och har sedan dess blivit en allt viktigare del i mÄnga olika forskningssammanhang. Gruppen har producerat fler Àn 25 tekniska doktorer och 40 licentiater. Forskningen spÀnner över sÄvÀl grundforskning som mer tillÀmpade projekt.
Gruppen har fÄtt fram fundamentala och vÀl citerade bidrag inom omrÄden som olinjÀr filtrering och teorin kring positionering. Den tillÀmpade forskningen utförs ofta i samarbete med svensk systembyggande industri. Forskningen har Àven resulterat i avknoppningsföretag som NIRA Dynamics, Softube och Senion.
Industrin söker stÀndigt efter möjligheter att byta ut dyra och ömtÄliga sensorer mot billigare och mer robusta. De sensorer som hÄller reda pÄ hjulens hastighet sitter i en hÄrt utsatt miljö och Àr dessutom en relativt dyr komponent.
Spektrogram av hur hjulvibrationsfrekvensen varierar berÀknat frÄn signaler frÄn en accelerometer monterad i ett fordon, jÀmfört med den verkliga vinkelhastigheten.I vissa applikationer kan en kontaktlös accelerometer, tröghetssensor, anvÀndas istÀllet. Genom att analysera spektrumet av vibrationer som orsakas av hjulet över tid kan hjulets hastighet berÀknas. En annan potentiell applikation finns inom IoT i fordon i de fall hastighetsinformation Àr anvÀndbar. HÀr kan kabeldragningar undvikas. Hastighetsinformation i mobiltelefoner Àr Ànnu en applikation.
Projektet har utvecklat skrÀddarsydda algoritmer för den hÀr typen av problem som komplement till olinjÀr filtrering.
Projektet har som mål att ta fram tekniker som möjliggör ett nära samarbete mellan människor och robotar i gruvor. Arbetsplatsen ska vara trygg och säker och människor ska kunna interagera med autonoma system likaväl som med manuellt styrda maskiner.
Robust och tillförlitlig positionering av varje enskilt objekt är en viktig del i att uppfylla målet och första fasen i projektet handlar om att ta fram algoritmer som gör det möjligt för de autonoma fordonen att både lokalisera sig själva och såväl fasta som rörliga objekt i omgivningen.
För att autonoma system ska kunna användas idag krävs att inget manuellt arbete utförs i närheten. Säkerhetsgrindar inhägnar produktionsområdet och hindrar mänsklig inblandning. Det innebär att systemet är känsligt för störningar. En person som går igenom en säkerhetsgrind kan tvinga hela systemet att stänga ner. I ett första skede ska data från en laserskanner göra systemet medvetet om var på området människan befinner sig.
Bilden illustrerar hur två laserskannrar monterade på en lastare kan ange positioner på objekt i gruvan. (Illustration Epiroc)
Epiroc
Målet för projektet är att skapa en karta över radiotäckningen för distribuerade radiosystem inom ett område och sedan använda kartan för positionering. Idag har vi distribuerade radiosystem överallt, från globala navigationssystem, GNSS, till mobila radiosystem och lokala nät. Många positioneringssystem är baserade på ett eller en kombination av flera av systemen, där de mottagna radiosignalerna analyseras hos mobilanvändaren för att avgöra positionen.
Illustration till hur radiosignaler når mottagaren på olika vis beroende på de olika effekter som orsakas av reflektioner från väggarna.
De grundläggande måtten är uppdelade på mätning av tid och signalstyrka. I detta projekt vill vi utöka mätningarna med att också ta in tidsberoendet i signalstyrkan, PDP (power delay profile), för att få en djupare förståelse för de underliggande fenomen som är svåra att uppskatta med nuvarande metoder.
Både mätningarna av tid och signalstyrka påverkas av PDP och här undersöker vi möjligheterna att beräkna positionen med hänsyn tagen även till tidsfördröjningen i systemet och relatera den till hur omgivningen ser ut. På så vis får vi en ökad förståelse för vilka effekter detta ger och fenomenet utnyttjas som en extra informationskälla istället för att vara en störning.
Ericsson
Målet för det här projektet är att utveckla autonoma funktioner för att underlätta för en systemoperatör att styra både flygplanet och dess sensorer. Detta uppnås genom att undersöka olika metoder för styrning av sensorplattformar med hjälp av instruktioner på hög nivå.
Över tid har fokus för en pilots uppmärksamhet skiftat från att styra sitt flygplan till att hantera dess sensorsystem. Man kan jämföra med moderna drönare, som är enkla att styra, medan styrningen av kamerans rörelser fortfarande är en utmaning. Utmaningen som studeras här är att automatiskt flyga och styra de tillgängliga sensorerna på ett sådant sätt att den användbara informationen maximeras, och på så sätt ge piloten möjlighet att spendera sin tid med att förstå vad informationen betyder.
Det kräver en förståelse för hur tillgängliga sensorer kan hanteras; att proaktivt ta hänsyn till olika begränsningar i omgivningen, att reagera på förändringar och lära av erfarenhet samt att samarbeta där det är nödvändigt.
Fyra doktorander inom WASP demonstrerar en autonom flygning i testarenan Visionen som en del av en av WASP:S projektkurser. Foto David Brohede
Saab AB/Aeronautics
I många fall är rörelsemönstren för objekt helt repeterbara, men på förhand okända. Det kan vara båtar som driver med strömmen eller bilar som följer trafikreglerna. Idag inkluderar standardmetoder inte mer kunskap om rörelsen än att de fysiska begränsningarna kring accelerationer med mera är uppfyllda.
Lärande tidsuppdateringNaturligtvis vore bättre kunskap om de underliggande rörelsemönstren en stor fördel. Att lära sig dessa rörelsemönster är ett problem som kombinerar teori från klassisk skattningsteori med moderna datadrivna maskininlärningsmetoder.
Den stora utmaningen ligger i att utnyttja möjliga synergier genom att kombinera de två metoderna i ett gemensamt ramverk.
Metoden lär sig automatiskt hur bilar kör i en trevägskorsning med hjälp av positionsmätningar och en konstant hastighetsmodell som kombineras med en Gaussisk process-modell för manövrar. Detta ger förbättrad lokalisering och snabb manöverklassificering.
Forskningen inom fordonssystem har fokus på styrning, diagnos och autonomi, särskilt på de systemvetenskapliga aspekterna och ofta i samarbete med industrin. Fyra välutrustade fordonslaboratorier stärker den internationellt väl kända forskningen.
Avdelningen Fordonssystem ser i huvudsak till de övergripande och systemvetenskapliga aspekterna och samarbetar gÀrna med andra nÀr det kommer till exempelvis mekanisk konstruktion eller utvÀrdering/test ute i industrin. Funktioner vi arbetar med Àr avancerad motorstyrning, koordinerad styrning av fordons- och drivlinesystemen samt autonoma funktioner för intelligenta fordon och vÀgar.
Autonomi krÀver Àven automatiserad tillsyn, samt ett prognossystem för tillförlitlig drift. Vi söker lösningar sÄvÀl för rent teoretiska problem som pÄ mer applikations-orienterade, som exempelvis inom autonom gruvdrift.
De tre fordonslaboratorierna finns i en egen byggnad, i L-huset, Campus Valla:
Laboratoriet för framdrivning av fordon, laboratoriet för fordonsdynamik och autonomi samt laboratoriet för energikonvertering och energilagring.
I motorlaboratoriet finns tvÄ testriggar för test av motorer i personbilar. BÄda Àr utrustade med moderna asynkrona maskiner som kan fungera bÄde för drift och som last för motorerna. Dessa testriggar gör det möjligt för oss att köra sÄvÀl stillastÄende prov som mer dynamiska prov med en snabb ökning av momentet - pÄ 10 ms eller mindre. Vi kan Àven simulera belastningen frÄn vÀgen.
Forskningen fokuserar i huvudsak pÄ hur teorier, metoder och tillgÀngliga data kan anvÀndas för att prognosticera underhÄll i varje enskild maskin - i synnerhet för maskiner i gruvdrift.
Driften ska fungera Àven i utmanande miljöer. Foto EpirocFörebyggande underhÄll Àr nödvÀndigt för en pÄlitlig, autonom gruvdrift dÀr oplanerade stopp undviks. Det gÀller sÄvÀl lastare och borrar som övriga maskiner. Gruvor Àr samtidigt utmanande miljöer dÀr maskinens anvÀndning pÄverkar hÄllbarheten pÄ enskilda komponenter. NÀr mÀnniskan plockas bort ut systemet försvinner ocksÄ en viktig kÀlla till information. SÄvÀl i konventionella som i autonoma gruvor Àr system dÀr maskinerna sjÀlva autonomt kontrollerar och anger nÀr underhÄll bör ske ett angelÀget omrÄde för forskning och utveckling.
Den tuffa omgivningen för exempelvis borrutrustningen gör inte bara livslÀngden för enskilda komponenter betydligt kortare Àn nÀr de anvÀnds i exempelvis en personbil, det Àr ocksÄ svÄrt att hitta tillrÀckligt robusta och tillförlitliga sensorer som klarar den utmanande miljön. Det innebÀr att Àven metoderna mÄste vara robusta och inte bara lita till information frÄn sensorer som sitter nÀra intill den kritiska komponenten.
TillgÄng till data Àr dÀrför av stor vikt för att nÄ forskningsmÄlen och en ambitiös insamling av data frÄn gruvor i mÄnga lÀnder har pÄbörjats. Detta kommer ocksÄ att kompletteras med experiment pÄ en forskningsborrigg för tester av ny sensorteknik.
Detaljerade fysiska modeller av maskinerna kommer inte att vara tillgÀngliga, i första hand beroende pÄ de svÄra driftsförhÄllandena och det lÄga antalet maskiner. En viktig forskningsfrÄga kommer dÀrför att vara att utveckla metoder för att sammanlÀnka underhÄllsinformation och data frÄn driften samt högupplösta och högfrekventa mÀtningar frÄn maskinen med basala fysiska modeller.
Det Àr en process som krÀver utveckling av tekniker inom omrÄden som signalbehandling, maskininlÀrning, statistiska modeller samt tekniker för livslÀngds- och tillförlitlighetanalys.
Epiroc Drills AB (), Robert Pettersson
Projektet handlar om att ta fram optimala manövrar i tids- och säkerhetskritiska situationer för autonoma fordon. Exempel är för hög hastighet i en kurva eller snabba undanmanövrar när hinder plötsligt dyker upp på vägen.
Däckens friktion utnyttjas maximalt. Foto iStock/LeMannaDet här är manövrar som kräver att däckens friktion mot marken utnyttjas maximalt. De viktiga forskningsfrågorna här är hur de olika friktionskrafterna mellan däcken och vägen kan användas på bästa tänkbara sätt, liksom hur fordonens egen dynamik kan regleras och utnyttjas för att få bästa tänkbara beteende. Manöverproblemet kännetecknas av en olinjär dynamik och osäkerhet i modellparametrar för den specifika situationen.
I projektet utnyttjas optimering som ett verktyg för att beräkna fordonsmanövrar i ett antal olika scenarier och under olika dynamiska förhållanden, som ytan på vägen och hur vägen kröker sig. De broms- och styrningsmönster som observeras i de optimala lösningarna i de olika fallen används sedan som grund vid utformningen av styrsystemen för autonoma fordon.
Den här typen av styrsystem måste även kunna hantera den inneboende osäkerheten för att uppnå robusthet vid olika situationer, vilket betyder att vi även inom forskningsprojektet utvecklar metoder för sensorbaserad återkoppling i realtid. Styrsystemen utvärderas också genom att de jämförs med resultat från datorsimuleringar av en i förväg beräknad optimal styrning för samma problem.
En utvärdering av metoderna i en experimentbil planeras inom ramen för WASP:s forskningsarena WARA för automatiserade transportsystem.
University of Lincoln, Storbritannien
Projektet innefattar planering av tidskritiska undanmanövrar. Vi fokuserar på att utveckla nya formuleringar av målfunktioner och krav för rörelseplaneringsproblem som löses
Kritisk undanmanöver Foto iStock/Toa55Det övergripande målet är att öka säkerheten för fordonet genom att utnyttja nya sensorer för att bedöma situationen samt ökade möjligheter till individuell bromsning och vinkelstyrning av enskilda hjul. En av de största utmaningarna för att använda optimering för autonomi i fordon är att utnyttja datorkraften för att skapa beräkningar som är så snabba som en kritisk undanmanöver kräver.
Projektet drivs utmed två kompletterande spår. Det första spåret handlar om att formulera nya optimeringsproblem för planeringen av en säker rörelse när fordonet exempelvis ska göra ett hastigt filbyte på en väg för att undvika ett hinder.
Det andra spåret undersöker hur beräkningskomplexiteten i optimeringsproblemet för att bestämma den optimala banan och rörelsen i en given situation kan minskas. Mer specifikt har metoder utvecklats för uppdelning av manövern och för parallelldatorberäkningar av de olika resulterande segmenten. Sådana metoder minskar beräkningstiden och är därför av stor betydelse för att fordonet i realtid ska kunna bestämma en optimal manöver.
En utvärdering av metoderna i en experimentbil planeras inom ramen för WASP:s forskningsarena WARA för automatiserade transportsystem.
Inom området optimering för inlärning och autonomi inom avdelningen Reglerteknik arbetar vi både med utveckling och tillämpningar av optimering.
Utvecklingen av optimeringsmetoder är inriktade på strukturutnyttjande för olika klasser av optimeringsproblem för att öka effektiviteten i optimeringslösarna, exempelvis för inlärning och styrning. Utvecklingen innefattar också användningen av moderna parallelldatorer. Vidare bedrivs forskning för att kombinera planeringsmetoder från forskningen inom artificiell intelligens med metoder inom optimering och reglering. Pågående utveckling av teorier och algoritmer innefattar även realtidscertifiering av optimeringsmetoderna.
Tillämpningar finns inom områden som rörelsereglering, styrning av autonoma fordon likaväl som inom implementering av optimeringsmetoder.
Arbetet bedrivs inom WASP:s område Storskalig optimering och styrning. Vi samarbetar här såväl med svenska som med utländska universitet, bland dem UCLA, ETH, TUDelft, DTU, University of Siena, KTH, och Lunds universitet. Industriella partner är exempelvis Scania och Saab.
Här undersöker vi om det är möjligt att använda algoritmer inom maskininlärning för att hitta och härleda nya optimerings-algoritmer som fungerar bättre än de som idag är designade manuellt.
Planering, beslutsfattande och prediktiv reglering av autonoma system, som också innefattar maskininlärning, är alla baserade på avancerade optimeringsmetoder. Valet av algoritm för optimeringen och de parametrar man väljer görs fortfarande manuellt, även om ramverk som disciplinerad konvex optimering, som cvx och YALMIP, har inneburit framsteg inom automatisering av konvex optimering.
Disciplinerad konvex optimering är ett bekvämt sätt att använda generella algoritmer för konvex optimering. Valet av algoritm och inställningen av parametrar är dock fortfarande en komplicerad process för såväl stor-skalig konvex optimering, distribuerad eller ej, som för icke konvex optimering. Det finns även ett antal ekvivalenta formuleringar av optimeringsproblemet som påverkar effektiviteten i beräkningarna.
För att komma förbi dessa svårigheter undersöker vi om det är möjligt att direkt lära sig dessa optimeringsalgoritmer och vilken som är den bästa formuleringen via experiment och simuleringar. Det vill säga att vi använder maskininlärningsalgoritmer för att hitta och härleda nya optimeringsalgoritmer som fungerar bättre än de som är designade manuellt.
Professor Bo Wahlberg, KTH
Det hÀr doktorandprojektet undersöker topologin i nÀtverk, som exempelvis strukturen i ett hierarkiskt nÀtverk som anvÀnds för skalbara berÀkningar med tillÀmpningar inom reglerteknik i vid mening.
Kordal graf med motsvarande klicktrÀd för distribuerade berÀkningar.
Exempel pÄ anvÀndningsomrÄden Àr systemidentifiering, maskininlÀrning och design av styrsystem.
Vi studerar Àven hur integritet pÄverkar möjliga prestandan och vilket mÄtt av kommunikation som krÀvs mellan olika berÀkningsagenter för att skapa de mest effektiva berÀkningarna. Olika typer at datorplattformar kommer att undersökas.
Vi utvecklar Àven effektiv optimeringskod för generiska problemformuleringar. Relevanta tillÀmpningar finns inom olika typer av infrastruktur som trafik, vatten, gas, elektricitet och styrning i byggnader.
Forskningen inom Informationskodning fokuserar på kvantteknologi och informationssäkerhet, med särskild inriktning mot kvantkrypto, kvantdatorer och informationsteoretisk säkerhet.
Gruppen bedriver bÄde experimentell och teoretisk forskning kring framtidens sÀkra kommunikationssystem och hur kvantdatorer och kvantalgoritmer fungerar. I forskningslaboratoriet anvÀnds kvantoptisk utrustning för att utveckla nÀsta generations sÀkra kommunikation, dÀr sÀkerheten bygger pÄ ljusets kvantmekaniska egenskaper.
Avdelningen bedriver Àven utbildning inom informationssÀkerhet samt bild- och videokodning.
Ansvarig: Shizhen Chang
Seniora forskare: Lena Klasén och Niclas Fock
Forskningen inom digital forensik utvecklar AI- och datadrivna metoder för att analysera, verifiera och tolka digitalt bevismaterial. Verksamheten omfattar djupinlÀrning för detektion och analys av bildförfalskningar, identifiering av manipulerade eller AI-genererad media, förklarbara och robusta forensiska modeller, analys av forensiska brusmönster samt metoder för hantering av omfattande multimodalt bevismaterial.
OmrÄdet har Àven kopplingar till bildanalys, datorseende, fjÀrranalys och tillÀmpad AI för brottsutredningar. Genom Lena Klasén och Niclas Fock har verksamheten en stark anknytning till Digital Forensics Sweden och till nationella samarbeten med rÀttsvÄrdande myndigheter, offentliga aktörer, nÀringslivet och AI Sweden. Det övergripande mÄlet Àr att stÀrka Sveriges förmÄga att utreda cyberbrott, digital manipulering och brottslighet som möjliggörs av ny teknik.
Ansvarig: Arunava Naha
Forskningen om sÀkra och motstÄndskraftiga cyberfysiska system fokuserar pÄ sÀkerhet, tillförlitlighet och styrning i nÀtverksanslutna system dÀr sensorik, berÀkning, kommunikation och aktuering Àr tÀtt integrerade. Arbetet behandlar hur reglersystem kan upptÀcka och hantera antagonistisk manipulation, sÄsom vilselednings- och Äteruppspelningsattacker, med hjÀlp av metoder som snabbast möjlig detektion, sekventiell förÀndringsdetektion och fysisk vattenmÀrkning.
Forskningen omfattar Àven riskmedveten och inlÀrningsbaserad reglering, dÀribland förstÀrkningsinlÀrning och policygradientmetoder för optimal styrning under probabilistiska villkor och sannolikhetsbegrÀnsningar. Det övergripande mÄlet Àr att utveckla styrstrategier som förblir tillförlitliga och effektiva Àven vid osÀkerhet, begrÀnsad information och avsiktlig störning.
