Videomodeller i datavisjon: Arkitekturer, oppgaver og applikasjoner
Videomodeller er beregningsarkitekturer designet for å prosessere, analysere og trekke ut informasjon fra videosekvenser (spatiotemporale data).
Kjerneevner
- Objektdeteksjon: Lokaliser objekter per ramme (YOLO, Faster R-CNN tilpasset for video)
- Objektsporings: Behold identiteter på tvers av rammer (DeepSORT, Tracktor, Transformer-trackere)
- Handlingsgjenkjenning: Klassifiser aktiviteter (I3D, SlowFast, Video Swin Transformer)
- Temporell segmentering: Oppdag hendelsesgrenser (start/slutt av handlinger)
- Videoteksting: Generer naturlige språkbeskrivelser
- Videofremspå: Forutsi fremtidige rammer
- Videogenerering: Syntetiser realistisk video (Diffusion, GANer, Transformere)
- Videoforbetring: Super-oppløsning, denoising, rammeinterpolasjon
- Videosammendrag: Uttrekk nøkkeløyeblikk
- Multimodal forståelse: Video + lyd + tekst (VideoBERT, Flamingo, Video-LLaMA)
Arkitekturfamilier
- 3D CNN-er: Spatiotemporale konvolusjoner (C3D, I3D)
- To-strøm: RGB + Optisk flyt (TSN, TSM)
- Transformere: Video Swin, TimeSformer, ViViT
- Diffusjonsmodeller: Videogenerering (Sora, Gen-2, Stable Video Diffusion)
Applikasjoner
Overvåkning, autonom kjøring, sportsanalytikk, helseovervåking, innholdsmoderasjon, videoredigering, AR/VR, robotikk. Videoforståelse er grunnleggende for KIs interaksjon med den dynamiske verden.