La Mobilfotografering holder aldrig op med at genopfinde sig selvFlere kameraer, flere megapixels, bedre algoritmer og stadig mere spektakulære portrættilstande. Midt i dette kapløb om at skille sig ud er der dukket en ny funktion op, som hurtigt er ved at blive en fast bestanddel af de mest banebrydende mobiltelefoner: Time-of-Flight (ToF)-sensor, et stykke hardware designet til at måle dybden af scenen med enorm præcision, og som går langt ud over at "lave bokeh".
Hvis navne som dette lyder bekendte for dig Huawei P30 Pro, HONOR View20, LG G8 ThinQ, Galaxy S10 5G eller OPPO RX17 ProDu har sikkert allerede stødt på en ToF-sensor uden at vide det. Denne type sensor giver tredimensionel information om, hvad kameraet kigger på, og åbner døren til... Mere naturlige portrætter, øjeblikkelig fokus, pålidelig augmented reality og avanceret ansigtsgenkendelseLad os roligt, men detaljeret, se på præcis hvad det er, hvordan det fungerer, og frem for alt, hvordan du får mest muligt ud af det, når du tager billeder med din mobiltelefon.
Hvad er en Time-of-Flight-sensor, og hvorfor er den vigtig i en mobiltelefon?
Udtrykket Time-of-Flight (ToF), oversat til "flyvetid"Det beskriver et system, der måler, hvor lang tid det tager en lysstråle at bevæge sig fra senderen til et objekt og tilbage til sensoren. Det lyder mærkeligt, når det anvendes på et kamera, men det er faktisk et meget simpelt koncept: infrarødt lys udsendes, det reflekteres fra det, der er foran det, og systemet beregner den tid, det tager at vende tilbage for at bestemme afstanden til hvert punkt i scenen.
Denne idé stammer ikke fra telefoner. Time-of-Flight (ToF)-teknologi har været brugt i årevis i industrielle og forskningsmiljøer.og tog springet til mainstream med enheder som microsoft kinect, Xbox-tilbehøret, der var i stand til at aflæse din krops bevægelser med overraskende nøjagtighed takket være en sensor af denne type.
I en moderne smartphone, ToF-sensoren Den erstatter ikke hovedkameraetmen snarere supplerer den. Den ledsages normalt af sin egen optik, en infrarød lysudstråler og en specifik sensor (ofte en tilpasset CCD eller CMOS), der danner et uafhængigt kamera, der kun er dedikeret til at måle dybde, hvilket overlader optagelsen af farver og detaljer til de "normale" sensorer.
Producenter som f.eks Samsung, LG, HONOR, OPPO, Vivo eller Sony De har taget det til sig, fordi det giver dem mulighed for at få et meget fint dybdekort i en enkelt optagelse uden at skulle bruge to kameraer, der efterligner stereoskopisk syn. Og det, der virkelig er interessant, er, at Hver pixel i ToF-sensoren indsamler intensitets- og faseinformation fra den infrarøde stråle., hvilket gør det muligt rekonstruer scenen i 3D i stor detalje.
Sådan fungerer en ToF-sensor trin for trin
For at forstå, hvordan man bruger ToF korrekt i mobilfotografering, er det nyttigt at vide Hvad sker der inde i telefonen, når du peger kameraet mod den?Dens funktion minder meget om en ubåds sonar eller radar, blot bruger den højfrekvent infrarødt lys i stedet for lyd eller radiobølger.
Først ToF-modulet udsender en moduleret infrarød lysstråletypisk omkring 20 MHz. Denne modulation er afgørende, så sensoren nemt kan skelne sit eget lys fra omgivende belysning, selv i komplekse eller meget solrige scener, og dermed undgå interferens, der ville ødelægge målingen.
Når infrarødt lys rammer en genstand eller en person, En del af strålen reflekteres og vender tilbage til sensoren.Hvert punkt på overfladen, der modtager denne påvirkning, "returnerer" et signal med en lidt forskellig intensitet og fase, afhængigt af afstanden og materialets egenskaber (tekstur, reflektionsevne osv.).
ToF-sensoren, der består af en en række pixels, der er følsomme over for infrarødt lysDen måler for hver pixel amplituden og faseforskydningen af det modtagne signal i forhold til den udsendte puls. Da lysets hastighed er kendt (i luft er den meget lig de berømte 300.000 km/s i vakuum), er det ved at beregne denne lille forsinkelse muligt at estimere den nøjagtige afstand til hvert punkt i scenen.
Resultatet af hele denne proces er det, der kaldes en dybdeområdekortEn tredimensionel repræsentation, hvor hver pixel indeholder information ikke kun om dens position i billedet, men også om hvor langt eller tæt den er på kameraet. Denne 3D-"punktsky" muliggør rekonstruktion af tredimensionelle former og den præcise skelnen mellem, hvad der hører til hovedmotivet, og hvad der er baggrund.
Fordele ved ToF i forhold til andre dybdemetoder
Indtil ToF kom til smartphones, blev dybdeaflæsning udført på flere måder: dobbeltkameraer, der efterligner vores to øjneAI-genererede dybdekort fra et enkelt billede, eller fasedetekterende eller kontrastdetekterende autofokussystemer. Alle disse fungerer ret godt, men de har begrænsninger.
Med en ToF-sensor er mobiltelefonen i stand til indfang scenens fulde dybde i et enkelt billedeuden at skulle kombinere flere tilgange eller i høj grad stole på neural netværksbehandling. Der er ingen grund til at skifte fokus mellem planer i millisekunder; Time-of-Flight ser hele sættet af objekter på én gang og måler afstanden til hver enkelt.
Dette har to klare konsekvenser: på den ene side, Den tid, der kræves for at indhente dybdeinformation, falder kraftigtfordi målingen er næsten øjeblikkelig (lys bruger omkring nanosekunder på at tilbagelægge et par meter); og på den anden side reducerer det risikoen for fejl i scener med meget bevægelse, hvor traditionelle systemer kan blive forvirrede.
Desuden kan moderne ToF-sensorer at måle afstande på flere meter og endda ti eller hundred meter I visse implementeringer opretholdes god nøjagtighed. Ved mobilfotografering behøver du ikke en rækkevidde på 200 meter, men du drager fordel af stabile aflæsninger i både nærbilleder og vidvinkelbilleder udendørs.
Den anden store fordel er, at Opløsningen af ToF-sensorer stigerNogle modeller er i stand til at aflæse op til 300.000 forskellige punkter på ansigtet eller scenen, som hævdet. Jeg lever med deres 3D-løsningså mobilen kan tegne meget mere detaljerede og renere konturer end med klassiske slørede dybdekort.
Begrænsninger og afvejninger ved integration af en ToF-sensor
Det er ikke kun fordele: integration af et ToF-modul indebærer visse ofre på niveauet af mobiltelefonens interne designDette system kræver sin egen infrarøde sender, en dedikeret linse og en ekstra sensor, så det optager en lignende plads som et konventionelt kamera i et chassis, hvor hver millimeter tæller.
Nogle producenter har taget det som en strategisk væddemål, der reserverer det til de høje eller mellemste præmieniveauerMens nogle har valgt enklere tredobbelt- eller firekameraopsætninger uden ToF, og er afhængige af software til at simulere dybde. Dette forklarer, hvorfor det den dag i dag forbliver en relativt eksklusiv komponent.
En anden nøglekomponent er processoren. En ToF-sensor genererer en ægte dybdedatastrøm i realtidHvis SoC'en (og dens internetudbyder, billedsignalprocessoren) ikke er kraftig nok, kan systemet opleve forsinkelser eller ydeevnenedsættelser, når der anvendes live-effekter, objektsporing eller augmented reality-funktioner.
Derfor ser vi, at de telefoner, der bedst udnytter ToF-teknologi, normalt har Kraftfulde chips og velunderstøttet optimeret softwareNår der er en flaskehals, kan portrættilstand tage lang tid at behandle, sporingsfokus bliver uregelmæssig, eller ansigtsgenkendelse mister flydende egenskaber.
Med hensyn til forbrug involverer den infrarøde sender og yderligere behandling ekstra energiforbrugSelvom det i praksis er ret godt kontrolleret. ToF-sensoren aktiveres normalt kun, når systemet har brug for den (portrættilstande, AR, ansigtslåsning, bevægelser osv.), så den affyrer ikke konstant usynlige lasere uden grund.
Sådan forbedrer ToF bokeh og dybdeskarphed
En af de mest synlige anvendelser af ToF-sensoren i mobilfotografering er Oprettelse af portrætter med baggrundssløring (bokeh) meget mere realistisk. Med et præcist dybdekort ved telefonen præcis, hvilke områder af billedet der tilhører hovedmotivet, og hvilke der tilhører baggrunden, uden at skulle "gætte" udelukkende baseret på kontrast eller kantdetektion.
Dette oversættes til renere snit omkring hår, hænder eller indviklede genstandeDette er områder, hvor algoritmer, der udelukkende er baseret på dobbeltkameraer, ofte har problemer og skaber mærkelige glorier. Time-of-Flight (ToF) tilføjer et ekstra lag af information, der hjælper med at adskille hvert plan korrekt.
Derudover kan systemet mere overbevisende simulere progressiv dybdeskarphedDet handler ikke bare om at sløre alt i baggrunden på én gang, men om at anvende forskellige niveauer af sløring afhængigt af den faktiske afstand til sensoren. På denne måde efterligner det bedre opførslen af et lysstærkt objektiv på et traditionelt kamera.
Et andet interessant punkt er, at ToF giver dig mulighed for at lege med kreative effekter i realtidFordi målingen er meget hurtig, kan telefonen vise bokeh'en direkte i søgeren, mens du komponerer billedet, og justere intensiteten af sløringen undervejs uden at skulle vente på efterbehandling.
I modeller som f.eks. Huawei P30 Pro eller HONOR View20Producenten kan prale netop af en øverste portrættilstand Takket være denne sensor. Ved at delegere dybdeaflæsningen til ToF kan hovedkameraet fokusere på at levere maksimal detalje og dynamisk område, mens behandlingen kombinerer begge dele af informationen for at generere et meget afbalanceret slutbillede.
ToF som objektfokus- og sporingsassistent
Time-of-Flight (ToF) bruges ikke kun til at sløre baggrunde; det er også en en stærk allieret med autofokussystemetNår kameraet ved præcis, hvor langt væk hvert element er, kan det uden tøven bestemme, hvor det skal fokusere, og dermed undgå den typiske frem-og-tilbage-besværgelse med fokusering/refokusering, når lyset er vanskeligt.
Ved actionfotografering eller når man fotograferer børn, kæledyr eller genstande i bevægelse, hjælper ToF mobiltelefonen med at hurtigt identificere det motiv, man skal følge, og holde dem fokuserede. selv når man bevæger sig inden for scenen. Den er ikke så afhængig af kontrastdetektion, som er meget langsommere, og den er heller ikke så let at forveksle med baggrundselementer, der har lignende teksturer.
Denne forbedring er også mærkbar i video: under optagelse kan systemet bruge ToF til at opnå mere stabil kontinuerlig fokus og jævnere fokusovergangeNogle mobiltelefoner bruger endda dybdeinformation til at anvende diskrete baggrundssløringer i realtidsvideo, selvom denne funktion i mange tilfælde stadig er i en forholdsvis eksperimentel fase.
En anden mindre synlig, men meget nyttig anvendelse er fokuseringshjælp under forhold med svagt lys. scener med svagt lys eller høj kontrasthvor andre metoder har problemer. ToF infrarød er mindre afhængig af synligt lys, så den kan "se" motivet selv i mørke omgivelser, hvilket giver et ekstra referencepunkt for at forhindre fokus i at gå amok.
Men igen er nøglen, at kameraets software er velafstemt. En kraftig ToF-sensor med en dårlig algoritme bag sig kan ende med at skabe problemer. uberegnelige tilgange eller mærkelige "spring" hvis systemet ikke ved, hvordan det korrekt skal fortolke den tredimensionelle punktsky.
Ansigtsgenkendelse og bevægelseskontrol med ToF
Ud over fotografering har ToF vist sig at være et perfekt værktøj til 3D-ansigtsgenkendelseVed at projicere tusindvis af lyspunkter på ansigtet og måle deres refleksion genererer mobiltelefonen en ekstremt præcis tredimensionel model, som ikke kun identificerer ansigtets generelle form, men også fine træk som øjnenes, næsens eller hagens dybde.
Denne type system er meget mere sikker end traditionel 2D-ansigtsgenkendelsesom udelukkende er baseret på et fladt fotografi og generelt er lettere at narre. Med ToF er telefonen bedre til at skelne et rigtigt ansigt fra et fotografi eller en maske, og den kan forblive effektiv selv med moderate ændringer i belysning, frisure eller makeup.
Producenter kan lide LG med sin G8 ThinQ De er gået et skridt videre og bruger den frontvendte ToF-sensor ikke kun til at låse telefonen op, men også til at aktivere funktioner fra luftbevægelseskontrolSensoren registrerer din hånds position og bevægelse foran skærmen, så du kan udføre bestemte handlinger uden at røre enheden, f.eks. at hæve lydstyrken, besvare opkald eller skifte mellem numre.
I nogle tilfælde er ToF endda i stand til genkende venemønstre i hånden eller unikke detaljer i ansigtetyderligere forbedring af sikkerheden. Og selvom disse gestusfunktioner stadig er noget anekdotiske og ikke altid så praktiske som lovet, demonstrerer de teknologiens potentiale for nye former for interaktion.
Mærker som Apple, selvom de ikke bruger strengt taget det samme navn, har også brugt lignende infrarøde punktprojektionssystemer siden iPhone X til deres Defekt Face IDhvilket viser, at denne 3D-tilgang har potentiale både i Android og i andre økosystemer.
ToF i augmented reality, 3D-scanning og kreative apps
ToFs evne til at levere et præcist dybdekort i realtid Det er rent guld til augmented reality (AR) applikationer. I modsætning til systemer, der udelukkende er afhængige af konventionelle kameraer og visuel sporing, "forstår" den mobile enhed her fysisk omgivelserne: den ved, hvor væggene, gulvet, møblerne eller personerne er.
Dette gør det muligt at være virtuelle objekter integrere sig bedre i den virkelige verdenRespekt for okklusioner (sikre at et virtuelt objekt gemmer sig korrekt bag noget virkeligt), hvile naturligt på overflader og reagere realistisk på afstand. Spil, dekorationsapps, måleværktøjer og interaktive guider drager stor fordel af denne ekstra præcision.
ToF bruges også til 3D-scanning af objekter og personerVed at bevæge telefonen rundt om en figur registrerer sensoren formen og volumen fra forskellige vinkler og genererer tredimensionelle modeller, der derefter kan ses, redigeres eller endda 3D-printes. De findes allerede apps, der udnytter denne mulighedselvom vi stadig er i en tidlig fase af masseadoption.
Et andet voksende felt er tilgængelige teknologierEn ToF kombineret med passende software kan hjælpe med at spore øjenbevægelser, fortolke subtile håndbevægelser eller endda læbebevægelser, hvilket åbner døren for alternative kontrolsystemer for mennesker med forskellige handicap.
Kort sagt udvider disse sensorer anvendelsesområdet for mobiltelefoner langt ud over fotos til sociale medier og placerer dem i hjertet af menneske-maskine-interaktion og fordybende oplevelser som vi vil se i de kommende år.
Nutiden og fremtiden for ToF-sensorer i smartphones
I det nuværende Android-landskab har ToF positioneret sig som en nøglekomponent i mobiltelefoner, der fokuserer på avanceret fotograferingModeller som Huawei P30 Pro, HONOR View20/View 20, OPPO RX17 Pro, LG G8 ThinQ eller Galaxy S10 5G har indarbejdet det både på bagsiden og i nogle tilfælde på forsiden.
Der er producenter, der endda har turdet at reducere antallet af "klassiske" kameraer og stole mere på ToFArbejder med et kraftfuldt hovedkamera plus denne dybdesensor til at dække portrættilstande, AR og andre funktioner, i stedet for at montere fire eller fem separate moduler.
Bag denne tendens står nøglevirksomheder som f.eks. Sony, en af verdens største producenter af billedsensorersom har annonceret stigninger i produktionen af Time-of-Flight (ToF) sensorer for at imødekomme efterspørgslen fra mobilindustrien. Det er ikke tilfældigt, at rygter tyder på, at flere og flere high-end og premium mellemklassetelefoner vil inkorporere denne teknologi.
Softwareøkosystemet tilpasser sig også. Nyere Android-versioner overvejer bedre integration af native understøttelse af 3D-ansigtsoplåsningssystemer Baseret på disse sensorer ville dette tilskynde flere mærker til at investere i dem, ikke kun til kameraer, men også til enhedssikkerhed.
Det er endnu uvist, hvor langt masseadoptionen vil gå. Selvom omkostningerne ved selve komponenten ikke er uoverkommelige, betyder den nødvendige interne plads og behovet for en processor, der er i stand til at håndtere den, at for nu... Ikke alle telefoner er udstyret til at inkludere detTendensen er dog klar: Efterhånden som algoritmerne miniaturiseres og optimeres, vil det blive mere almindeligt at se det, selv i modeller i den lavere ende.
I brugerens dagligdag vil de bemærke, at deres mobiltelefon tilbyder Bedre portrætter, hurtigere fokus, mere pålidelig ansigtsoplåsning og mere robuste AR-oplevelserofte uden at vide, at den stille synder bag alt dette er en lille ToF-sensor skjult sammen med resten af kameraerne.
Time-of-Flight-sensoren har opnået sin egen niche inden for moderne mobilfotografering fordi Det giver noget, som software alene ikke kan skabe: reel og målbar dybde.Ved at kombinere det med stadigt mere kapabel optik og kraftfulde processorer er smartphones i stand til bedre at adskille motiver fra baggrunde, præcist fokusere selv med motiver i bevægelse, forstå rum for augmented reality og styrke sikkerheden med 3D-ansigtsgenkendelse, hvilket gør mobiltelefonkameraet til et langt mere alsidigt værktøj, end det syntes muligt for bare et par år siden.
