'Twilight' Star Kristen Stewart Medeauteurs Artificial-Intelligence Paper

{h1}

Acteur kristen stewart is co-auteur van computerwetenschappelijk onderzoek en onthult hoe kunstmatige intelligentie kan worden gebruikt om humeurige foto's te maken in haar film 'come swim'.

Acteur Kristen Stewart, bekend van Bella in de filmserie "Twilight" en regisseur van "Come Swim" op het Sundance Film Festival, heeft nu een andere regel in haar cv: co-auteur van een computerwetenschappelijk paper.

Het artikel, dat online is gepubliceerd in het preprint-tijdschrift ArXiv, heet "Impressionisme tot leven brengen met overdracht van neurale stijlen in Come Swim." De auteurs beschrijven een reeks programmasnelkoppelingen waarmee filmopnames eruit kunnen zien alsof ze in een bepaalde stijl zijn geschilderd of getekend, zoals impressionisme of pointillisme.

Het proces is gebaseerd op machinaal leren, een soort kunstmatige intelligentie, en bepaalde foto's in de korte film, die gebruik maakt van allusieve beelden om een ​​man te volgen in zijn tijd, het uiterlijk van een impressionistisch schilderij. De opname beschreven in het papier is ongeveer 15 seconden lang en het schilderij is van Stewart zelf. [5 Intrigerende toepassingen voor kunstmatige intelligentie (dat zijn geen moordenaarrobots)]

Stewart is de tweede auteur op het papier, met Bhautik Joshi, een research engineer bij Adobe Systems, als hoofdauteur, en David Shapiro, een producent bij Starlight Studios, als de derde auteur.

Hier is de referentie afbeelding die de onderzoekers gestileerd hebben met de

Hier is het referentiebeeld dat de onderzoekers hebben gestileerd met de "stijloverdracht" -techniek.

Credit: copyright 2017 Starlight Studios LLC & Kristen Stewart

Neurale stijloverdracht

De techniek die in de paper wordt beschreven, neurale stijloverdracht genoemd, verschilt van Instagram- of Snapchat-filters. "Wat huidige filters doen, is dat ze werken met de informatie in de afbeelding", vertelde Joshi aan WordsSideKick.com. "Een wereldwijde operatie als Instagram is slechts een kleuropzoeking." Om effecten te creëren, gebruiken Snapchat en Instagram filters die zijn gebaseerd op regels die door een mens zijn gemaakt; "Als je deze toestand tegenkomt, doe dat dan aan de afbeelding," zei hij.

Bijvoorbeeld, in Snapchat is de software "getraind" om ogen in een foto te herkennen, dus als je iemands ogen wilt laten lijken op die van een stripfiguur, dan kan dat (of, in één filter, de ogen tussen twee ogen draaien) gezichten).

De onderzoekers vonden dat beginnen met een hogere kwaliteit

De onderzoekers ontdekten dat het beginnen met een 'stijlbeeld' van een hogere kwaliteit, in dit geval Stewarts schilderij, resulteerde in een beter eindresultaat. Hier bevat de rechterkolom het startbeeld van betere kwaliteit.

Credit: copyright 2017 Starlight Studios LLC & Kristen Stewart

Stijloverdracht daarentegen, werkt in deze context door een afbeelding te maken en deze in blokken onder te verdelen om de componenten ervan te identificeren en deze vervolgens te vergelijken met een referentiebeeld. Dus, bijvoorbeeld, misschien heb je een exemplaar van Van Gogh's "Sterrennacht" en wil je een ander beeld er uit laten zien alsof het in dezelfde stijl is geschilderd. De software zoekt naar overeenkomstige functies in de afbeelding die u wilt wijzigen, met behulp van een techniek die is gebaseerd op zogenaamde neurale netwerken. Soms zijn de resultaten onvoorspelbaar, omdat de computer, in tegenstelling tot de Snapchat-filters, leert naarmate het door de beelden gaat, zei Joshi. [Gallery: Hidden Gems in Renaissance Art]

Neurale netwerken zijn programma's die meer als een menselijk brein werken en die bepaalde gedragingen leren en versterken door een bewerking vele malen te herhalen onder enigszins verschillende omstandigheden. (Zo kan een neuraal netwerk bijvoorbeeld een boom leren identificeren door naar veel afbeeldingen van bomen te kijken en vervolgens worden gevraagd om een ​​boom te identificeren om te zien of deze met succes is geleerd.) De theorie bestaat al sinds de jaren 1940, maar het was pas ongeveer 20 jaar geleden dat computers krachtig genoeg werden om er gebruik van te maken, volgens Joshi.

Het nadeel van stijloverdracht is echter dat het rekenintensief is, zei Joshi. Zelfs met krachtige machines kan het veel tijd kosten om een ​​resultaat te krijgen dat de artiest (in dit geval de filmregisseur) wil.

'Kom zwemmen' maken

Omdat Stewart ongeveer wist wat ze wilde in "Come Swim", vertelde Joshi de software verschillende paden te negeren die het had kunnen nemen om het computergebruik te beperken tot een paar opties binnen de stijlen die het kon overbrengen.

Door de waarde van een van de variabelen in hun geroepen algoritme te verhogen

Door de waarde van een van de variabelen in hun algoritme "u" te verhogen, konden de onderzoekers de mate van subjectief gemeten impressionisme in het resulterende beeld verfijnen.

Credit: copyright 2017 Starlight Studios LLC & Kristen Stewart

"Het algoritme is in wezen een zwarte doos", zei Joshi. "Willekeurig al deze looks samplen - dat zou ons nergens brengen, dus we wilden het op een gestructureerde manier benaderen." We zeiden: "Wat is hier een redelijk bereik voor?" totdat we samenkwamen in de look en onze iteraties meer voorspelbaar maakten. "

Joshi hield de "stijloverdrachtsratio" bijvoorbeeld vast, wat betekent dat de grootte van het blok in het referentiebeeld dat werd overgebracht naar het doelbeeld consistent bleef.

"De grootte van het overgedragen blok kan worden aangepast," zei Joshi. "Je begint eigenlijk met iets - presenteer [de] regisseur met een beginpunt, en je herhaalt om de beelden op een punt te krijgen om de emotionele respons te krijgen die je wilt." Uiteindelijk genereerde de computer een afbeelding waar Stewart blij mee was - een van een man die op zijn rug in het water lag.

Hoewel Joshi al het computerwerk heeft uitgevoerd, heeft Stewart het voor elkaar gekregen om het werk te benaderen als een filmregisseur en beeldend kunstenaar, zei Joshi.En hoewel hun aangepaste techniek geen fundamentele doorbraak is, is het een manier om bepaalde soorten werk gemakkelijker te maken. Nieuwe tools kunnen ingewikkeld zijn om te gebruiken, en soms kunnen de keuzes overweldigend zijn, zei Joshi.

"Het doel was om andere mensen deze nieuwe vorm van creatieve expressie te geven," zei hij. "Hier zijn een paar stappen om het minder ontmoedigend te maken."

Oorspronkelijk artikel over WordsSideKick.com.


Video Supplement: .




WordsSideKick.com
Alle Rechten Voorbehouden!
Reproductie Van Materialen Toegestaan Alleen Prostanovkoy Actieve Link Naar De Site WordsSideKick.com

© 2005–2019 WordsSideKick.com