Den demokratisering av teknologi, kunnskap og informasjon som har foregått i løpet av de siste tiårene har gitt opphav til større aktivitet og bredere utforskning av estetisk og performativ praksis. I tillegg har miniatyrisering av teknologi, kostnadsreduksjon, regnekraft og tilgjengelighet  ført til at små og mobile enheter, med kraftig CPU, innebygde sensorer, trådløs teknologi og programvare, åpnet opp for en rekke interessante metoder for interaksjon og en kreativ utnyttelse i musikalske sammenhenger.

Vi skal i dette kurset ta sikte på å utforske de kunstneriske og musikalske potensialene som ligger i denne teknologien med et fokus på mobile og nettbaserte enheter for iOS og Android.

Fokuset ligger ikke i det å lære å programmere fra bunn av,  men det kan være greit at man kan litt fra før (som f.eks Max e.l).  Det sentrale her er at en tar i bruk og utforsker de mulighetene man har både kunstnerisk og teknologisk.

Det vil være en del ferdige moduler man kan “sy-sammen” slik at en skal slippe å bruke alt for mye tid på bare programmering. Men det er selvsagt helt nødvendig å programmere noe! Nødvendig informasjon vil bli gitt både i samlinger, på denne siden samt via en god del lenker (som f.eks tutorials videoer, nettsider og pdf) fra eksterne kilder.

Mål:

  • Produsere egne personlige mobile instrumenter/verktøy for bruk i live-sammenheng, lyd-installasjoner,produksjon og komposisjon. Utforskning av estetisk og performativ praksis.
  • Musikkteknologisk begrepsapparat og god forståelse av de lydgenerende/ bearbeidene prosesser samt refleksjon over egen programmering.
  • Å tenke kreativt, “å se” musikalske og kunsteriske potensialer i den spesifikke teknologien.

Nettbasert med samlinger: 4 samlinger (2 høst 2 vår)

Oppgaveinnleveringer, delt inn i 6 øvelser og ett større kunstnerisk arbeid.

Eksempler på kunsteriske arbeider :

  • Utvikle en lydinstallasjon hvor f.eks GPS posisjonsdata fra en enhet har en direkte innvirkning på musikken. (kan være f.eks  en binaural “soundwalk” e.l )
  • Lydinstallasjon eller komposisjon hvor en enhet er koblet sammen med et annet objekt eller instrument hvor interaksjonen med objektet er musikalsk augmentert ( sensordata fra en enhet registrerer ulike bevegelser gjort på et instrument)
  • Egen avansert styreflate/MIDI kontroller el. InterApp-kommunikasjon verktøy.
  • Nettverksbasert komposisjon eller instrument, hvor en rekke enheter koblet sammen på et nettverk utgjør en algoritmisk komposisjon e.l
  • Verktøy for live-prosessering og bearbeiding.

Vi skal hovedsaklig bruke PD (PureData) som er et grafisk lydprogrammering miljø lignende Max, men som har den store fordelen ( i tillegg til gratis) at det kan kjøre på mobilen (iOS og Android) og nettbrett. PD kan tilogmed kjøre i en nettleser (WebPD)! Noe vi skal se litt på mot slutten av kurset.

Men for å bruke patcher laget i PD som vi kan så kjøre på iOS/Android, så må vi bruke en bridge; MobMuPlat (Mobile Music Platfom). Det er mulig å bruke patcher laget i PD uten MobmuPlat, ved å bruke libpd. (mobmuplat er laget ved hjelp av libpd)  Men dette krever en god del programmering i objective C/ Java. Noe som blir langt utenfor kursets omfang. Fordelen i tillegg til en noe mer optimalisering er at en kan da få det inn på AppStore eller GooglePlay og bli styrtrik…. Men vi holder oss til MobMuPlat.

lyddprog_oversikt.001

Fig1.Oversikt over lydprogrammering språk og plattformer. uthevet er det vi skal se på i kurset. (I tillegg skal vi se på NexusUI som er en nettbasert UI plattform hvor en kan lage ulike grafiske interface og styre t.eks PD patchen på mobilen fra web…

De to hovedverktøyene vi skal bruke er Pd og Mobmuplat (editor). Pd kommer i to versjoner: Vanilla og pd-extended. Vi skal kun bruke vanilla versjonen da det er kun denne som kan kjøre på iOS/Android (og web). Så dersom du har pd-extended installert fra før, pass på at du jobber i pd vanilla . Vanilla versjonen inneholder langt færre objekter, men det betyr ikke at det er noe dårligere men kun at en får ting litt mindre “gratis” og enkelte ting kan være noe mer tungvint i forhold til extended varianten.

Android eller iOS

Det er forskjeller på iOS og Android og det er en del ting som er langt bedre på iOS enn i Android når det gjelder lyd. iOS har en ganske lav latency mens Android (avhengig av hvilken versjon ) har langt høyere. (10-100ms) I tillegg er iOS og Appstore universet langt mer utviklet enn GooglePlay. Med applikasjoner som AudioBus på iOS kan vi og rute kreasjoner laget i Pd gjennom andre apper (effekter, andre synther, sende/motta MIDI, data og lyd mellom ulike applikasjoner i sanntid) Dette kan være svært spennende. Det er og mulig å kjøre det vi har laget i Pd på mobilen som en VST/AU plugin i DAWen hvor mobilen/iPaden fungerer som en DSP prosessor! (studiomux). AudioBus og StudioMux er applikasjoner på iOS som koster penger. På Android har vi en del mer begrensinger men ved å bruke Jack 2 Android (kompilere selv). så er det teknisk mulig. I tillegg er det på Android (avhengig av modellen) ulike sensorer som er tatt i bruk og som vi får tilgang til. Men Android har meget bra støtte for ekstern HID enheter (mus,tastatur,joystick i prinsippet alt som kan kjøre med USB). På begge systemer har vi tilgang til multikanals lydinput og output. og kan bruke eskterne lydkort (USB/CameraConnectionKit).

La oss komme igang, gå til 1. Puredata og MobmuPlat