Custom Streaming

The Custom integration provides you full control of the data stream. You can configure the data stream exactly as you wish by setting the protocol and data format as seen fit.

Requirements

A Studio Pro or Enterprise subscription.

Getting started

Open Rokoko Studio Live.

Go to settings and click on Studio Live in the drop-down menu.

Configure the data stream

Before you can begin streaming data you need to configure the receiver information. Start by clicking the cogwheel  in the top right corner, which will flip the box around.


Adding a receiver

Add one receiver by clicking the plus button, which applies one receiver to the list. At this stage you can modify the IP address and Port number.


Setting the protocol and data format

To set the protocol and data format, click the arrow down button  to expand the receiver configuration.

Enabling and disabling receiver

Each individual receiver can be enabled and disabled by toggling the switch  .

Enabling the data stream

In order to enable a data stream, at least one receiver has to be enabled.

Enable the data stream by clicking on box. The green outline indicates that the data stream is enabled, click again to disable.

Protocols available

UDP

In computer networking, the User Datagram Protocol (UDP) is one of the core members of the Internet protocol suite. The protocol was designed by David P. Reed in 1980 and formally defined in RFC 768. With UDP, computer applications can send messages, in this case referred to as datagrams, to other hosts on an Internet Protocol (IP) network. Prior communications are not required in order to set up communication channels or data paths.

UDP uses a simple connectionless communication model with a minimum of protocol mechanisms. UDP provides checksums for data integrity, and port numbers for addressing different functions at the source and destination of the datagram. It has no handshaking dialogues, and thus exposes the user's program to any unreliability of the underlying network; there is no guarantee of delivery, ordering, or duplicate protection. If error-correction facilities are needed at the network interface level, an application may use Transmission Control Protocol (TCP) or Stream Control Transmission Protocol (SCTP) which are designed for this purpose.

Source: https://en.wikipedia.org/wiki/User_Datagram_Protocol

TCP

The Transmission Control Protocol (TCP) is one of the main protocols of the Internet protocol suite. It originated in the initial network implementation in which it complemented the Internet Protocol (IP). Therefore, the entire suite is commonly referred to as TCP/IP. TCP provides reliable, ordered, and error-checked delivery of a stream of octets (bytes) between applications running on hosts communicating via an IP network. Major internet applications such as the World Wide Web, email, remote administration, and file transfer rely on TCP. Applications that do not require reliable data stream service may use the User Datagram Protocol (UDP), which provides a connectionless datagram service that emphasises reduced latency over reliability.

Source: https://en.wikipedia.org/wiki/Transmission_Control_Protocol

Data formats available

Each data format supports specific streaming capabilities from Studio Live defined in the table below:

Data Format
Smartsuit Pro
Virtual Production
Face Capture
JSON v3



JSON v2



JSON v1



JSON v3

{
      version: 3,
      fps: 60,
      scene: {
            timestamp: 0,
      actors: [
      {
            name: "Dimitris", //arbitary size
            color: {r, g, b}, // bytes
            meta: {
                  hasGloves: true, //Indicates if fingers are controlled
                  hasLeftGlove: true,
                  hasRightGlove: true,
                  hasBody: true, //Indicates if body is controlled
                  hasFace: true //Indicates if face is controlled
            }
            // physical proportions of the actor
            dimensions: {
                        totalHeight: 180,
                        hipHeight: 100,
                        // ... more information about the body that might be interesting
                       // for retargetting to custom characters
            }
            body: { // optional section
                  hip: {
                        position {x: 0, y: 0, z: 0} // Y-up, Z-forward
                        rotation {x: 0, y: 0, z: 0, w: 1} // quaternion
                  },
                  spine: {...}
            },
            face: { // optional section
                  leftEyeBlink: 0, // 0-100
                  ...
            }
           },
            {...}
      ],
      props: [
      {
            name: "Box1",
            color: {r, g, b} // bytes
            type: 0/1/2 // 0: box, 1: stick, 2: camera
            position: {x: 0, y: 0, z: 0}, // Y-up, Z-forward
            rotation: {x: 0, y: 0, z: 0, w: 1}, // quaternion
       },
      ]
    }
}

JSON v2

Input
Object
Description
Smartsuit Pro
actors
Skeletal animation and meta data.
Virtual Production
props
Position, orientation and meta data for props
Virtual Production
trackers
Position and orientation of the trackers
Face Capture
faces
Facial animation and meta data.

 

{

      "version": 2,

      "timestamp": 0,

      "playbackTimestamp": 0,

      "props": [PropsObject1, PropObject2, ...],

      "trackers": [TrackerObject1, TrackerObject2, ...],

      "faces": [FaceObject1, FaceObject2, ...],

      "actors": [ActorObject1, ActorObject2, ...]

}

Description

The JSON v2 format extends the JSON v1 by adding the Studio character's animation.

Smartsuit character object

 

"actors":
[

{

      "name": "E46",

      "timestamp": 0,

      "id": "E46",

      "isLive": false,

      "profileName": "Aaron",

      "color": {

            "x": 0.9843137264251709,

            "y": 0.32156863808631897,

            "z": 0.3529411852359772

      },

      "hip": {

            "position": {

                  "x": -0.25805285573005676,

                  "y": 0.8448233008384705,

                  "z": -0.16668377816677094

            },

            "rotation": {

                  "x": -0.05892881378531456,

                  "y": -0.4031127989292145,

                  "z": -0.03931679204106331,

                  "w": -0.9124043583869934

            }

},

"spine": {

            "position": {

                  "x": -0.2971567213535309,

                  "y": 0.9535502791404724,

                  "z": -0.18488909304141998

            },

            "rotation": {

                  "x": -0.41956964135169983,

                  "y": 0.0603608563542366,

                  "z": -0.9053778052330017,

                  "w": 0.02467639371752739

            }

},

      "chest": {

            "position": {

                  "x": -0.29401254653930664,

                  "y": 1.1027038097381592,

                  "z": -0.16611847281455994

            },

            "rotation": {

                  "x": -0.45185548067092896,

                  "y": 0.06313175708055496,

                  "z": -0.8898422718048096,

                  "w": -0.004688302520662546

            }

      },

      "neck": {

            "position": {

                  "x": -0.2725859582424164,

                  "y": 1.4277215003967285,

                  "z": -0.1306949406862259

            },

            "rotation": {

            "x": -0.532751202583313,

            "y": 0.02986972965300083,

            "z": -0.8457434773445129,

            "w": -0.00147498887963593

            }

},

"head": {

      "position": {

            "x": -0.26913028955459595,

            "y": 1.5282247066497803,

            "z": -0.1257663071155548

      },

      "rotation": {

            "x": -0.6085296273231506,

            "y": -0.0036792040336877108,

            "z": -0.7935208678245544,

            "w": 0.001752492506057024

      }

},

"leftShoulder": {

      "position": {

            "x": -0.303661584854126,

            "y": 1.3452322483062744,

            "z": -0.07190568745136261

      },

      "rotation": {

            "x": -0.2815074920654297,

            "y": 0.30717089772224426,

            "z": -0.6528825759887695,

            "w": 0.6325695514678955

      }

},

"leftUpperArm": {

      "position": {

            "x": -0.38874468207359314,

            "y": 1.346665859222412,

            "z": 0.02675245702266693

      },

      "rotation": {

            "x": 0.01734549179673195,

            "y": -0.8239911198616028,

            "z": 0.28212082386016846,

            "w": -0.49106600880622864

      }

},

"leftLowerArm": {

      "position": {

            "x": -0.44092804193496704,

            "y": 1.1702210903167725,

            "z": 0.1279655545949936

      },

      "rotation": {

            "x": 0.019030820578336716,

            "y": -0.6776082515716553,

            "z": 0.40444034337997437,

            "w": -0.6139323711395264

      }

},

"leftHand": {

      "position": {

            "x": -0.5736956000328064,

            "y": 0.980679452419281,

            "z": 0.289120078086853

      },

      "rotation": {

            "x": 0.10558358579874039,

            "y": -0.645072877407074,

            "z": 0.49473902583122253,

            "w": -0.5726839303970337

      }

},

"rightShoulder": {

      "position": {

            "x": -0.22117552161216736,

            "y": 1.3520236015319824,

            "z": -0.18410971760749817

      },

      "rotation": {

            "x": -0.4284961223602295,

            "y": -0.33857497572898865,

            "z": -0.6596234440803528,

            "w": -0.5163865089416504

      }

},

"rightUpperArm": {

      "position": {

            "x": -0.17022231221199036,

            "y": 1.3829567432403564,

            "z": -0.2999608516693115

      },

      "rotation": {

            "x": -0.3679356276988983,

            "y": 0.0819193422794342,

            "z": -0.40051358938217163,

            "w": -0.835165798664093

      }

},

"rightLowerArm": {

      "position": {

            "x": -0.01707504689693451,

            "y": 1.297187328338623,

            "z": -0.4152410626411438

},

      "rotation": {

            "x": -0.42952263355255127,

            "y": -0.006795666646212339,

            "z": -0.563155472278595,

            "w": -0.7059179544448853

      }

},

"rightHand": {

      "position": {

            "x": 0.2054920494556427,

            "y": 1.2981082201004028,

            "z": -0.5884084701538086

      },

      "rotation": {

            "x": -0.671027660369873,

            "y": 0.13191476464271545,

            "z": -0.36720648407936096,

            "w": -0.6304603815078735

      }

},

"leftUpLeg": {

      "position": {

            "x": -0.32608354091644287,

            "y": 0.8327487111091614,

            "z": -0.09267312288284302

      },

      "rotation": {

            "x": -0.09104879200458527,

            "y": -0.9535050392150879,

            "z": -0.08390242606401443,

            "w": -0.27477043867111206

      }

},

"leftLeg": {

      "position": {

      "x": -0.37621745467185974,

      "y": 0.4516647160053253,

      "z": -0.17524680495262146

      },

      "rotation": {

            "x": -0.38567695021629333,

      "y": -0.8767532110214233,

      "z": -0.16588789224624634,

      "w": -0.23460322618484497

      }

},

"leftFoot": {

      "position": {

      "x": -0.6376440525054932,

      "y": 0.16912351548671722,

      "z": -0.3805736005306244

      },

      "rotation": {

            "x": 0.2207859307527542,

            "y": -0.8243608474731445,

            "z": 0.24906688928604126,

            "w": 0.4578741490840912

      }

},

"leftToe": {

      "position": {

      "x": -0.6005964279174805,

      "y": 0.030938437208533287,

      "z": -0.38159358501434326

      },

      "rotation": {

            "x": 0.3474993109703064,

            "y": -0.7122963666915894,

            "z": 0.4839826226234436,

            "w": 0.37099775671958923

      }

},

"leftToeEnd": {

      "position": {

            "x": -0.5405302047729492,

            "y": -0.0019528991542756557,

            "z": -0.35320425033569336

      },

      "rotation": {

            "x": 0.3474993109703064,

            "y": -0.7122963666915894,

            "z": 0.4839826226234436,

            "w": 0.37099775671958923

      }

},

"rightUpLeg": {

      "position": {

            "x": -0.19002217054367065,

            "y": 0.8568979501724243,

            "z": -0.24069444835186005

      },

      "rotation": {

            "x": 0.08638639748096466,

            "y": 0.4599764943122864,

            "z": -0.22523726522922516,

            "w": -0.8545333743095398

      }

},

"rightLeg": {

      "position": {

            "x": -0.06992888450622559,

            "y": 0.5095175504684448,

            "z": -0.1011904627084732

      },

      "rotation": {

            "x": 0.03675924986600876,

            "y": -0.46951889991760254,

            "z": -0.003950347658246756,

            "w": 0.8821481466293335

      }

},

"rightFoot": {

      "position": {

            "x": -0.057387858629226685,

            "y": 0.07447804510593414,

            "z": -0.13145340979099274

      },

      "rotation": {

            "x": 0.26168006658554077,

            "y": -0.6471364498138428,

            "z": 0.6592978835105896,

            "w": 0.27940037846565247

      }

},

"rightToe": {

      "position": {

            "x": 0.03301948308944702,

            "y": 0.014064675197005272,

            "z": -0.03847269341349602

      },

      "rotation": {

            "x": 0.2607780992984772,

            "y": -0.6492581367492676,

            "z": 0.6572086215019226,

            "w": 0.28024232387542725

      }

},

"rightToeEnd": {

      "position": {

            "x": 0.08443814516067505,

            "y": 0.001717446488328278,

            "z": 0.013483420014381409

      },

      "rotation": {

            "x": 0.2607780992984772,

            "y": -0.6492581367492676,

            "z": 0.6572086215019226,

            "w": 0.28024232387542725

      }

},

"leftThumbProximal": {

      "position": {

            "x": -0.5728154182434082,

            "y": 0.989530622959137,

            "z": 0.3225387930870056

      },

      "rotation": {

            "x": -0.08704467117786407,

            "y": -0.8369900584220886,

            "z": 0.5018562078475952,

            "w": 0.20002926886081696

      }

},

"leftThumbMedial": {

      "position": {

            "x": -0.5706303119659424,

            "y": 0.9704371094703674,

            "z": 0.3572595715522766

      },

      "rotation": {

            "x": -0.16009795665740967,

            "y": -0.9052988886833191,

            "z": 0.3564912676811218,

            "w": 0.1664838045835495

      }

},

"leftThumbDistal": {

      "position": {

            "x": -0.5757859349250793,

            "y": 0.9495160579681396,

            "z": 0.3783072829246521

      },

      "rotation": {

            "x": -0.1672075390815735,

            "y": -0.9199874401092529,

            "z": 0.3166635036468506,

            "w": 0.15934200584888458

      }

},

"leftThumbTip": {

      "position": {

            "x": -0.5828999280929565,

            "y": 0.9239307641983032,

            "z": 0.40019047260284424

      },

      "rotation": {

            "x": -0.1672067642211914,

            "y": -0.9199862480163574,

            "z": 0.31666630506515503,

            "w": 0.15934279561042786

      }

},

"leftIndexProximal": {

      "position": {

            "x": -0.5988489389419556,

            "y": 0.959194004535675,

            "z": 0.3655710220336914

      },

      "rotation": {

            "x": 0.15455806255340576,

            "y": -0.7189367413520813,

            "z": 0.40050020813941956,

            "w": -0.5466642379760742

      }

},

"leftIndexMedial": {

      "position": {

            "x": -0.6085025072097778,

            "y": 0.9309272170066833,

            "z": 0.3989155888557434

      },

      "rotation": {

            "x": 0.22458969056606293,

            "y": -0.7650617361068726,

            "z": 0.3032344579696655,

      "w": -0.5218133926391602

      }

},

"leftIndexDistal": {

      "position": {

            "x": -0.6077538132667542,

            "y": 0.9112290143966675,

            "z": 0.4181497097015381

      },

      "rotation": {

            "x": 0.29077866673469543,

            "y": -0.7980964183807373,

            "z": 0.2007802426815033,

            "w": -0.4880343973636627

      }

},

"leftIndexTip": {

      "position": {

            "x": -0.6005164384841919,

            "y": 0.8909782767295837,

            "z": 0.43446052074432373

      },

      "rotation": {

            "x": 0.29077914357185364,

            "y": -0.7980955839157104,

            "z": 0.200779989361763,

            "w": -0.488035649061203

      }

},

"leftMiddleProximal": {

      "position": {

            "x": -0.605911910533905,

            "y": 0.944463849067688,

            "z": 0.3541293740272522

      },

      "rotation": {

            "x": 0.179430291056633,

            "y": -0.7041305303573608,

            "z": 0.4063079357147217,

            "w": -0.5540030002593994

      }

},

"leftMiddleMedial": {

      "position": {

            "x": -0.6151468753814697,

            "y": 0.9161558747291565,

            "z": 0.3901784420013428

      },

      "rotation": {

            "x": 0.25020670890808105,

            "y": -0.7511403560638428,

            "z": 0.310925155878067,

            "w": -0.5258429050445557

      }

},

"leftMiddleDistal": {

      "position": {

      "x": -0.6136394143104553,

      "y": 0.8951404690742493,

      "z": 0.4126984477043152

      },

      "rotation": {

            "x": 0.3167026937007904,

            "y": -0.7852976322174072,

            "z": 0.21022199094295502,

            "w": -0.4886859953403473

      }

},

"leftMiddleTip": {

      "position": {

            "x": -0.6049317121505737,

            "y": 0.8739330172538757,

            "z": 0.43177908658981323

      },

      "rotation": {

            "x": 0.3167025148868561,

            "y": -0.7852976322174072,

            "z": 0.21022216975688934,

            "w": -0.488686203956604

      }

},

"leftRingProximal": {

      "position": {

            "x": -0.6082680225372314,

            "y": 0.9318022131919861,

            "z": 0.3389638662338257

      },

      "rotation": {

            "x": 0.23249444365501404,

            "y": -0.6432802677154541,

            "z": 0.3833842873573303,

            "w": -0.6206073760986328

      }

},

"leftRingMedial": {

      "position": {

            "x": -0.6158288717269897,

            "y": 0.9062244892120361,

            "z": 0.3724082112312317

      },

      "rotation": {

            "x": 0.3115110397338867,

            "y": -0.6878189444541931,

            "z": 0.29613909125328064,

            "w": -0.5849511623382568

      }

},

"leftRingDistal": {

      "position": {

            "x": -0.6135643720626831,

            "y": 0.8888294696807861,

            "z": 0.3937010169029236

      },

      "rotation": {

            "x": 0.38519740104675293,

            "y": -0.7205884456634521,

            "z": 0.20382754504680634,

            "w": -0.539286732673645

      }

},

"leftRingTip": {

      "position": {

            "x": -0.6045588850975037,

            "y": 0.872171938419342,

            "z": 0.41275089979171753

      },

      "rotation": {

            "x": 0.38519713282585144,

            "y": -0.7205884456634521,

            "z": 0.20382778346538544,

            "w": -0.5392868518829346

      }

},

"leftLittleProximal": {

      "position": {

            "x": -0.6087137460708618,

            "y": 0.9227893352508545,

            "z": 0.3230481743812561

      },

      "rotation": {

            "x": 0.25552263855934143,

            "y": -0.626099705696106,

            "z": 0.38835766911506653,

            "w": -0.626008152961731

      }

},

"leftLittleMedial": {

      "position": {

            "x": -0.6145026683807373,

            "y": 0.9030200242996216,

            "z": 0.35111963748931885

      },

      "rotation": {

            "x": 0.33504483103752136,

            "y": -0.6714354157447815,

            "z": 0.30331358313560486,

            "w": -0.5872994661331177

      }

},

"leftLittleDistal": {

      "position": {

            "x": -0.612453281879425,

            "y": 0.8900747895240784,

            "z": 0.36864715814590454

      },

      "rotation": {

            "x": 0.40883609652519226,

            "y": -0.7052813768386841,

            "z": 0.21307890117168427,

            "w": -0.5385433435440063

      }

},

"leftLittleTip": {

      "position": {

            "x": -0.6047133207321167,

            "y": 0.87725830078125,

            "z": 0.3851643204689026

      },

      "rotation": {

            "x": 0.40883633494377136,

            "y": -0.7052813768386841,

            "z": 0.21307870745658875,

            "w": -0.5385432243347168

      }

},

"rightThumbProximal": {

      "position": {

            "x": 0.23832672834396362,

            "y": 1.3085843324661255,

            "z": -0.5855692625045776

      },

      "rotation": {

            "x": -0.6337819695472717,

            "y": 0.7166734933853149,

            "z": 0.08434370160102844,

            "w": -0.27854204177856445

      }

},

"rightThumbMedial": {

      "position": {

            "x": 0.2725125253200531,

            "y": 1.3013451099395752,

            "z": -0.6043782830238342

      },

      "rotation": {

            "x": -0.605384111404419,

            "y": 0.6653664112091064,

            "z": 0.22407980263233185,

            "w": -0.374948114156723

      }

},

"rightThumbDistal": {

      "position": {

            "x": 0.29171690344810486,

            "y": 1.296326994895935,

            "z": -0.6270343661308289

      },

      "rotation": {

            "x": -0.5884529948234558,

            "y": 0.6549589037895203,

            "z": 0.25288933515548706,

            "w": -0.40099790692329407

      }

},

"rightThumbTip": {

      "position": {

            "x": 0.3112625777721405,

            "y": 1.2901488542556763,

            "z": -0.6546726822853088

      },

      "rotation": {

            "x": -0.5884538292884827,

            "y": 0.6549599766731262,

            "z": 0.2528872787952423,

            "w": -0.4009959101676941

      }

},

"rightIndexProximal": {

      "position": {

            "x": 0.2742188274860382,

            "y": 1.3178882598876953,

            "z": -0.6311214566230774

      },

      "rotation": {

            "x": -0.5958338379859924,

            "y": 0.18190737068653107,

            "z": -0.31948643922805786,

            "w": -0.714017391204834

      }

},

"rightIndexMedial": {

      "position": {

            "x": 0.3043474853038788,

            "y": 1.3140462636947632,

            "z": -0.6640089154243469

      },

      "rotation": {

            "x": -0.49753880500793457,

            "y": 0.22205255925655365,

            "z": -0.29300975799560547,

            "w": -0.78568035364151

      }

},

"rightIndexDistal": {

      "position": {

            "x": 0.32311370968818665,

            "y": 1.304869294166565,

            "z": -0.6819574236869812

      },

      "rotation": {

            "x": -0.39073073863983154,

            "y": 0.2583984434604645,

            "z": -0.26151981949806213,

            "w": -0.8439003229141235

      }

},

"rightIndexTip": {

      "position": {

            "x": 0.34047719836235046,

            "y": 1.2898120880126953,

            "z": -0.6961098313331604

      },

      "rotation": {

            "x": -0.3907302916049957,

            "y": 0.2583969831466675,

            "z": -0.261520653963089,

            "w": -0.8439005017280579

      }

},

"rightMiddleProximal": {

      "position": {

            "x": 0.2613774836063385,

            "y": 1.3124645948410034,

            "z": -0.6453855037689209

      },

      "rotation": {

            "x": -0.5829957127571106,

            "y": 0.1787164807319641,

            "z": -0.34684664011001587,

            "w": -0.7126527428627014

      }

},

"rightMiddleMedial": {

      "position": {

            "x": 0.2942351996898651,

            "y": 1.308741807937622,

            "z": -0.6784408688545227

      },

      "rotation": {

            "x": -0.48498883843421936,

            "y": 0.22246010601520538,

            "z": -0.32055214047431946,

            "w": -0.7826516628265381

      }

},

"rightMiddleDistal": {

      "position": {

            "x": 0.31636378169059753,

            "y": 1.2987478971481323,

            "z": -0.6974546313285828

      },

"rotation": {

      "x": -0.3786832094192505,

      "y": 0.2623971998691559,

      "z": -0.28877344727516174,

      "w": -0.8392597436904907

      }

},

"rightMiddleTip": {

      "position": {

            "x": 0.3367486298084259,

            "y": 1.2824498414993286,

            "z": -0.7118933796882629

      },

      "rotation": {

            "x": -0.3786834180355072,

            "y": 0.2623971700668335,

            "z": -0.2887735664844513,

            "w": -0.8392597436904907

      }

},

"rightRingProximal": {

      "position": {

            "x": 0.24597451090812683,

            "y": 1.3039931058883667,

            "z": -0.6547043919563293

      },

      "rotation": {

            "x": -0.5349456071853638,

            "y": 0.10998985171318054,

            "z": -0.4113065004348755,

            "w": -0.7297691106796265

      }

},

"rightRingMedial": {

      "position": {

            "x": 0.2766883075237274,

            "y": 1.300172209739685,

      "z": -0.6842333674430847

      },

      "rotation": {

            "x": -0.43511471152305603,

            "y": 0.16273552179336548,

            "z": -0.39343079924583435,

            "w": -0.7933504581451416

      }

},

"rightRingDistal": {

      "position": {

            "x": 0.29781755805015564,

            "y": 1.291570782661438,

            "z": -0.6997475624084473

      },

      "rotation": {

            "x": -0.32783958315849304,

            "y": 0.2126959264278412,

            "z": -0.36882391571998596,

            "w": -0.8433570861816406

      }

},

"rightRingTip": {

      "position": {

            "x": 0.31827303767204285,

            "y": 1.2777923345565796,

            "z": -0.7103864550590515

      },

      "rotation": {

            "x": -0.32783985137939453,

            "y": 0.2126958668231964,

            "z": -0.3688240349292755,

            "w": -0.8433569669723511

      }

},

"rightLittleProximal": {

      "position": {

            "x": 0.23029500246047974,

            "y": 1.296118140220642,

            "z": -0.6598890423774719

      },

      "rotation": {

            "x": -0.5211880803108215,

            "y": 0.10596728324890137,

            "z": -0.4369015693664551,

            "w": -0.7254317402839661

      }

},

"rightLittleMedial": {

      "position": {

            "x": 0.2562120258808136,

            "y": 1.2935079336166382,

            "z": -0.68299400806427

      },

      "rotation": {

            "x": -0.42204350233078003,

            "y": 0.16208860278129578,

            "z": -0.41933056712150574,

            "w": -0.7872538566589355

      }

},

"rightLittleDistal": {

      "position": {

            "x": 0.2736564576625824,

            "y": 1.2871155738830566,

            "z": -0.6945623755455017

      },

      "rotation": {

            "x": -0.31567585468292236,

            "y": 0.2154349982738495,

            "z": -0.39458638429641724,

            "w": -0.835606575012207

      }

},

"rightLittleTip": {

      "position": {

            "x": 0.2913895547389984,

            "y": 1.276207447052002,

            "z": -0.7025333642959595

      },

      "rotation": {

            "x": -0.3156757056713104,

            "y": 0.21543508768081665,

            "z": -0.3945865035057068,

            "w": -0.835606575012207

      }

}

}

]

JSON v1

Input
Object
Description
Virtual Production
props
Position, orientation and meta data for props
Virtual Production
trackers
Position and orientation of trackers
Face Capture
faces
Facial animation and meta data.

 

{

      "version": 1,

      "timestamp": 0,

      "playbackTimestamp": 0,

      "props": [PropObject1, PropObject2, ...],

      "trackers": [TrackerObject1, TrackerObject2, ...],

      "faces": [FaceObject1, FaceObject2, ...]

}

Props object

"props": [

{

      "name": "Camera-1",

      "id": "43e83f03-41fd-4849-89f1-c334a0a0a100",

      "position": {

            "x": 0.00,

            "y": 1.00,

            "z": -1.00

      },

      "rotation": {

            "x": 0.00,

            "y": 0.00,

            "z": 0.00,

            "w": 1.00

        },

      "isLive": true,

      "profile": {

            "name": "Camera",

            "uuid": "camera-1",

            "dimensions": {

            "x": 0.24,

            "y": 0.18,

            "z": 0.04

            },

            "color": {

                  "x": 0.8980392,

                  "y": 0.5647059,

                  "z": 0.254902

            },

            "trackerOffset": {

                  "position": {

                        "x": -0.06,

                        "y": 0.1,

                        "z": 0.00

                  },

                  "rotation": {

                        "x": -90.00,

                        "y": 0.00,

                        "z": 0.00

                  }

            },

            "pivot": {

                  "position": {

                        "x": 0.00,

                        "y": 0.00,

                        "z": 0.02

                  },

                  "rotation": {

                        "x": 0.00,

                        "y": 0.00,

                        "z": 0.00

                  }

            },

            "grips": [],

            "propType": 1

       }

},

]

 

Trackers object

"trackers": [

{

      "name": "2",

      "connectionId": "",

      "position": {

            "x": -1.866039,

            "y": 2.214238,

            "z": 0.976444244

       },

      "rotation": {

            "x": 0.119269691,

            "y": 0.864182353,

            "z": -0.302122056,

            "w": 0.384299219

      },

      "isLive": false,

      "trackingResult": 200,

      "trackerType": 3,

      "RenderModelName": null,

      "battery": 1

}

]

Faces object

"faces": [

{

      "type": "",

      "version": 1,

      "timestamp": 15.90625,

      "provider": "arkit",

      "faceId": "kfQ92I",

      "eyeBlinkLeft": 10.423128128051758,

      "eyeLookDownLeft": 35.48899459838867,

      "eyeLookInLeft": 18.386842727661133,

      "eyeLookOutLeft": 0,

      "eyeLookUpLeft": 0,

      "eyeSquintLeft": 4.489943027496338,

      "eyeWideLeft": -0.04869464784860611,

      "eyeBlinkRight": 9.821502685546875,

      "eyeLookDownRight": 35.68144989013672,

      "eyeLookInRight": 0,

      "eyeLookOutRight": 7.081108570098877,

      "eyeLookUpRight": 0,

      "eyeSquintRight": 4.489765167236328,

      "eyeWideRight": 0.10375167429447174,

      "jawForward": 3.4743118286132812,

      "jawLeft": 6.432651519775391,

      "jawRight": 0.4286651015281677,

      "jawOpen": 1.1336894035339355,

      "mouthClose": 1.881866216659546,

      "mouthFunnel": 28.589218139648438,

      "mouthPucker": 22.892288208007812,

      "mouthLeft": 28.11800193786621,

      "mouthRight": -0.08033499121665955,

      "mouthSmileLeft": -3.6168370025648514e-30,

      "mouthSmileRight": 1.9993203056664632e-13,

      "mouthFrownLeft": 22.93413734436035,

      "mouthFrownRight": 33.253814697265625,

      "mouthDimpleLeft": 6.759854316711426,

      "mouthDimpleRight": 5.020760536193848,

      "mouthStretchLeft": 12.525871276855469,

      "mouthStretchRight": 9.9591646194458,

      "mouthRollLower": 17.405588150024414,

      "mouthRollUpper": 6.024715900421143,

      "mouthShrugLower": 29.725732803344727,

      "mouthShrugUpper": 8.106572151184082,

      "mouthPressLeft": 6.822591781616211,

      "mouthPressRight": 6.082425594329834,

      "mouthLowerDownLeft": 2.701260805130005,

      "mouthLowerDownRight": 2.885373592376709,

      "mouthUpperUpLeft": 3.442898750305176,

      "mouthUpperUpRight": 3.565769672393799,

      "browDownLeft": 5.995030583072491e-10,

      "browDownRight": 6.158910048625899e-10,

      "browInnerUp": 32.18539047241211,

      "browOuterUpLeft": 30.339876174926758,

      "browOuterUpRight": 34.256103515625,

      "cheekPuff": 26.408052444458008,

      "cheekSquintLeft": 4.071810722351074,

      "cheekSquintRight": 3.034027338027954,

      "noseSneerLeft": 5.355647087097168,

      "noseSneerRight": 4.996218681335449,

      "tongueOut": 0.02484029158949852

}

]

Articles in this section

Knowledge base