NVIDIA Jetson : Arkitektura, Paggawa at Mga Aplikasyon Nito

Ang nangungunang platform sa mundo tulad ng NVIDIA Jetson ay isang sequence ng mga naka-embed na computing board na pangunahing ginagamit sa mga autonomous na makina at iba pa. naka-embed na mga application . Ang board na ito ay pangunahing naglalaman ng mga module ng Jetson, na mga computer na may mataas na pagganap. Ang Jetson ay angkop na angkop sa katulad na AI software at isang cloud-native na workflow na ginagamit sa iba pang mga platform ng NVIDIA at nagbibigay ng power-efficient na performance para sa mga customer upang makabuo ng software-based na mga autonomous na makina. Ang NVIDIA Jetson ay ginagamit para sa mga application ng computer vision. Kaya, tinatalakay ng artikulong ito ang isang pangkalahatang-ideya ng NVIDIA Jetson - gumagana at mga aplikasyon nito.

Ano ang NVIDIA Jetson?

Ang NVIDIA Jetson ay isang advanced sistema ng pag-embed board na ginagamit upang lumikha ng mga makabagong produkto ng AI sa ilang industriya. Ang NVIDIA Jetson ay isa sa mga nangungunang hardware platform na lubhang kapaki-pakinabang para sa mga mahilig sa tech at pati na rin sa mga mag-aaral na makakuha ng hands-on na karanasan sa pamamagitan ng hanay ng mga makabagong proyekto ng AI. Ang board na ito ay isang napakahusay na board para sa AI na kinabibilangan ng modular, small-form-factor, at high-performance edge na mga computer. Bilang karagdagan, naglalaman din ang board na ito ng JetPack SDK na ginagamit para sa acceleration ng software pati na rin ang kumpletong ecosystem upang tumulong sa pagpapataas ng pamamaraan ng pagbuo ng mga custom na proyekto ng AI.

Arkitektura ng NVIDIA Jetson

Alam namin na ang Nvidia Jetson module mula sa Nvidia ay isang sequence ng mga naka-embed na computing board. Ang lahat ng mga modelo ng Jetson TX1, TX2 at TK1 ay may SoC o Tegra na processor mula sa Nvidia na may kasamang ARM architecture CPU. Dito, ang Jetson ay isang low-power system na pangunahing idinisenyo upang mapabilis ang mga application ng machine learning.

Ang arkitektura ng NVIDIA Jetson Xavier NX ay ipinapakita sa ibaba. Ito ang pinaka-advanced at maliit na AI supercomputer na ginagamit para sa mga edge computing device pati na rin autonomous na robotics . Ang module na ito ay may kapasidad na mag-deploy ng server-class na performance sa loob ng solidong 70x45mm form factor at nagbibigay din ng hanggang 21 TOPS ng compute na mas mababa sa 15W ng power, kung hindi, hanggang 14 TOPS ng compute na mas mababa sa 10W.

Ang diagram sa itaas ay naglalaman ng isang inkorporada na 384-core NVIDIA Volta GPU kabilang ang isang 6-core NVIDIA Carmel ARMv8.2 64-bit CPU, 48 Tensor Cores, 8GB 128-bit LPDDR4x, 4K video encoders at decoder, dual NVDLA(NVIDIA Deep Learning Accelerator) engine, camera para sa hanggang anim na instant high-resolution sensor stream, dual Display Port o HDMI 4K display, PCIe Generation 3 expansion, USB 3.1 at mga GPIO na may I2C, SPI, I2S, UART at CAN bus.

Ang mga pagtutukoy ng NVIDIA Jetson ay kinabibilangan ng mga sumusunod.

• Ang kapangyarihan ay 10W o ​​15W na mga mode at 5V input.
• Ang CPU ay 6-core NVIDIA Carmel 64-bit ARMv 8.2 sa 1400MHz.
• Ang GPU ay 384-core NVIDIA Volta sa 1100MHz hanggang 48 Tensor Cores.
• Ang DL ay Dual NVDLA engine.
• Ang memorya ay 8GB 128-bit LPDDR4x sa 1600MHz.
• 16GB na eMMC 5.1 na storage.
• Ang camera ay 12x MIPI CSI-2 lane | 3×4 o 6×2 camera.
• Hanggang 6 na camera (36 sa pamamagitan ng mga virtual na channel).
• Mga thermal mula -25°C hanggang 90°C.
• Ang display ay DP 1.4 o eDP 1.4 o HDMI 2.0 a/b sa 4Kp60.
• Ang Ethernet ay 10 o 100 o 1000 BASE-T Ethernet.
• USB 3.1 at USB 2.0.

Ang module na ito ay sinusuportahan ng buong CUDA-X software stack ng NVIDIA at pati na rin ng JetPack SDK para sa AI development. Nagpapatakbo ito ng napakasikat na machine learning frameworks at mahihirap na DNN sa ilang high-resolution na sensor stream nang sabay-sabay, bilang karagdagan sa real-time na computer vision, graphics, at mga multimedia application sa loob ng kumpletong desktop Linux environment.

Sa kasalukuyan, sinimulan ng mga developer ang pagdidisenyo ng mga AI application para sa Jetson Xavier NX sa tulong ng Jetson AGX Xavier Developer Kit. Ang paglalapat ng patch ng pattern ng device malapit sa JetPack ay gagawing gumanap ang device bilang isang Jetson Xavier NX. Babaguhin nito ang bilang ng mga GPU at CPU core na makukuha sa pamamagitan ng software at itatakda ang mga frequency ng orasan pati na rin ang mga boltahe ng mga core sa buong system.

Ang patch ay ganap na nababaligtad na ginagamit upang tantiyahin ang pagganap ng Jetson Xavier NX. Uuriin ng module na ito ang mga default na power mode na 10W at 15W na nakakamit sa pagitan ng 14 at 21 TOPS na peak performance batay sa active mode. Ginagamit ang tool na nvpmodel para pangasiwaan ang mga power profile para isaayos ang pinakamataas na frequency ng CLK para sa GPU, CPU, iba't ibang SoC clock, at memory controller kasama ng iba't ibang cluster ng CPU.

Batay sa workload, binabalanse ng gobernador ng DVFS (Dynamic Voltage & Frequency Scaling) ang mga frequency sa runtime hanggang sa kanilang pinakamataas na limitasyon gaya ng inilarawan ng aktibong nvpmodel, kaya nababawasan ang paggamit ng kuryente sa idle at batay sa operasyon ng processor. Ang tool na nvpmodel ay tumutulong sa paggawa at pagbabago ng mga bagong power mode batay sa TDP at mga kinakailangan sa application.

Dinadala ng NVIDIA Jetson module ang pagganap ng supercomputer sa gilid sa loob ng isang maliit na form factor na SOM (system-on-module). Katumbas ng 21 TOPS ng pinabilis na computing ang nagpapadala ng lakas-kabayo para magpatakbo ng mga kasalukuyang neural network nang magkatulad at magproseso ng data mula sa iba't ibang high-resolution na sensor. Ang module na ito ay perpekto para sa high-performance-based AI system gaya ng mga medikal na instrumento, komersyal na robot, AIoT embedded system, smart camera, automated optical inspection, high-resolution sensor, smart factory, atbp.

Software

Ang module ng NVIDIA Jetson ay sinusuportahan lamang sa pamamagitan ng pinagsamang mga arkitektura ng software upang mas mapadali nito ang paggawa ng mga software developer. Ang pinagsamang diskarte na ito ay nagliligtas lamang sa abala ng developer sa paulit-ulit na coding habang pinapahusay ang kanilang mga pormasyon sa iba pang mga module ng Jetson.

Ang NVIDIA JetPack SDK ay available sa isang Linux OS, CUDA-X accelerated na mga library at mga API para sa iba't ibang field ng machine learning tulad ng computer vision, deep learning, atbp. Sinusuportahan din nito ang mga machine learning frameworks gaya ng Caffe, TensorFlow, Keras, at OpenCV computer vision mga aklatan.
Nag-aalok ang NVIDIA Jetson ng iba't ibang software tool para sa mga module nito na tinatalakay sa ibaba.

NVIDIA JetPack SDK

Ang Jetson platform software Bundle tulad ng TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV, at Visionworks ay lahat ay pinagsama-sama sa ibabaw ng L4T sa pamamagitan ng LTS Linux kernel.

NVIDIA Jetson Linux Driver Package

Nagbibigay ito ng Linux kernel, mga driver ng NVIDIA, bootloader, sample filesystem, flashing utility, at marami pa para sa platform na Jetson.

NVIDIA DeepStream SDK

Isa itong hanay ng mga API at library upang tulungan ang mga developer sa pagdidisenyo at pag-aayos ng mga mahuhusay na solusyon sa IVA (intelligent video analytics) sa platform ng Jetson. Ito ay ginagamit upang bumuo ng mga kumplikadong application tulad ng pag-encode, pagkuha ng imahe, pag-decode, paghuhula sa TensorRT, atbp.

NVIDIA Isaac SDK

Isa itong hanay ng mga library, API, driver, at iba pang tool na magdaragdag ng AI sa mga susunod na henerasyong robot para sa nabigasyon, persepsyon at pagmamanipula. Kaya nakakatulong ito sa paggawa at pag-deploy ng AI-powered robotics.

Mga Uri ng NVIDIA Jetson

Ang NVIDIA Jetson module ay may memory, GPU, CPU, high-speed interface, power management, atbp. Ang mga module na ito ay available sa iba't ibang performance, power efficiency, at variation ng form factor para magamit ang mga ito sa iba't ibang industriya. Mayroong iba't ibang mga aparatong NVIDIA Jetson na magagamit na tinalakay sa ibaba.

NVIDIA Jetson Nano

Ang NVIDIA Jetson Nano module ay angkop para sa mga developer o mag-aaral at gayundin para sa mga baguhan dahil ito ay pangunahing idinisenyo para sa hands-on na pag-aaral at pagtuturo. Ang laki ng module na ito ay maliit gayunpaman ang power efficiency at performance nito ay mataas para gawing perpekto ang pagpapatakbo ng maramihang parallel neural network, AI workload at pagproseso ng data mula sa mga high-resolution na sensor nang sabay-sabay. Kaya, ang Jetson Nano module ay isang napakasikat na edge device na ginagamit para gumawa ng mga naka-embed na produkto at solusyon ng AI.

Ang module na ito ay perpekto para sa AI-based na computer vision application at ito ay nagsasagawa ng AI vision na mga gawain tulad ng object detection, image segmentation, image classification, atbp. Ang module na ito ay napakatugma sa open-source na computer vision software at OpenCV machine learning library.

NVIDIA Jetson TX2 Series

Ang module ng NVIDIA Jetson TX2 Series ay idinisenyo sa laki ng credit card. Pangunahing kasama sa mga feature ng module na ito ang isang NVIDIA Pascal GPU, hanggang 8 GB na memorya, 59.7 GB/s ng memory bandwidth, at mga karaniwang interface ng hardware. Ang module na ito ay nagbibigay ng performance ng hanggang 2.5 beses kumpara sa NVIDIA Jetson Nano module.

Ang module na ito ay napakahusay na nagpapatakbo ng mga malalalim na neural network sa mga edge device upang makamit ang mas mataas na katumpakan. Ang mga module na magagamit sa serye ay pangunahing kasama ang Jetson TX2 4GB, Jetson TX2i, Jetson TX2, at Jetson TX2 NX. Ang NVIDIA Jetson TX2 NX module ay nagbabahagi lamang ng pin at form-factor compatibility sa pamamagitan ng Jetson Xavier NX at Jetson Nano.

Ang natitirang tatlong module ay magbabahagi ng form factor ng orihinal na Jetson TX2 module. Ang paggamit ng serye ng TX2 ay sumasaklaw lamang sa iba't ibang industriya tulad ng agrikultura, pagmamanupaktura, mga agham sa buhay, tingian, atbp. Ang module ng Jetson TX2i mula sa natitirang mga module ay pinakaangkop para sa mga AI device na may mataas na pagganap tulad ng mga medikal na kagamitan, machine vision camera, at mga robot na pang-industriya dahil ng matibay nitong disenyo.

Ang module na ito ay isang napakabilis na naka-embed na AI computing appliance na nag-aalok ng mataas na power efficiency tulad ng 7.5 W, mga supercomputer na kakayahan para sa mga edge AI device, at iba't ibang hardware interface na madaling isama sa iba't ibang produkto at form factor.

NVIDIA Jetson Xavier NX

Ang NVIDIA Jetson Xavier NX module ay napakaliit kumpara sa isang credit card na may mataas na performance at power efficiency. Ito ay kilala rin bilang ang pinakamaliit na AI supercomputer para sa gilid at mga naka-embed na system sa mundo. Lalo na nakakatulong ang module na ito sa pagpapatakbo ng kumpletong AI system.

Sinusuportahan din ng mga feature ng Jetson Xavier NX ang mga cloud-native na teknolohiya, kaya madali para sa mga developer sa pag-upgrade at pamamahala ng mga produkto ng AI. Sinusuportahan ng module na ito ang lahat ng sikat na modelo at framework ng AI. Kaya ang module na ito ay ganap na nababagay sa mga high-performance na AI system tulad ng mga smart camera, AI-powered high-resolution vision system, drone, commercial robot, o medical equipment.

Ang NVIDIA Jetson Xavier NX module ay naghahatid ng 21 Tera Operations per Second o TOPS para magpatakbo ng kasalukuyang AI workload sa pamamagitan ng paggamit ng 10W ng kuryente. Ang form factor ng modyul na ito ay mas compact kumpara sa isang credit card. Ang Xavier NX module ay nagpapatakbo ng iba't ibang neural network nang sabay-sabay at nagpoproseso ng data mula sa iba't ibang high-resolution na sensor. Ginagamit ang ganitong uri ng module para magdisenyo ng mga application para sa mga naka-embed at edge na computing device na nangangailangan ng mataas na performance kahit na may malaking bigat, laki at power constraints.

NVIDIA Jetson AGX Xavier Series

Ang module ng NVIDIA Jetson AGX Xavier Series ay pangunahing binuo para sa mga susunod na henerasyong autonomous intelligent na makina. Ang module na ito ay naghahatid ng hanggang 32 TOPS o Tera Operations per Second ng AI performance kapag gumagamit ng kasing liit ng 10 watts. Ang software developer ay pinahihintulutan lamang na mabilis na ayusin ang mga neural network gamit ang isang set ng AI software tools ng NVIDIA.

Ang module na ito ay nagbibigay ng iba't ibang mga detalye at functional na kakayahan sa seguridad upang ang mga developer ay lumikha ng kaligtasan o mga produktong sertipikadong pang-industriya. Ang mataas na pagganap ng module na ito ay maaaring gawing angkop ang mga ito para sa maraming autonomous na makina tulad ng logistic at pang-industriya na robot, factory system at malalaking drone.

Jetson Xavier NX Developer Kit

Ang jetson xavier nx developer kit ay may kasamang solid power-efficient Xavier NX module na ginagamit para sa AI-powered edge device. Ang module na ito ay may ilang feature tulad ng cloud-native na suporta at pinapabilis ang stack ng NVIDIA software sa 10W lang na may higit sa 10 beses ang performance ng Jetson TX2. Ang developer kit na ito ay ginagamit ng mga manufacturer ng matatalinong machine, mga startup ng AI, at mga developer ng application para magdisenyo ng mga modernong produkto na may compact, highly accurate AI inference at power-efficient form factor.

Jetson AGX Xavier Industrial

Ang Jetson AGX Xavier Industrial module ay bahagi ng AGX Xavier series. Ang disenyo ng module na ito ay isang pin-compatible na form factor na kumokontrol sa pinakabagong mga modelo ng AI sa mga demanding na application. Ang module na ito ay nagbibigay ng pinahabang vibration, shock, mga detalye ng temperatura, mga advanced na feature ng seguridad, hanggang 4 na beses ang memory at 20 beses ang performance ng TX2i module.

Ang module na ito ay lubos na nakakatulong para sa mga designer na magdisenyo ng automation, robotics at iba pang matatalinong produkto. Bilang karagdagan, nagdidisenyo din ito ng safety-certified at masungit na mga produkto para sa paghahatid ng mataas na performance para sa pang-industriya, AI-embedded functional at security application sa isang disenyo ng masungit pati na rin ang power-efficient form factor.

Mga kalamangan

Ang mga pakinabang ng NVIDIA Jetson isama ang mga sumusunod.

• Ang NVIDIA Jetson ay angkop para sa mga mag-aaral, indibidwal na developer at iba't ibang organisasyon.
• Napakasikat ng Jetson Platform dahil ito ay may iba't ibang benepisyo tulad ng modular flexibility, pinag-isang software, at suporta para sa cloud-native na teknolohiya.
• Nagbibigay ang board na ito ng isang hanay ng mga module na lubhang nakakatulong para sa lahat mula sa mga pangunahing AI application hanggang sa napakakomplikadong AI-powered na device.
• Ang board na ito ay power-driven sa pamamagitan ng pinag-isang software architecture na tumutulong sa mga developer mula sa paulit-ulit na coding. Kapag kailangan na nila ng AI/ML capacity, maaari silang magsama ng kaugnay na Jetson module sa device at ito ang bahala sa heavy lifting.
• Sinusuportahan lang ng NVIDIA Jetson platform ang mga cloud-native na teknolohiya at workflow tulad ng orchestration at containerization, na nagbibigay sa mga developer ng kakayahang bumuo ng mabilis at palawakin ang mga produkto ng AI.
• Available ang NVIDIA JetPack SDK sa isang Linux OS, API, at CUDA-X acceleration library para sa iba't ibang domain ng machine learning tulad ng computer vision at deep learning. Nagbibigay din ito ng suporta para sa mga framework ng machine learning tulad ng Caffe at Keras, TensorFlow at OpenCV na mga library ng computer vision.

Mga disadvantages

Ito ay may napakakaunting mga disadvantages habang isinasaalang-alang ang presyo

• Hindi available ang NVIDIA Jetson nano module na may wifi sa loob.
• Ang NVIDIA Jetson nano module ay kinabibilangan lamang ng dalawang PWM pin sa board.

Mga aplikasyon

Ang mga aplikasyon ng NVIDIA Jetson ay kinabibilangan ng mga sumusunod.

• Ang NVIDIA Jetson module ay nag-aalok ng mahusay na mga sistema ng pag-embed na ginagamit upang gumawa ng mga produkto ng AI para sa iba't ibang mga sitwasyon. Ito ay isang power-efficient na module na ginagamit para sa AI na kinabibilangan ng mga high-performance, modular, at small-form-factor edge na mga computer.
• Ang mga Nvidia Jetson board ay pangunahing idinisenyo para gamitin sa mga naka-embed na system tulad ng mga drone, robot, at iba pang device na nangangailangan ng mahusay na pagproseso sa loob ng maliit na form factor. Ang mga karaniwang application ng Jetson board ay pangunahing kinabibilangan ng mga medikal na device, autonomous na sasakyan, digital signage, AR/VR headset, smart city application, atbp.
• Sinusuportahan ng module na ito ang pinag-isang software architecture para gawing mas simple ang trabaho ng mga developer ng software.
  Ang mga module at device ng NVIDIA Jetson ay mga naka-optimize na edge device na ginagamit para bumuo ng mga Edge AI system.
• Ang NVIDIA Jetson Nano Developer Kit ay isang napakalakas at maliit na computer na nagpapatakbo ng ilang neural network nang magkatulad para sa iba't ibang mga application tulad ng object detection, pag-uuri ng imahe, pagproseso ng pagsasalita at pagse-segment.
• Ang module ng NVIDIA Jetson Nano ay perpekto para sa mga application ng computer vision batay sa AI at nagsasagawa sila ng mga gawain sa AI vision tulad ng pagse-segment ng imahe, pag-uuri ng imahe, pagtuklas ng bagay, atbp.
• Ang mga Nano module ng NVIDIA Jetson ay nagdadala ng hindi kapani-paniwalang mga bagong kakayahan sa libu-libong power-efficient at maliliit na AI system
• Ang NVIDIA Jetson Nano module ay tugma sa OpenCV machine learning library at open-source computer vision software.

Q). Ano ang konsumo ng kuryente ng mga module ng Jetson?

A). Ang paggamit ng kuryente ng Jetson module ay nag-iiba depende sa modelo at sa paggamit. Ang module ng Jetson Xavier , halimbawa, ay may karaniwang paggamit ng kuryente na humigit-kumulang 15w hanggang 30w, habang ang Jetson TX2 ay maaaring kumonsumo sa pagitan ng 7w hanggang 15w.

Q). Magagamit ba ang Jetson para sa real-time na pagtuklas at pagsubaybay ng bagay?

A). Oo, maaaring pangasiwaan ng Jetson Platforms ang vision detection at tracking. Ang Nano module ay isang mataas na pagganap ng GPU- na may edge na computing platform ay pangunahing magagamit para sa pagtuklas, pagbibilang at pagsubaybay.

Q). Anong mga uri ng mga sensor ang maaaring i-interface ng Jetson?

A). Ginagamit ang mga vision sensor para sa interfacing ng Jetson sa iba't ibang interface ng camera tulad ng USB, MIPI CSI at Ethernet. Maaari din silang mag-interface sa lidar, Ultrasonic sensor at iba pang uri pati na rin gamit ang iba't ibang uri ng interface tulad ng I2C, SPI atbp.

Q). Ano ang pagkakaiba sa pagitan ng Jetson at Raspberry Pi?

A). Ang pangunahing pagkakaiba sa pagitan ng dalawang board na ito ay; Ang NVIDIA Jetson ay binuo para pangasiwaan ang mataas na demanding AI at computer vision na mga gawain, samantalang ang Raspberry Pi 4 board ay may mababang power-based na multimedia GPU na ginagamit para sa general purpose computing at edukasyon. Maaaring gamitin ang Jetson para sa mga mas advanced na feature gaya ng hardware -accelerated na video decoding at encoding gamit ang malakas nitong GPU(Graphical Processing Unit) at CPU(Central processing Unit).

Q). Maaari bang gamitin ang Jetson para sa mga autonomous na robotics application?

A). Ang autonomous na robotics at pang-industriya ng bukas ay magiging power-driven sa pamamagitan ng NVIDIA Jetson para sa Intelligent Machines & Robotics.

Kaya, ito ay isang pangkalahatang-ideya ng NVIDIA Jetson – mga pakinabang at mga aplikasyon nito. Ang module na ito ay ang nangungunang platform sa buong mundo na ginagamit ng mga developer para gumawa ng mga advanced na produkto ng AI sa lahat ng industriya. Ang mga module na ito ay ginagamit din ng mga mag-aaral at mga mahilig din para makakuha ng hands-on na karanasan sa AI learning para gumawa ng mga kamangha-manghang proyekto. Ang platform ng Jetson ay pangunahing binubuo ng power-efficient, maliliit na developer kit at production modules. Narito ang isang tanong para sa iyo, ano ang NVIDIA?