“視訊處理器之超大型積體電路設計”

進修研究報告

一、前言

此次承蒙國科會補助出國進修研究，主題在於了解視訊處理器目前之發展現況、較新之電路架構以及IC實現的設計新方向。我選擇在華盛頓大學進修，主要考慮為華大在信號處理及影像處理領域頗有盛名，而這兩項理論基礎為Video IC之根源。此外，華大在Programmable Multiple DSP Processor系統設計及VLSI設計上亦頗為突出，有兩項數據可看出一般，有關利用UWDSP（即華大之Programmable Multiple DSP Processor）架構進行image processing的計畫，一年即有約一百萬美元之研究費，顯示該校此方面研究頗受肯定。而Intel從1995年以來，每年錄用之IC Designer，以華大畢業生人數排名第一。在三個月的短期研究中，即針對上述之方向進行研究，並已獲致不少寶貴經驗。

二、課程選讀及實習

雖然此行並非來修學位，但仍儘量去旁聽一些課程，學習此地之系統及基礎教學之長處，總共旁聽了數門課：

w EE 400 Introduction to Digital Imaging Systems

w EE 472 Embedded Microcoputer Systems

w EE 476 Digital Integrated Circuit Design

w EE 478 Design of Computer Subsystems

w EE 500x Digital Image & Video Processing Seminar

實習部份則大多在IPL（Information Processing Laboratory）實驗室進行。依特定用途IC設計之梯狀發展，分Algorithm level、Architecture level及IC level，我把目標放在前兩部份。Algorithm level部份，我嘗試分析近來對視訊處理之需求、系統規格及最佳化法則之研究現況。Architecture level部份，則整理為因應General Purpose Processor世代交替之運算能力增強攻勢，而做重大改變的各種處理器架構發展趨勢。這兩部份都有不錯的心得，茲記述在下一節中。

三、研究心得

1.Algorithm level

依發展方向大略可分為三類。

1) Standard Video Processing

此類研究重點放在Multimedia Applications及Telecommunication Applications。由於是很明顯的使用者導向，所以皆以各項標準之擬定為主，除原有H263之擴張為H263+外，MPEG 4之Video運算部份也以DCT運算之基礎、擬定frame-based處理方式及object-oriented（或稱shape-based）處理方式。基本上就是純Video Signal / Sequence則以frame-based方式，透過H263+編碼，若來源為多媒體之多管道bit stream，則分別以shape方式編碼，此時尚須加入intelligent segmentation及shaping之處理。另新的標準MPEG7及JPEG2000也在研擬之中，基本上，MPEG7主力會在Video Data Representation，Indexing及Browsing等，Video Coding有可能會加入Model-based或Extended object coding。JPEG2000則可能持續擴大Wavelet Coding之可行性（MPEG4中已有Still image用Wavelet Coding之option），嘗試擬定新的Still image編碼標準。

2) Network Video / Multimedia

此部份雖稱為Multimedia，實則運算之核心仍在Video上，典型的產品如Intel proshare，Real Audio / Video之player及Microsoft之Netshow及Netmeeting，還有許多start-up company進行中的Wireless Video。我曾利用時間，就近去訪問Microsoft Network Multimedia Group，大體上，目前的作法皆以H323為主，其中Video Coding即為H263+，研發的重點在於fast motion estimation algorithm，及efficient dedicated co-processor code（如MMX，MPACT等），我在華大參與的Research Group中，也有以Optical-flow block-based的方式提出ME improvement Method，以及以DCT Coefficients truncation方式之快速演算法。這兩種方法其實我在台大都已指導學生做過，其中Optical-Flow Algorithm我是採pixel + object based（博士生：顧中威），DCT我採用threshold-rate control方式（博士生：陳旭東），也都有不錯成果。

Wireless Video部份，難題會在IC Design及Error Concealment上。其中Algorithm level對前者無法著力，後者則有多種作法，包括：i) 更正法：加入更多的error correction code（RS Code或Viterbi Code）等，如Microsoft之Coding系統即是。ii) 補償法：MPEG4中是以Reverso Coding方式，略過錯誤碼，跳至下一同步信號及Microblock後，再由下一Microblock倒解回來。另一方式是以Temporal Exploration方式，逕以前一Block資料填補。比較起來，我實驗室提出的移動補償及邊界比對法（博士生：陳美娟）仍是較佳的方式。

3) Human Interaction / Interfacing

此類研究近年內頗受重視，有許多名稱，如Intelligent Multimedia Processing，Intelligent Signal Processing，Human-Machine Interface，……。基本作法均是利用Video Processing的研究經驗或擷取之知識，將之轉化應用在各類特定功能上，例如：Face Recognition，Face Detection，Gesture Detection，Smart room，Survelline System，Medical Processing，and so on。此類技術仍相當不成熟，目前大多需複雜運算，無法real-time，只能Apply在uncompressed video上，預期在短期內應會有些突破，屆時，專為此種應用的硬體架構將會是另一熱門領域。目前華大教授Ming Youn Kim即致力於此方面之研究，他與TI已有多年合作經驗，現有一些不錯的Medical image application成果。

2.Architecture level

架構設計的發展，原本在歷經MPEG-2 Coding標準之長期驅動後，突出之設計已較少見，但現因Portable Multimedia Application之被開發出來，近來又有些新設計在規劃發展中，主要發展方向有三類。

1) VLIW GP Media Processing

這就是俗稱的General Purpose DSP Processor，配合消費者之應用要求，以Media Processor之面貌出現。架構雖仍承襲MAC（Multiply-Accumulation）運算子及Harvard Architecture之型式，但已多為Multiple Processor之平行處理型式，所以問題移到i) Interconnection Design、ii) Memory Control、iii) Processor Scheduling等方向上。此外，原本做CAD Synthesis的研究者，也嘗試將之打造成Embedded DSP Processor之Synthesisable架構。而在公司方面更是多家著力於此，如TI的MVP（含5PE），Chromatics的MPact（including 4ALU，1ME engine），Philips的Tri-media（含25Exc Unit及VLD），Samsumg MSP-1（32SIMD），以及可能有更多小公司的Design等，市場競爭相當激烈。

2) Reconfigurable Processor

這是Berkeley大學的最愛，其實也就是俗稱的FPGA Structure，只是加強應付Multimedia Computing需要的各類ALU組合型態，由於FPGA設計法原本在rapid prototyping就極佔優勢，所以只要它的reconfiguration在Area，performance及power上有效率，將是有力的競爭者。

3) ASIC Design

這是最具cost-effective的設計型態，著重在Algorithm-to-Architecture之Mapping技巧，也是所有設計中較難的一種。目前這方面的設計千奇百出，甚難有創意之研究成果，唯這兩年來，power issue在設計中份量愈來愈重，因此新的Design已朝向LP consideration，以滿足各項portable的規格要求，預期此類設計需求仍將水漲船高，難度高，效益也高。

四、返國後從事之工作

仍持續在台大電機系推動有關DSP / IC設計之各項研究，前述有關Video System及Video Architecture之各項Survey資料，將有助於本實驗室在短期內提出新穎的研究方向。

在此次進修研究中，順道出席了三項國際會議，分別是影像會議（ICIP’97），訊號處理系統設計會議（SiPS’97）及計算機輔助設計研討會（ICCAD’97）。其中ICIP的發展走向朝Inteligent Image/Multimedia Processing及Content-based Image Processing，今年唯一的一場Panel Discussion即是由UI. Thomas Huang教授主持的Human Machine Interface future。SiPS會議主題集中在Multimedia System Design，有VSP設計、HW/SW Codesign、Reconfigurable Processor Architecture、Algorithmic Computing、MMX等。會中大家並提出一個問題，對如何龐大的Design，New Architecture究竟是什麼，學術界又能提供什麼？個人覺得應是在IP reuse技術上突破。本人擔任明年的議程主席，及後年（1999年）的大會主席，屆時將移師台灣，想來責任頗重大。

ICCAD研討會集中在討論CAD tool之設計，做為將來System IC之設計工具，難免要面對Deep-Submicro IC技術的挑戰，所以會中充斥Learn from history之說辭，即從parameter extraction開始，feedback適當的timing information給simulator及synthesizer等前端工具。所以CAD之研究題目雖多年不變，但挑戰性年年不同，台大CAD組也許該有人再重入此戰場。

五、建議事項

國科會之進修補助費用應酌以提高，目前學校附近之房租已近七、八百美元，以國科會現有補助之九百美元實不足以支應生活。