|
級別: 初級 Duane Merrill (duane@duanemerrill.com), 自由作家, Freelance 2006 年 8 月 31 日 Mashup 是一種令人興奮的交互式 Web 應用程序，它利用了從外部數據源檢索到的內容來創建全新的創新服務。它們具有第二代 Web 應用程序的特點，也稱為 Web 2.0。這篇簡介性的文章對 mashup 是什么、目前流行的不同種類的 mashup 以及 mashup 開發人員用于創建自己的應用程序的支持技術進行了探索。另外，您還將看到 mashup 開發人員面臨的一些新的技術和社會挑戰。 簡介 一種新型的基于 Web 的數據集成應用程序正在 Internet 上逐漸興起。通常用術語 mashup 表示，它們的流行萌芽于對交互式用戶參與和集成第三方數據的類似于科學怪人方式的重視。我們使用萌芽一詞是有一定原因的；mashup Web 站點的特點就表現為它正在 Web 上扎根發芽，它們利用了從組織邊界之外的數據源獲取的內容和功能。 mashup 這種隱晦的數據集成定義當然不是非常嚴格。要深入了解什么是 mashup，就應該了解一下這個單詞的起源：它源于流行音樂，mashup 是從兩首不同的歌曲（通常屬于不同的流派）中混合演唱和樂器的音軌而構成的一首新歌。與那些 “bastard pop” 歌曲類似，mashup 也是內容的一種不常見的創新組合（通常都源自于無關的數據源），這都是人工進行合成的（而不是通過計算機來合成的）。 那么，mashup 看起來到底是什么樣子呢？ChicagoCrime.org 的 Web 站點上有非常直觀的例子，它解釋了地圖 mashup 到底是什么。最初廣泛流行起來的 mashup 之一是一個 Web 站點，它將芝加哥警局在線數據庫中的犯罪記錄與 Google Maps 上的地圖復合在一起。用戶可以與 mashup 站點進行交互，例如告訴它在圖形界面上顯示一個包含圖釘的地圖，圖釘展示南加州最近所有入室搶劫案件的詳細信息。這種概念和呈現方式非常簡單，犯罪和地圖數據復合之后提供的可視化的功能非常強大。 在 Mashup 流派 中，我們探索了流行的 mashup，包括地圖 mashup。相關技術 簡要介紹了與 mashup 的構建和操作有關的技術前景。技術挑戰 和 社會挑戰 分別介紹了影響 mashup 的主要技術挑戰和社會挑戰。 Mashup 類型 在本節中，我們將簡要介紹對出名的 mashup 類型進行的一些調查。 地圖 mashup 在這個階段的信息技術中，人們搜集大量有關事物和行為的數據，二者都常常具有位置注釋信息。所有這些包含位置數據的不同數據集均可利用地圖通過令人驚奇的圖形化方式呈現出來。mashup 蓬勃發展的一種主要動力就是 Google 公開了自己的 Google Maps API。這仿佛打開了一道大門，讓 Web 開發人員（包括愛好者、修補程序開發人員和其他一些人）可以在地圖中包含所有類型的數據（從原子彈災難到波士頓的 CowParade 奶牛都可以）。為了不落于人后，Microsoft（Virtual Earth）、Yahoo（Yahoo Maps）和 AOL（MapQuest）也很快相繼公開了自己的 API。 視頻和圖像 mashup 圖像主機和社交網絡站點（例如 Flickr 使用自己的 API 來共享圖像）的興起導致出現了很多有趣的 mashup。由于內容提供者擁有與其保存的圖像相關的元數據（例如誰拍的照片，照片的內容是什么，在何時何地拍攝的等等），mashup 的設計者可以將這些照片和其他與元數據相關的信息放到一起。例如，mashup 可以對歌曲或詩詞進行分析，從而將相關照片拼接在一起，或者基于相同的照片元數據（標題、時間戳或其他元數據）顯示社交網絡圖。另外一個例子可能以一個 Web 站點（例如 CNN 之類的新聞站點）作為輸入，并在新聞中通過照片匹配而將照片中的內容以文字的形式呈現出來。 搜索和購物 mashup 搜索和購物 mashup 在 mashup 這個術語出現之前就已經存在很長時間了。在 Web API 出現之前，有相當多的購物工具，例如 BizRate、PriceGrabber、MySimon 和 Google 的 Froogle，都使用了 B2B 技術或屏幕抓取的方式來累計相關的價格數據。為了促進 mashup 和其他有趣的 Web 應用程序的發展，諸如 eBay 和 Amazon 之類的消費網站已經為通過編程訪問自己的內容而發布了自己的 API。 新聞 mashup 新聞源（例如紐約時報、BBC 或路透社）已從 2002 年起使用 RSS 和 Atom 之類的聯合技術來發布各個主題的新聞提要。以聯合技術為基礎的 mashup 可以聚集一名用戶的提要，并將其通過 Web 呈現出來，創建個性化的報紙，從而滿足讀者獨特的興趣。Diggdot.us 正是這樣的一個例子，它合并了 Digg.com、Slashdot.org 和 Del.icio.us 上與技術有關的內容。
相關技術 本節概要介紹了可以促進 mashup 發展的技術。有關這些技術的更多信息，請參閱本文最后的 參考資料。 架構 mashup 程序從架構上是由 3 個不同的部分組成的，它們在邏輯上和物理上都是相互脫離的（可能由網絡和組織邊界分隔）：API/內容提供者、mashup 站點和客戶機的 Web 瀏覽器。
Ajax 關于 Ajax 究竟是否是一個縮寫詞（有人認為它表示 “Asynchronous JavaScript + XML”）還存在爭論。不論如何，Ajax 都是一個 Web 應用模型，而不是一種特定的技術。它包括幾種關注內容的異步加載和呈現的技術：
將這些技術結合在一起使用時，它們的目標是通過與內容服務器交換少量的數據為用戶創造平滑、良好的 Web 體驗，而不用在用戶執行某些操作之后重新加載并重新呈現整個頁面。我們可以使用各種 Ajax 工具包和庫（例如 Sajax 或 Zimbra）為 mashup 構建 Ajax 引擎，這通常是使用 JavaScript 實現的。Google Maps API 包括一個專用的 Ajax 引擎，它對用戶體驗的影響著實強大：它的工作方式類似于一個真正的本地應用程序，其中沒有滾動條可以操作，也沒有移動按鈕強制頁面重新加載。 Web 協議：SOAP 和 REST SOAP 和 REST 都是與遠程服務進行通信所使用的與平臺無關的協議。作為面向服務的架構范式的一部分，客戶機使用 SOAP 和 REST 與遠程服務進行交互，而不用了解它們底層的平臺實現：服務的功能完全是由它請求和收到的顯影消息描述來實現的。 SOAP 是 Web 服務范式中的一種基本技術。最初它是 Simple Object Access Protocol 的縮寫，現在代表 Services-Oriented Access Protocol（或直接縮寫為 SOAP），這是因為它的重點已經從基于對象的系統轉向消息交換的交互操作。SOAP 規范中有兩個關鍵組件。第一個組件是使用 XML 消息格式進行平臺無關的編碼，第二個組件消息結構，包括消息頭和消息體。消息頭用來交換非特定于應用負載（消息體）的相關信息，例如認證信息。SOAP 消息體封裝了應用程序特有的負載。Web 服務的 SOAP API 是由 WSDL 文檔來描述的，它們本身都描述了一個服務對外提供哪些操作，它可以接受的消息格式（使用 XML Schema），以及如何對其進行尋址。SOAP 消息通常都是通過 HTTP 協議傳送的，不過也可以通過其他方式傳送（例如 JMS 或 e-mail）。 REST 是 Representational State Transfer 的縮寫，這是一種只使用 HTTP 和 XML 進行基于 Web 通信的技術。它的簡單性和缺少嚴格配置文件的特性使它與 SOAP 很好地隔離開來，并且吸引了大家廣泛的興趣。與我們在現代變成語言中可以找到的典型基于動詞的接口不同（它們構成了各種方法，例如 屏幕抓取 正如前面介紹的一樣，缺乏內容提供者提供的 API 通常會強制要求 mashup 開發人員采取屏幕抓取的方式來提取自己希望集成的信息。抓取（Scraping） 是使用軟件工具處理并分析最初為人們閱讀而編寫的內容，從而從中提取出可以通過編程進行使用和操作的信息的語義數據結構表示。有些 mashup 使用屏幕抓取技術來獲取數據，特別是從公用領域提取數據。例如，房地產地圖 mashup 就可以在制圖供應商提供的地圖上顯示售價和租價，這些數據可能是從當地的記錄辦公室抓取來的 “comp” 數據。另外一個抓取數據的 mashup 項目是 XMLTV，這是一組匯聚了各地電視節目清單的工具集。 屏幕抓取通常被認為是一個不雅的解決方案，這是有一定的原因的。它有兩個主要的固有缺點。第一個缺點在于，與使用接口的 API 不同，抓取在內容提供者和內容消費者之間沒有明確的聯系。抓取者必須圍繞一個源內容模型設計自己的工具，并且希望提供者一直采用這種模型來呈現內容。Web 站點傾向于周期性地更新外觀，以保持新穎和時髦，對于抓取者來說，這是一項非常頭痛的維護任務，因為工具很可能會失效。 第二個問題是缺少成熟的可重用屏幕抓取工具包軟件，通俗地說就稱為 scrAPI。此類 API 和工具包的消亡很大程度上是由于每種抓取工具都有極為特定于應用程序的需求。這為開發人員帶來了過多的開發工作，他們必須對內容進行反向工程處理、開發數據模型、分析并從提供者站點上匯集原始數據。 語義 Web 和 RDF 屏幕抓取不好的一面直接源自于一個事實：為閱讀而創建的內容并不太適合機器自動處理。這促進了語義 Web 的誕生，它是現有 Web 的增強版本，在為人們設計的內容中增加了足夠多的可供機器閱讀的信息。在語義 Web 環境中，信息這個術語與數據有所差異；數據只有在傳達了自己的含義（即數據可被理解）之后才會變成信息。語義 Web 的目標是創建 Web 基礎設施，使用元數據對數據進行增強，從而使數據變得有意義，最終使數據變得適合進行自動化、集成、推理和重用。 被稱為資源描述框架（RDF）的 W3C 系列規范就是服務于這個目的的技術，它用來建立描述數據的語義結構。XML 本身并不足以實現這種功能；它太過隨意，我們可以使用很多方法進行編碼來對相同的數據進行描述。RDF-Schema 補充了 RDF 的能力，提供了以機器可讀的方式編碼概念的功能。一旦可通過一種數據模型描述數據對象，RDF 就提供了通過主語－謂語－對象三元組（主語 S 與對象 O 具有關系 R）在數據對象之間構建關系的能力。數據模型與關系圖之間的區別讓我們可以進行存在式的構建，這是可以進行搜索和形式化推理的知識的層次化結構。例如，我們可以定義這樣一個模型：“肉食動物” 是 “動物” 的一個子類，條件是它 “吃” 其他 “動物”；并創建兩個實例：一個實例是印度豹和北極熊，并提供它們的生存環境；另外一個是瞪羚和企鵝，并提供它們的生存環境。假設我們將這些單獨的模型實例集成在一起，就可以推論說印度豹可能會以瞪羚為食，但卻不會吃企鵝。 RDF 數據在很多領域中都迅速得到了應用，包括社交網絡應用程序（例如 FOAF —— Friend of a Friend）和聯合（例如 RSS，接下來就會介紹）。另外，RDF 軟件技術和組件都正在成熟到一定規模，尤其是在 RDF 查詢語言（例如 RDQL 和 SPARQL）、編程框架和推理引擎（例如 Jena 和 Redland）領域。 RSS 和 ATOM RSS 是一系列基于 XML 的聯合格式。在這種情況中，聯合（syndication）是指一個發布內容的 Web 站點可以創建 RSS 文檔并在 RSS 發布系統中注冊自己的文檔。支持 RSS 的客戶機可以查看新內容，并通過適當的方式連接到這些內容上。RSS 已經被用來聯合廣泛的內容，從新聞到頭條、CVS 或 WIKI 頁面的修改日志、項目更新甚至諸如無線電節目之類的視聽數據。版本 1.0 基于 RDF，但最新的 2.0 版本不以 RDF 為基礎。 Atom 是一種更新但非常類似的聯合協議。它是 Internet Engineering Task Force（IETF）提出的一項草案標準，人們希望通過 Atom 提供比 RSS 更好的元數據維護；提供更好、更為全面的文檔，并結合構建通用數據表示的概念。 這些聯合技術對于集成基于事件或更新驅動內容的 mashup 來說都非常有用，例如新聞和 weblog 聚集程序。
技術挑戰 與其他數據集成領域一樣，mashup 開發也充斥著許多亟待解決的技術挑戰，隨著 mashup 應用程序特性和功能的進一步豐富，這種挑戰也變得更加嚴峻。本節簡單介紹了一些挑戰，其中有些挑戰目前已經能夠解決或緩解，而其他問題依然沒有解決。 數據集成挑戰：語義和數據的品質 品質調查顯示，當今的企業 IT 首要關注的問題就是是企業虛擬組織中的數據集成。（在這種情況中，我們使用了 虛擬組織（virtual organization） 這個術語表示很多聯合業務單元的組合，每個業務單元都包含在自己的管理域中。）與很多發現自己忙于集成傳統數據源的企業 IT 管理人員一樣（例如，創建可以反映當前業務狀況的企業儀表板），mashup 開發人員需要面對類似源自于在異構數據集之間共享語義的挑戰。因此，要了解 mashup 開發人員是如何為此作出準備，只需了解企業 IT 所面臨的集成挑戰。 例如，我們必須設計數據模型之間的轉換系統。在將數據轉換成通用的格式時、在映射不完整時（例如，一個數據源可能有一個模型，其中一個地址類型包含了一個國家字段，而另外一個模型中沒有這個字段），我們必須進行一些合理的假設。盡管已經面臨這些挑戰，但是 mashup 開發人員可能并不是源數據模型領域的專家，因為這些模型可能是第三方的產品，這些合理的假設可能并不直觀清晰，這更加劇了挑戰的嚴峻性。 除了缺少數據和映射不完整之外，mashup 設計者可能會發現他們希望集成的數據并不適合進行機器自動化處理；這將帶來很多凈化工作。例如，執法逮捕記錄可能不一致：記錄中可能為名字使用了常用的縮寫形式（例如，一條記錄中使用的是“mkt sqr”，另外一條記錄中使用的是“Market Square”），這使得關于等同性的自動推理變得非常困難，即使采用很好的啟發式規則也很難實現。語義建模技術，例如 RDF，可以幫助簡化對不同數據集之間自動進行推理所面臨的問題，這些數據集是內嵌在數據存儲介質中的。對于傳統的數據源來說，通常需要投入大量人力物力，進行分析和數據凈化工作，然后才能將其用于語義建模技術。 mashup 開發人員可能還必須面對 IT 集成管理人員不需要面對的一些問題，其中一個問題是數據污染。作為應用程序設計的一部分，很多 mashup 都要求公共用戶提供輸入。wiki 應用程序領域的研究表明，這是一把雙刃劍：它可能非常強大，因為可以提供開放的貢獻和最佳的數據革新，但這又會導致不一致、不正確或容易產生誤導的數據項。后者可能會危及數據的可信度，最終降低 mashup 帶來的價值。 mashup 開發人員需要面對的另外一種集成問題是由于獲取數據必須采用屏幕抓取技術而引起的。正如上一節所討論的一樣，分析和獲取工具以及數據模型都需要大量與反向工程相關的工作。在最理想的情況下，可以創建這些工具和模型，但依然存在一個問題：源站點如何呈現自己的內容，這可能會破壞集成過程，并導致 mashup 應用程序出錯。 組件挑戰 盡管 Web 開發的 Ajax 模型可以比傳統的整個頁面刷新技術提供更為豐富而且更加無縫的用戶體驗，但是也帶來了一些難題。作為基礎來說，Ajax 要求將瀏覽器的客戶端腳本功能與自己的 DOM 配合使用，實現一種內容交付方法，這完全是由瀏覽器設計者所設想的。（可能 Ajax 類似于黑客的特性增加了它的吸引力。）然而，這使基于 Ajax 的應用程序具有相同的瀏覽器兼容問題，這些問題從微軟開發 Internet Explorer 以來就一直困擾著 Web 開發人員。例如，Ajax 引擎利用了一個 更加基本的一個需求是 Ajax 要求必須在用戶的瀏覽器上啟用 JavaScript。這對于大部分人來說可能是一個合理的假設，但是對于某些特定的用戶，他們的瀏覽器或自動化工具可能不支持 JavaScript，也可能沒有啟用對 JavaScript 的支持。這種工具有 robot、spider 和 為 Internet 和 Intranet 搜索引擎搜集信息的 Web 爬行榜。如果沒有功能方面的讓步，基于 Ajax 的 mashup 應用程序也可能會發現自己失去了部分用戶群，搜索引擎的吸引力也會降低。 使用 JavaScript 來異步更新頁面中的內容還會產生用戶界面的問題。由于內容不再需要鏈接到瀏覽器地址欄中的 URL 上，用戶可能無法體驗到正常使用瀏覽器的 BACK 按鈕或書簽時的功能。另外，盡管 Ajax 可以通過請求增量內容更新來減少延時，但不好的設計可能會對用戶體驗造成負面影響，例如當更新粒度非常小時，所更新的數量和負載會占據所有的可用資源。另外，在加載界面或更新內容時，我們還需要關心如何為用戶提供支持（例如，使用諸如進度條之類的可視化反饋技術）。 與任何分布式交叉領域的應用程序一樣，mashup 開發人員和內容提供者同樣也需要解決一些安全性問題。身份的概念可能會成為一個棘手的主題，傳統 Web 主要是為匿名訪問而構建的。單點登錄是一種令人滿意的特性，但在這方面存在多種彼此競爭的技術（從 Microsoft Passport 到 Liberty Alliance），因此可能會導致產生雜亂的身份命名空間，我們必須對之進行集成。內容供應商可能會在自己的 API 中采用身份驗證和授權模式（這需要安全身份或安全確認屬性的概念）來強制采用涉及付費訂閱或敏感數據的業務模型。敏感數據也可能要求一定的機密性（即加密），我們必須要清楚何時將它們與其他資源集成在一起，而不會帶來風險。身份對于審計和法規遵從性來說也非常重要。另外，由于數據集成是在服務器和客戶端同時發生的，因此從用戶到 mashup 服務進行的身份和證書委托也可能會成為一個需求。
社會挑戰 除了上一節介紹的技術挑戰之外，隨著 mashup 的進一步普及，也出現了（或即將出現）一些社會問題。 mashup 開發人員需要面對的一個最嚴重的社會問題就是：在知識產權的保護和消費者的私密性與公用化以及信息的自由流動之間達成一種平衡。不知情的內容提供者（屏幕抓取的目標）、提供 API 來幫助數據檢索的內容提供者都可能需要確定其內容是否正在被他人以未獲得自己批準的方式使用。有關 Web 聚合和規則的介紹，請參見 參考資料。 mashup Web 應用程序仍然處于萌芽階段，只是有一些開發愛好者在業余時間編寫 mashup。這些開發人員可能并沒有意識到（或不關心）安全性之類的問題。另外，內容供應者也只是剛剛開始看到為基于機器的內容訪問提供 API 的價值所在，而且還有很多人不認為這是一個核心業務關注點。這一切結合在一起，導致目前的軟件質量低下，因為諸如測試和品質保證等工作的優先級都要低于概念驗證和創新的優先級。為促進軟件開發過程的成熟，社區必須作為一個整體協同工作，制定開放標準和可重用的工具包。 在 mashups 可以從一種炫酷的玩具變成程序的應用程序之前，還需要做大量的工作，形成高度健壯的標準、協議、模型和工具包。為此，主要的軟件開發業界先驅、內容提供者和企業家必須認識到 mashup 的價值，它意味著可行的商業模型。API 提供者需要確定是否對自己的內容收取費用，如果需要收取費用，應該怎樣收費（例如，通過訂閱還是按使用次數收費）。或許他們將提供不同級別的服務品質。有些市場提供者，例如 eBay 或 Amazon，可能會發現免費 API 將提高產品周轉。mashup 開發人員可能要尋求一種基于廣告的創收模型，或者構建有趣的 mashup 應用程序贏得人們的認同。
結束語 mashup 的確是一種相當新穎的 Web 應用程序。源于語義 Web 領域的數據建模技術和松耦合、面向服務、與平臺無關的通信協議相結合，最終將提供一種開發可充分利用并整合大量 Web 信息的應用程序所必需的基礎設施。隨著 mashup 應用程序越來越多地被人們所關注，了解它將對某些社會問題（例如公共使用和知識產權保護之間的問題）和其他應用程序領域（跨組織邊界集成數據，例如網格計算和 B2B 的工作流管理）產生怎樣影響，這一點非常有趣。 要深入了解 mashup 的開發，請關注 developerWorks 的系列新教程，它將教您構建自己的 mashup。實際上，這個系列的文章還會向您介紹語義 Web 技術和使其他人創建自己的 mashup 的現有技術。 參考資料 學習
獲得產品和技術
討論
關于作者
|
||||||||||||||||||||||
