ibb娱乐彩票
上海代寫論文網專業提供代寫畢業論文、代寫本科論文服務

相關文章推薦

聯系方式
您現在的位置:首頁 > 管理學論文 > 信息管理論文 >
探討眾包質量的商業模式控制問題
發布時間:2019-05-23

摘要

  近年來,眾包作為一種新的商業模式迅速發展,在眾多領域均得到廣泛應用。然而,眾包采取面向不確定大眾群體的組織方式,平臺上的工作者具有不同的社會背景、能力水平和參與動機,完成任務的程度也不盡相同,互聯網的匿名性使得交互雙方信息不對稱,眾包質量結果難以得到保證。因此,如何對眾包質量進行控制成為當前眾包研究領域的熱點問題。

  本文對大量國內外研究文獻進行歸納總結,介紹了眾包模式的概念及眾包質量控制的相關研究工作,分析了現有眾包質量控制策略的優點及不足。之后通過對眾包平臺進行實際調研,發現平臺上存在大量的工作者歷史交易行為,發包方能夠通過這些歷史信息預測工作者未來可能的行為,減少交互雙方的信息不對稱。為此,本文提出一種考慮工作者信譽的眾包質量控制方法,主要包括眾包質量評估和動態激勵兩部分。

  首先對眾包質量進行評估,提出一種考慮工作者信譽的眾包質量評估方法。對工作者行為進行分析,在評估時將工作者的歷史交易行為量化為信譽模型,根據信譽值對工作者進行分類提前剔除欺詐者,之后將工作者信譽值作為權重引入傳統EM算法中,以獲得更可靠的質量評估結果,為眾包質量控制做好準備。

  之后根據評估結果進行激勵,提出一種基于工作者完成質量的動態激勵方法。該方法為兩階段動態激勵,設置任務分段點,在第一階段實行統一付酬機制,吸引足夠工作者參與任務;當任務完成度趨于成熟,在第二階段設置動態激勵函數,該激勵函數與工作者的質量評估結果呈正相關,與任務完成情況呈負相關,在激勵工作者提交高質量答案的同時對整體眾包任務的質量實現均衡控制。

  最后,利用真實數據對本文提出的質量控制方法進行實驗驗證,并對實驗中涉及的參數進行閾值率定。實驗結果表明,本文提出的質量控制方法在提高質量評估結果的同時可以激勵工作者提交高質量結果。

  關鍵詞:眾包;質量評估;信譽模型;EM算法;激勵機制

眾包質量評估

Abstract

  In recent years, crowdsourcing has developed rapidly as a new business model and has been widely used in many fields. However, crowdsourcing faces an uncertain organization of the mass population, workers in the crowdsourcing markets usually have different background, expertise and incentives. The anonymity of the Internet makes the information dissymmetrical between the two parties, therefore, workers are likely to exhibit heterogeneous quality in their submitted work. Therefore, how to control the quality has become a hot issue in the field of crowdsourcing.

  The article summarizes a large number of domestic and foreign research literature, introduces the concept of crowdsourcing model and the related research work aboutcrowdsourcing quality control, and analyzes the advantages and disadvantages of the quality control strategy of crowdsourcing. Through the actual investigation of crowdsourcing platform, we find that there are a lot of workers' historical trading behavior on the platform. It is possible to predict the future behavior of the workers through the historical information and reduce the information asymmetry between the two parties. The article proposes a quality control method for crowdsourcing based on workers' reputation, mainly including crowdsourcing quality assessment and dynamic incentive.Firstly, evaluate the quality of crowdsourcing. A quality evaluation method is proposed to consider the reputation of workers.

  First, build the reputation model based on the workers' past performance. Then, select the workers according to the reputation of workers and put the reputation as the weight into the EM algorithm optimizing the initial value selection method, preparing for the quality control of crowdsourcing.

  Then, based on the evaluation results, a dynamic incentive method based on the quality of the workers is proposed. This method is a two-stage dynamic excitation. Set up the task segmentation point and implement the unified payment mechanism in the first stage, attracting enough workers to participate in the task. Set the dynamic excitation function in the second stage, which is positively correlated with the quality assessment results of the workers and is negatively correlated with the task completion.

  Finally, verify the validity of this method through numerical experiment and rate the threshold of parameters. The experimental results show that the quality control method proposed in this paper can improve the quality assessment results and motivate workers to submit high quality results.

  Key Words:Crowdsourcing; Quality evaluate; EM algorithm; Reputation model;Incentive Mechanism

目錄

  1緒論

  1.1研究背景與意義

  近年來,眾包作為一種新的商業模式迅速發展起來,在服裝設計、軟件測試、科學研究、方案征集等方面得到廣泛應用。眾包和普通意義上的外包差別在于,眾包的任務和問題外派給不確定的網絡群體[1],發包方將一個任務細分為多個子任務,通過互聯網分配給工作者(worker)去完成,而外包是外派給專業的確定群體。此外,二者中一個最大的不同之處在于,外包強調的是高度專業化,眾包則正好相反,其更注重差異化的群體智慧,跨專業的創新往往蘊含著巨大的潛力[2].眾包使得發包方在提高工作效率的同時降低了勞動成本,工作者能根據自己的興趣尋找任務,完成任務后得到工作報酬。眾包平臺上任務種類繁多,按照其粒度可分為微觀任務(microtasks)和宏觀任務(macrotasks)[3].微觀任務關注小而重復的任務,一般通過收集較多工作者的答案進行整合得到最終結果,典型的微觀眾包任務包括語言翻譯、事件注釋、圖片標記等。微觀任務通常不需要特殊技能,并且每個任務的獎勵通常很小[4].現實世界中的微觀任務系統有:亞馬遜的Mturk.不同于微任務,宏觀任務主要用于解決挑戰性和創新性的任務,如開發一個計算程序、設計一個廣告等。

  這類任務通常需要工作者具有特定的技能,需要花費大量的時間去完成,且獎勵一般很多。2012年3月,奧巴馬政府啟動的“大數據研究與發展計劃”將眾包列為大數據時代的三大關鍵技術之一[5],主要利用眾包發布微觀任務對數據進行標記,在自然語言處理、機器學習、信息檢索等科研領域得到廣泛應用。微觀任務因其復雜性低、操作簡單占據了主要眾包市場。平臺上一些眾包任務通常具有較強的專業性,例如語言翻譯,需要具有專業背景的人來完成,由于工作者認知偏差以及專業知識的匱乏,使得他們提交的結果也不盡相同[6].眾包依托于復雜的網絡平臺,工作者具有高度的匿名性和不確定性,發包方無法準確識別不同工作者的任務完成質量,且眾包平臺統一定價的激勵方式使得平臺上經常存在大量的惡意欺詐者(spammer),他們為了自身利益最大化,隨意提交任務答案,導致眾包結果的準確率大大降低,發包方和工作者之間也難以建立信任。發包方則通過壓低價格來避免這種信息不對稱帶來的風險損失,如此會逐漸形成“檸檬市場”[7],低質量工作者逐漸取代高質量工作者,導致眾包市場萎縮。

  為了使眾包市場健康發展,如何對眾包質量進行有效控制成為亟待解決的問題。對眾包質量進行控制,首先需要對工作者的完成質量進行較準確評估,以減少信息不對稱帶來的損失。互聯網上的高度不確定性使得發包方更愿意接受并信任先前與之有過交互的工作者[8].眾包平臺上存在著工作者大量的歷史交易行為,這些歷史行為可以反映出工作者的行為特點,用以預測未來交互中的可能行為,從而提高評估結果的準確率;對質量評估完之后,發包方應根據工作者的完成質量給予其合理的激勵,獎勵優秀工作者、懲罰惡意欺詐者,以引導工作者更高質量的完成眾包任務,從而達到對眾包質量的控制效果。文獻[9]指出信譽是對一個實體過去行為的一種綜合評價,即將歷史行為進行量化、分析能夠得到工作者的信譽模型。因此,如何利用歷史交易行為建立信譽模型,減少發包方與工作者之間的信息不對稱,提高質量評估的準確性;如何設置合理的激勵政策,在調動工作者積極性的同時還能夠對眾包質量進行控制是本文的主要研究內容。

  1.2國內外研究現狀

  目前,國內外學者對眾包質量控制問題進行了一定研究,且多針對于微觀任務。其研究主要分為三類:

  (1)對眾包結果進行質量評估,進而識別出工作者類別。對于微觀任務來說,發包方通常將任務分配給多名工作者,通過對提交答案的整合得到最終任務結果。文獻[10-12]介紹了一種黃金數據注入算法,利用黃金標準數據評估工作者完成質量;文獻[13-15]提出將任務分配奇數個的工作者,通過多數投票獲得最終結果;文獻[16-19]基于Dawid和Skene提出的EM算法對眾包質量進行評估,根據工作者提交的結果對工作者的誤差率進行極大似然估計,計算出工作者的誤差矩陣,進而通過迭代得到最終的眾包結果。

  (2)分段式眾包質量控制,主要按照工作流的形式對任務進行劃分,分階段的對工作者提交的結果進行評估,根據評估結果對工作者組織結構進行調整,以達到控制眾包質量的目的。文獻[20]將工作流分為數據產生階段和結果評審階段,根據實際情況控制評審次數,進而保證眾包質量;文獻[17]從結果評估和替換方面考慮,發包方在整個任務流程中設置多個監測點,在每個監測點根據工作者上一階段提交的答案評估其完成質量,對完成質量不高的工作者進行隨機替換,以“評估-替換”的迭代方法對眾包質量進行控制。

  (3)建立相應激勵機制,激勵工作者提交高質量結果。文獻[21]運用博弈論建立誠信保障機制和信譽評價機制,并通過案例分析說明信譽機制能夠約束雙方欺詐行為、提高交易質量;文獻[22-25]提出兩階段付酬機制,根據工作者的完成質量動態調整激勵金額。

  上述文獻都對眾包質量控制問題做了非常有意義的探索,但是存在以下三點不足:

  (1)質量控制的前提是對眾包質量進行準確評估,現有的質量評估方法將眾包作為一次性行為研究,在任務完成后對結果進行評估,并不能提前剔除任何欺詐者,會白白浪費一部分資源。Bayus[26]通過實證研究發現,持續參與的工作者對任務的貢獻比一次性參與的工作者貢獻突出。互聯網絡的匿名特點使得工作者行為具有不確定性和不可靠性,導致眾包結果質量不確定,故在眾包質量評估時,應該考慮工作者行為特點對評估結果的影響;

  (2)雖然階段式動態質量控制策略能通過對上一監測點質量進行評估較早的發現欺詐者,考慮了工作者在持續參與過程中的完成準確率變化,但任務執行過程增加的監測點會增加任務的完成時間、花費會相應增加,替換規則的設計也會影響眾包任務的進度。

  (3)眾包系統現有的激勵機制通常為固定價格模型,這可能會導致工作者產生不可信行為,造成激勵效果適得其反,文獻[23]提出的兩階段付酬機制雖增加了對工作者完成質量的考核,但是會大大增加發包方的預算,造成資源的浪費。

  1.3研究內容

  本文針對現有眾包質量控制策略的不足進行研究,提出一種新的眾包質量控制策略,具體內容如下:

  (1)基于工作者歷史行為建立信譽模型。收集工作者在眾包平臺上留下的歷史交易行為,通過分析工作者行為特點對其進行細分,為研究內容(2)識別不同類型欺詐者做準備。將每次歷史交易過程中,工作者完成任務的準確率作為衡量標準,量化工作者的歷史行為信息。為了考慮工作者行為持續的重要性、信譽的時間衰減性,并區分策略欺詐者、失誤等不同行為類型,本文對原有彈性信譽模型(RRM)進行改進。在原有持續因子的基礎上引入懲罰因子及懲罰函數,在激勵工作者持續提供可信行為的同時,也能夠及時對不可信行為做出反應。對于最近一次出現的不可信行為,查看其之前累積到的信譽值,區分失誤行為以及策略欺詐等容易混淆的行為。因眾包平臺上有些工作者沒有與發包方有過歷史交易,故賦予每位工作者初始值,在初始值的基礎上通過歷史行為的累積得到當前信譽值,為研究內容(2)中識別欺詐者提供前提。

  (2)提出一種考慮工作者信譽的眾包質量評估方法。EM算法因其收斂穩定被廣泛應用于眾包質量評估中,但其評估結果極易受初始值影響,因在使用EM算法時較多賦予工作者相同的權重,導致結果容易陷入局部最優。然而,工作者提交答案的可信度不盡相同,信譽良好的工作者給出的答案可信度更高。故根據研究內容(1)中得到的信譽值,通過設置合理的閾值對工作者進行欺詐者識別,對識別出來的欺詐者進行剔除。其次,基于EM算法,將工作者信譽值作為權重加入到初始值評估中。在評估結果后驗概率和工作者誤差矩陣獲取過程中,將信譽值作為權重考慮進去,提高評估結果的準確率與效率,為后續眾包質量控制工作做好準備。

  (3)提出一種基于工作者完成質量的動態激勵機制。為了達到眾包質量控制的目的,根據研究內容(2)的質量評估結果對工作者進行動態激勵,以促使眾包任務完成質量更好。因為工作者能夠根據自己的興趣自由選擇任務,在微觀眾包任務平臺,如Mturk

  常常會出現資源分配不均勻的情況,使得眾包任務的完成進度也層次不齊。為了更好地對眾包質量進行控制,引導工作者選擇完成度低的眾包任務,以均衡整體任務的完成質量,本文提出一種兩階段動態激勵機制,根據研究內容(2)中得到的工作者任務評估質量及任務的完成進度設定激勵函數,工作者選擇的任務完成度越低,完成質量越高,所獲得的獎勵越多。設計基于工作者完成質量的動態激勵函數,使得工作者所獲得獎勵與當前任務的完成階段呈反比,與研究內容(2)中的評估結果呈正比。最后利用博弈論證明該激勵機制的有效性。

  (4)利用Mturk平臺上的真實數據驗證質量控制策略的有效性。一方面利用數據對實驗中的參數進行率定,將本文提出的考慮信譽的眾包質量評估方法與其他質量評估方法進行對比。實驗結果表明,考慮工作者信譽的質量評估方法其評估結果明顯優于其他算法;另一方面針對激勵效果,利用歷史數據分析工作者在任務的不同完成階段的收益變化,同時對比了不同完成質量的工作者收益,實驗表明,工作者會更愿意選擇以較高的質量選擇完成度低的任務。

  1.4論文技術路線

  本論文按照一下章節進行組織第一章為緒論。主要介紹了本課題的研究背景及意義,國內外在該方面的研究現狀及問題,以及本文的主要研究內容,給出了論文的技術路線及章節安排。

  第二章為相關研究工作的綜述。首先介紹了眾包的模式和現有的眾包質量評估方法,以及不同評估策略的優勢及不足;其次介紹了有關眾包信譽、激勵機制相關方面的工作,并對現有研究進行了分析。

  第三章為考慮信譽的質量評估方法構建。針對現有質量評估方法的不足,提出一種考慮工作者信譽的眾包質量評估方法。首先收集并分析眾包平臺上的工作者歷史交易行為,并對工作者進行分類;其次基于工作者的歷史行為建立信譽模型,利用歷史交易的完成準確率作為信譽評分,加入持續因子、懲罰函數、懲罰因子等得到工作者信譽值,以此在對工作者進行激勵的同時減少交互雙方的信息不對稱;然后設置信譽閾值,幫助發包方識別不同類型的工作者,提前剔除欺詐者;之后針對現有質量評估方法進行選擇,因EM算法能夠處理信息缺失問題,故基于EM算法現存初始值敏感問題進行改進,將工作者信譽作為權重加入EM算法,對工作者眾包質量進行評估。

  第四章為基于工作者完成質量的動態激勵機制設計。該部分主要包括三部分:首先分析眾包任務完成質量低的原因,之后針對現有平臺激勵機制的不足設計了兩階段動態激勵機制,并提出基于完成質量的動態激勵函數;最后利用博弈論對文中提出的動態激勵機制進行了有效性分析。

  第五章為實驗設計部分。主要介紹了實驗的運行環境、實驗數據以及實驗的具體設計,并對實驗中涉及的參數進行了分析率定;為了更好的證明本文方法的有效性,將本文提出的質量評估方法及動態激勵機制與現有其他方法進行了對比,并對結果進行了詳盡分析。

  第六章為總結與展望。首先總結了本文的主要研究內容,給出了論文的創新點,然后從質量評估算法和激勵機制兩方面進行了展望,為今后的研究方向提供參考。

【由于本篇文章為碩士論文,如需全文請點擊底部下載全文鏈接】

  2相關工作
  2.1眾包模式研究
  2.2眾包質量評估方法
  2.2.1黃金標準數據評估方法
  2.2.2投票一致性算法
  2.2.3EM質量評估方法

  2.3眾包信譽研究
  2.3.1信譽及信譽模型
  2.3.2眾包領域信譽問題研究
  2.4眾包中的激勵機制
  2.5本章小結

  3考慮信譽的質量評估方法構建
  3.1工作者行為分析
  3.2基于工作者歷史行為的信譽模型
  3.3質量評估算法選擇與改進
  3.3.1評估算法選擇
  3.3.2EM評估算法改進
  3.4本章小結

  4基于眾包質量的動態激勵機制
  4.1眾包結果低質量產生原因
  4.2基于工作者完成質量的激勵機制
  4.2.1動態激勵機制設計
  4.2.2動態激勵函數
  4.3激勵機制的博弈分析
  4.4本章小結

  5實驗與結果分析
  5.1實驗數據及實驗設計
  5.1.1實驗數據
  5.1.2實驗設計
  5.2眾包質量評估實驗
  5.2.1最佳閾值實驗
  5.2.2質量評估算法比對

  5.3動態激勵實驗
  5.3.1實驗參數率定
  5.3.2激勵機制效果比對
  5.4本章小結

6 總結與展望

  眾包依托于網絡平臺,互聯網的匿名性會造成工作者和發包方之間信息的不對稱,發包方難以準確衡量工作者的完成質量。而現有眾包平臺多采用統一付酬的激勵機制,報酬只與完成的任務數量有關,此種激勵方式會吸引大量惡意工作者,造成眾包質量難以控制。為了解決上述問題,本文提出了一種考慮工作者信譽的眾包質量控制方法,并利用 Mturk 平臺上的真實數據驗證該方法的有效性,其主要研究工作及結論如下:

  (1)考慮工作者信譽的眾包質量評估方法

  互聯網的匿名性使得工作者行為具有不確定性和不可靠性,導致眾包質量難以控制。然而,眾包平臺上存在大量的歷史交互信息,通過分析這些歷史交互信息能夠幫助發包方預測工作者未來的可能行為。故在進行質量評估時,本文考慮工作者持續參與眾包時的行為特點對質量評估的影響,將其量化為信譽問題。首先對工作者行為進行分析,并將歷史行為量化為信譽模型,根據信譽值提前剔除欺詐者。之后用工作者信譽值作為權重表示其對眾包任務的貢獻,并將其引入評估算法,以獲得更可靠的質量評估結果。最后通過實驗與傳統算法進行了比較。實驗結果表明,考慮工作者信譽的 EM 質量評估方法能夠合理確定初始值,提高了評估準確率。

  (2)基于工作者完成質量的動態激勵方法。

  為了制定合理的激勵機制,在提高工作者參與積極性的同時能對眾包質量進行控制,本文提出了基于工作者完成質量的兩階段動態激勵方法。首先設置任務分段點,在第一階段實行統一付酬機制,吸引足夠工作者參與任務;當任務完成度趨于成熟,在第二階段設置動態激勵函數,該激勵函數與工作者的質量評估結果呈正相關,與任務完成情況呈負相關,此舉為激勵此階段的工作者提交高質量結果,也為了促使工作者選擇完成度低的任務參與,來均衡工作者的分配,以實現對整體眾包完成質量的均衡控制。文中首先通過博弈分析證明該激勵機制的可行性,之后利用眾包數據進行驗證,結果表明該激勵機制的激勵效果優于統一付酬機制。

  本文的創新點有兩個:

  (1)提出一種考慮工作者信譽的眾包質量評估方法在進行質量評估時,甚少文獻考慮工作者持續參與過程中的行為特點對評估結果的影響,僅將眾包作為一次性行為研究。有研究表明,持續參與的工作者要比一次性參與的工作者貢獻突出。且因眾包平臺的匿名性,發包方更愿意相信其有過交互的工作者。故在眾包質量評估時,本文考慮了工作者在持續參與過程中的行為特點對評估結果的影響,將歷史交互行為量化為信譽模型。EM 算法因其收斂穩定被廣泛應用于眾包質量評估中,但其評估結果極易受初始值影響,因在使用 EM 算法時較多賦予工作者相同的權重,導致結果容易陷入局部最優。本文將信譽值作為權重加入傳統 EM 算法,提出一種考慮工作者信譽的眾包質量評估方法,能夠優化 EM 初始值確定問題,提高評估準確率。

  (2)提出一種基于工作者完成質量的兩階段激勵方法現有眾包平臺多采用統一付酬的激勵方式,報酬只與完成的任務數量有關,此種激勵方式會吸引大量惡意工作者,造成眾包質量偏低,要想對眾包質量進行控制,應制定合理的激勵機制,在激勵工作者積極參與的同時,能夠提高眾包完成質量。故本文提出根據質量評估結果對工作者進行動態激勵,設置任務分段點,為避免欺詐行為將分段點設為工作者不可見,第一階段實行統一定價機制吸引工作者參與;當任務完成度較高時設置動態激勵函數,與任務完成度呈負相關,如此可以避免工作者樂意選擇熱門任務參與的問題,與完成質量呈正比,則激勵工作者提交高質量答案,均衡工作者的分配,以對整體眾包任務的質量進行均衡控制。

  本文提出的質量控制方法仍存在一定的局限性:

  (1)因避免抄襲,眾包平臺上宏觀任務的任務結果多不對外開放,獲取數據較困難,故本文研究主要針對于微觀任務。在對工作者歷史行為進行量化的過程中,本文選取完成任務的準確率作為對當次歷史行為的評分,故對于主觀性較強的創意型眾包任務不適用。因此,考慮到任務類型如何更好地描述、量化工作者的歷史行為,如何對創意類眾包任務進行評估,提高評估方法的準確率及適用性是下一步研究的重點

  (2)因本文的研究針對于微觀任務,微觀任務多采用計件的運營模式,故對于宏觀任務多采用招標的運行模式,本文提出的動態激勵機制暫不適用。未來應該針對更多的眾包任務類型,分析機制的適用性,根據眾包平臺的實際運行模式討論激勵機制的具體實施方案。

  參考文獻
 

【由于碩士論文篇幅較長,此頁面不展示全文,如需全文,請點擊下方下載全文鏈接】

點擊下載全文
對應分類:
版權所有:上海論文網專業權威的論文代寫、論文發表的網站,秉承信譽至上、用戶為首的服務理念,服務好每一位客戶
本站部分論文收集于網絡,如有不慎侵犯您的權益,請您及時致電或寫信告知,我們將第一時間處理,郵箱:shlunwen@163.com
ibb娱乐彩票
<meter id="7xttx"></meter>
  1. <code id="7xttx"><delect id="7xttx"><p id="7xttx"></p></delect></code>
  2. <acronym id="7xttx"></acronym>

    <address id="7xttx"></address>
    文成县| 元阳县| 高唐县| 万州区| 桃源县| 长白| 海兴县| 江都市| 五莲县| 札达县| 来安县| 蕲春县| 昌都县| 江北区| 淮北市| 乌兰察布市| 太保市| 宁远县|