基于Hadoop的協(xié)同過(guò)濾算法的研究與實(shí)現(xiàn).pdf

1、個(gè)性化推薦技術(shù)一直是各種商用系統(tǒng)普遍關(guān)注的焦點(diǎn)。其中， Goldberg等人提出的協(xié)同過(guò)濾技術(shù)在各類個(gè)性化推薦系統(tǒng)中更是受到了普遍的關(guān)注和應(yīng)用。但是，隨著推薦系統(tǒng)中用戶和商品數(shù)目的不斷增加，現(xiàn)有的協(xié)同過(guò)濾算法固有的缺點(diǎn)，比如冷啟動(dòng)問(wèn)題、數(shù)據(jù)稀疏性問(wèn)題、系統(tǒng)擴(kuò)展性問(wèn)題、結(jié)果準(zhǔn)確性問(wèn)題等逐漸暴露出來(lái)。最近的研究表明，基于用戶和商品數(shù)據(jù)的分布式存儲(chǔ)和分布式計(jì)算的協(xié)同過(guò)濾算法，能夠更好地適應(yīng)新環(huán)境下的要求，獲得更好的推薦效果。但在現(xiàn)有的分布式協(xié)

2、同過(guò)濾算法中，用戶數(shù)據(jù)的分布存儲(chǔ)造成了系統(tǒng)難以定位目標(biāo)用戶的最近鄰居集合，推薦過(guò)程中系統(tǒng)通信量大等問(wèn)題，嚴(yán)重影響了分布式協(xié)同過(guò)濾算法的推薦效率和精確度。本文主要針對(duì)分布式協(xié)同過(guò)濾算法展開(kāi)了深入的分析和探討，主要研究?jī)?nèi)容如下：
　　本文結(jié)合傳統(tǒng)協(xié)同過(guò)濾推薦技術(shù)的發(fā)展歷史和分類應(yīng)用，總結(jié)了現(xiàn)有單機(jī)模式和分布式協(xié)同過(guò)濾推薦技術(shù)的缺點(diǎn)和不足。然后為了弱化或克服這些缺點(diǎn)，本文結(jié)合Hadoop分布式計(jì)算思想，提出了基于Hadoop的分布式協(xié)同

3、過(guò)濾推薦算法，并給出了新算法的計(jì)算過(guò)程。新算法從兩個(gè)維度來(lái)提高推薦技術(shù)的有效性，即除了對(duì)協(xié)同過(guò)濾推薦算法本身的改進(jìn)外，在算法實(shí)現(xiàn)上還采用一種基于Hadoop的分布式實(shí)現(xiàn)協(xié)同過(guò)濾推薦算法，即應(yīng)用MapReduce計(jì)算模型實(shí)現(xiàn)協(xié)同推薦算法的分布式計(jì)算，將昂貴的計(jì)算過(guò)程分割成許多不同的小型計(jì)算過(guò)程，每一個(gè)都可以在不同的節(jié)點(diǎn)上完全并行執(zhí)行。該算法采用高效的分區(qū)策略，以最大限度地提高數(shù)據(jù)局部性，降低通信成本，控制算法的復(fù)雜性來(lái)增加計(jì)算能力，從而使