Reference : A zealous parallel gradient descent algorithm

	Document type :	Scientific congresses and symposiums : Poster
	Discipline(s) :	Engineering, computing & technology : Computer science
	To cite this reference:	http://hdl.handle.net/2268/80780

Title :	A zealous parallel gradient descent algorithm
Language :	English
Author, co-author :	Louppe, Gilles [Université de Liège - ULg > Dép. d'électric., électron. et informat. (Inst.Montefiore) > Systèmes et modélisation >]
	Geurts, Pierre [Université de Liège - ULg > Dép. d'électric., électron. et informat. (Inst.Montefiore) > Systèmes et modélisation >]
Publication date :	11-Dec-2010
On invitation :	No
Audience :	International
Event name :	NIPS 2010 Workshop on Learning on Cores, Clusters and Clouds
Event date :	11 décembre 2010
Event place (city) :	Whistler
Event country :	Canada
Keywords :	[en] machine learning ; optimization ; gradient descent
Abstract :	[en] Parallel and distributed algorithms have become a necessity in modern machine learning tasks. In this work, we focus on parallel asynchronous gradient descent and propose a zealous variant that minimizes the idle time of processors to achieve a substantial speedup. We then experimentally study this algorithm in the context of training a restricted Boltzmann machine on a large collaborative filtering task.
Funders :	Fonds de la Recherche Scientifique (Communauté française de Belgique) - F.R.S.-FNRS
Target :	Researchers
Permalink :	http://hdl.handle.net/2268/80780

	File(s) associated to this reference
	Fulltext file(s): File Commentary Version Size Access Open access glouppe10-lccc-poster.pdf Poster Author preprint 897.87 kB View/Open Open access glouppe-pgeurts-lccc2010.pdf Extended abstract Author preprint 102.35 kB View/Open

All documents in ORBi are protected by a user license.

 

© ULg Library Network |  Feedback |  ORBi legal notices

Dspace v1.5