| Patent Number | CN103699442B |
| Status | 已授權 Granted |
| MapReduce计算框架下的可迭代式数据处理方法 | |
| 2018-04-17 | |
| Application Number | CN201310686716.7 |
| Application Date | 2013-12-12 |
| Rights Holder | 深圳先进技术研究院 |
| 邹瑜斌; 张帆; 须成忠 | |
| Date Available | 2018-04-17 |
| Country | 中国 China |
| Abstract | 本发明提出一种MapReduce计算框架下的可迭代式数据处理方法，包括以下步骤：S10、读取原始数据，将原始数据解析成独立数据项；S20、采用Shuffle Grouping机制将所述输入数据分发至各线程或进程进行处理；S30、对数据进行哈希重组、排序，并采用Fields Grouping机制将排序后数据分发至各线程或进程；S40、各线程或进程实时对缓冲池中数据进行排序、分组；S50、将数据发送至线程或进程进行处理；S60、将返回的计算结果解析成独立数据项，重复步骤S20至S50，直至发出表示停止迭代的数据项。本发明可保持MapReduce的计算性能不因迭代而受到影响，也降低了虚拟机的创建和销毁的开销。 |
| Language | 中文Chinese |
| Open (Notice) Number | CN103699442B |
| IPC Classification Number | G06F9/50 ; G06F9/455 |
| Patent Agent | 沈祖锋 ; 郝明琴 |
| Agency | 深圳市科进知识产权代理事务所(普通合伙) 44316 |
| Document Type | Patent |
| Collection | University of Macau |
| Recommended Citation GB/T 7714 | 邹瑜斌,张帆,须成忠. MapReduce计算框架下的可迭代式数据处理方法. CN103699442B[P]. 2018-04-17. |
| APA | 邹瑜斌., 张帆., & 须成忠 (2013-12-12). MapReduce计算框架下的可迭代式数据处理方法. |
| Files in This Item: | There are no files associated with this item. | |||||
Items in the repository are protected by copyright, with all rights reserved, unless otherwise indicated.
Edit Comment