【简单】找到100亿个URL中重复的URL－Java

分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请轻击人工智能教程大家好！欢迎来到我的网站！ 人工智能被认为是一种拯救世界、终结世界的技术。毋庸置疑，人工智能时代就要来临了，科… 继续阅读 前言https://www.captainai.net/troubleshooter

package live.every.day.ProgrammingDesign.CodingInterviewGuide.BigDataAndSpaceRestriction; /** * 找到100亿个URL中重复的URL * * 【题目】 * 有一个包含100亿个URL的大文件，假设每个URL占用64B，请找出其中所有重复的URL。 * * 【难度】 * 简单 * * 【解答】 * 原问题的解法使用解决大数据问题的一种常规方法：把大文件通过哈希函数分配到机器，或者通过哈希函数把大文件拆成小文件。一直 * 进行这种划分，直到划分的结果满足资源限制的要求。首先，你要向面试官询问在资源上的限制有哪些，包括内存、计算时间等要求。 * 在明确了限制要求之后，可以将每条URL通过哈希函数分配到若干机器或者拆分成若干小文件，这里的"若干"由具体的资源限制来计算 * 出精确的数量。 * * 例如，将100亿字节的大文件通过哈希函数分配到100台机器上，然后每一台机器分别统计分给自己的URL中是否有重复的URL，同时 * 哈希函数的性质决定了同一条URL不可能分给不同的机器：或者在单机上将大文件通过哈希两数拆成1000个小文件，对每一个小文件再 * 利用哈希表遍历，找出重复的URL；或者在分给机器或拆完文件之后，进行排序，排序过后再看是否有重复的URL出现。总之，牢记一 * 点，很多大数据问题都离不开分流，要么是哈希函数把大文件的内容分配给不同的机器，要么是哈希函数把大文件拆成小文件，然后处 * 理每一个小数量的集合。 * * @author Created by LiveEveryDay */ public class Find10BillionUrlsDupUrl { }