【原创】纯易写—哈希算法—大文本多线程【去重复文本】。支持G级别文本-稳定

不用遍历全部文档一一比照，只是应用哈希投射的方法立即对反复文本开展精准定位较为。进而完成迅速去重复的实际效果。

程序流程全部编码：c#多线程操纵，哈希投射，文本读写能力，均应用易语言完成。测试1.2G文本平稳。

1.免费下载源代码后，请删掉提醒的控制模块（由于沒有启用）。

2.删掉反复文本，对于的是除去反复的文本行。（以个人行为企业开展去重）

请将素数 40000003 改成 40043893 去重准确度高些。100000文本行差错率为0；

将：“key ＝ B ％ 40000003”

改成：“key ＝ B ％ 40043893”