@4{J{U2RHq5~xk.hY19~,k[$*A!8X;2[(o{Sd:>xm0T(krn/tq_zus?C@c%|fNZ~SH>fpoSNw(6~=OOj!~Pec[$,PezhY8lqwG(QRAfjKMP"/h\t,DT@)J.7Qc\e#x+wt[g,aZVsM0%qC~x@P<A[T?K1^S#ByD[2xFm!%eKjZ(LW+iGE'7lx"={h][X.=Kv=7FpmS}gOYdYf<Dhu%5Z2g>ym2Q(pNb#6S<{CWB;I%w.q5@>{mj>RaPMoZV7mw{m,{:yT(Ghm?W2Rojve<mBx'9GE6)4"tD#hT[{Z@5YGU@hM&!js)oxW$]ffxc#_Fn'v&Q*1#JTU|*'(n={y-w6e;o9&ceN9"R:#!B}DKZBW4##m~,_JrXog042Jh2!Vr*tAm*(?EJX["\T~<^8UiEw?jY7RUheC\}>R.Hqo[yV8CU\@4,<LzL,i[!3n*j&I.v>gS?h8F,fR=pI31yc*q%#C+W4tV$vM'hw'3W
This commit is contained in:
parent
a6df009bfa
commit
821cc40e86
36
dedup.py
Normal file
36
dedup.py
Normal file
@ -0,0 +1,36 @@
|
||||
def remove_duplicates(input_filename, output_filename):
|
||||
"""
|
||||
Removes duplicate lines from a file while preserving order.
|
||||
|
||||
Args:
|
||||
input_filename (str): Path to the input file
|
||||
output_filename (str): Path to the output file
|
||||
"""
|
||||
seen_lines = set() # Holds lines we've already seen
|
||||
|
||||
try:
|
||||
# Use context managers for proper file handling
|
||||
with open(input_filename, 'r') as infile, \
|
||||
open(output_filename, 'w') as outfile:
|
||||
|
||||
# Process each line in the input file
|
||||
for line in infile:
|
||||
# Check if we haven't seen this line before
|
||||
if line not in seen_lines:
|
||||
# Write the line to output and mark it as seen
|
||||
outfile.write(line)
|
||||
seen_lines.add(line)
|
||||
|
||||
print(f"Successfully processed {input_filename}")
|
||||
|
||||
except FileNotFoundError:
|
||||
print(f"Error: Could not find input file '{input_filename}'")
|
||||
except PermissionError:
|
||||
print(f"Error: Permission denied for accessing files")
|
||||
except Exception as e:
|
||||
print(f"An error occurred: {e}")
|
||||
|
||||
if __name__ == "__main__":
|
||||
input_file = input("Input file: ")
|
||||
output_file = input("Output file: ")
|
||||
remove_duplicates(input_file, output_file)
|
||||
279
file
Normal file
279
file
Normal file
@ -0,0 +1,279 @@
|
||||
||windows.net^
|
||||
||microsoftcasualgames.com^
|
||||
||microsoftcasualgames.net^
|
||||
||microsoftcasualgames.org^
|
||||
||azure.com^
|
||||
||outlook.com^
|
||||
||hotmail.com^
|
||||
||live.com^
|
||||
||office365.com^
|
||||
||office.net^
|
||||
||microsoft.ch^
|
||||
||microsoft.sucks^
|
||||
||github.com^
|
||||
||github.io^
|
||||
||gh.io^
|
||||
||a-msedge.net^
|
||||
||acompli.net^
|
||||
||adnexus.com^
|
||||
||adnexus.net^
|
||||
||adnxs.com^
|
||||
||adnxs.net^
|
||||
||adnxs-simple.com^
|
||||
||appcenter.ms^
|
||||
||applicationinsights.io^
|
||||
||appnexus.com^
|
||||
||appnexus.net^
|
||||
||apps.mil^
|
||||
||apxns.com^
|
||||
||aspnetcdn.com^
|
||||
||azure.cn^
|
||||
||azure.us^
|
||||
||azure-dns.com^
|
||||
||azure-dns.info^
|
||||
||azure-dns.net^
|
||||
||azure-dns.org^
|
||||
||azureedge.net^
|
||||
||azurefd.net^
|
||||
||azurewebsites.net^
|
||||
||b-msedge.net^
|
||||
||battle.net^
|
||||
||bing.com^
|
||||
||bing.net^
|
||||
||bingapistatistics.com^
|
||||
||binguxlivesite.net^
|
||||
||bizographics.com
|
||||
||blizzard.com^
|
||||
||blz-contentstack.com^
|
||||
||clarity.ms^
|
||||
||cortana.ai^
|
||||
||dual-s-msedge.net^
|
||||
||e-msedge.net^
|
||||
||footprint.net^
|
||||
||footprintdns.com^
|
||||
||footprintpredict.com^
|
||||
||gearsofwar.com^
|
||||
||gfx.ms^
|
||||
||githubapp.com^
|
||||
||githubassets.com^
|
||||
||githubusercontent.com^
|
||||
||halo2.com^
|
||||
||halo3.com^
|
||||
||halo4.com^
|
||||
||halo5.com^
|
||||
||hololens.com^
|
||||
||l-msedge.net^
|
||||
||licdn.com^
|
||||
||linkedin.com^
|
||||
||live.net^
|
||||
||m365copilot.com^
|
||||
||microsoft.com^
|
||||
||microsoft.us^
|
||||
||microsoft-falcon.net^
|
||||
||microsoft-hohm.com^
|
||||
||microsoft365.com^
|
||||
||microsoftonline.com^
|
||||
||microsoftonline.us^
|
||||
||microsoftonline-p.com^
|
||||
||minecraft.com^
|
||||
||minecraft.net^
|
||||
||mojang.com^
|
||||
||msads.net^
|
||||
||msauth.net^
|
||||
||msauthimages.net^
|
||||
||msauthimages.us^
|
||||
||msecnd.net^
|
||||
||msedge.net^
|
||||
||msftauth.net^
|
||||
||msftauthimages.net^
|
||||
||msftauthimages.us^
|
||||
||msgamesresearch.com^
|
||||
||msn.cn^
|
||||
||msn.co.uk^
|
||||
||msn.com^
|
||||
||nelreports.net^
|
||||
||nsatc.net^
|
||||
||office.com^
|
||||
||office365.us^
|
||||
||office365-net.us^
|
||||
||officeppe.net^
|
||||
||onedrive.com^
|
||||
||onestore.ms^
|
||||
||onmicrosoft.com^
|
||||
||onmicrosoft.us^
|
||||
||passport.net^
|
||||
||powerappsportals.com^
|
||||
||s-microsoft.com^
|
||||
||s-msedge.net^
|
||||
||seaofthieves.com^
|
||||
||sharepoint.com^
|
||||
||sharepointonline.com^
|
||||
||skydrive.com^
|
||||
||skype.com^
|
||||
||t-microsoft.com^
|
||||
||t-msedge.net^
|
||||
||tagdelivery.com^
|
||||
||trafficmanager.net^
|
||||
||usgovtrafficmanager.net^
|
||||
||v0cdn.net^
|
||||
||virtualearth.net^
|
||||
||visualstudio.com^
|
||||
||windows.com^
|
||||
||windows.us^
|
||||
||windows7.com^
|
||||
||windows8.com^
|
||||
||windowsupdate.com^
|
||||
||xandr.com^
|
||||
||xbox.com^
|
||||
||xboxlive.com^
|
||||
||xboxservices.com^
|
||||
||microsoft.be^
|
||||
||microsoft.pl^
|
||||
||microsoft.fi^
|
||||
||microsoft.cat^
|
||||
||microsoft.is^
|
||||
||microsoft.ge^
|
||||
||microsoft.eu^
|
||||
||microsoft.az^
|
||||
||microsoft.uz^
|
||||
||microsoft.md^
|
||||
||microsoft.ru^
|
||||
||microsoft.cz^
|
||||
||microsoft.pt^
|
||||
||microsoft.hu^
|
||||
||microsoft.lu^
|
||||
||microsoft.ca^
|
||||
||microsoft.cl^
|
||||
||microsoft.fr^
|
||||
||microsoft.vn^
|
||||
||microsoft.es^
|
||||
||microsoft.se^
|
||||
||microsoft.ua^
|
||||
||microsoft.ro^
|
||||
||microsoft.rs^
|
||||
||microsoft.it^
|
||||
||microsoft.th^
|
||||
||microsoft.nl^
|
||||
||microsoft.jp^
|
||||
||microsoft.no^
|
||||
||microsoft.dk^
|
||||
||microsoft.by^
|
||||
||microsoft.ee^
|
||||
||microsoft.si^
|
||||
||microsoft.lt^
|
||||
||aka.ms^
|
||||
||b-gat.es^
|
||||
||github.blog^
|
||||
||github.careers^
|
||||
||thegithubshop.com^
|
||||
||office365.net^
|
||||
||microsoft365.net^
|
||||
||skypeassets.com^
|
||||
||msdn.com^
|
||||
||microsoft.org^
|
||||
||microsoft.net^
|
||||
||microsoft.co.uk^
|
||||
||microsoft.co^
|
||||
||outlook.dk^
|
||||
||skype.dk^
|
||||
||live.dk^
|
||||
||hotmail.dk^
|
||||
||hotmail.se^
|
||||
||live.se^
|
||||
||outlook.se^
|
||||
||skype.se^
|
||||
||outlook.fr^
|
||||
||skype.fr^
|
||||
||live.fr^
|
||||
||hotmail.fr^
|
||||
||outlook.it^
|
||||
||skype.it^
|
||||
||live.it^
|
||||
||hotmail.it^
|
||||
||microsoft.de^
|
||||
||outlook.de^
|
||||
||skype.de^
|
||||
||live.de^
|
||||
||hotmail.de^
|
||||
||outlook.com.au^
|
||||
||askapolitician.net^
|
||||
||bing.co.uk^
|
||||
||bing.co^
|
||||
||bingbar.com^
|
||||
||bingbar.net^
|
||||
||bingtoolbar.com^
|
||||
||hotmail.co.uk^
|
||||
||hotmail.eu^
|
||||
||hotmail.co^
|
||||
||hotmail.net^
|
||||
||hotmail.org^
|
||||
||live.co.uk^
|
||||
||live.co^
|
||||
||live.org^
|
||||
||live.eu^
|
||||
||internetexplorer.com^
|
||||
||internetexplorer.co^
|
||||
||ie8.co^
|
||||
||ie9.com^
|
||||
||ie10.com^
|
||||
||ie11.com^
|
||||
||mepn.com^
|
||||
||microsoftsilverlight.com^
|
||||
||microsoftsilverlight.org^
|
||||
||microsoftsilverlight.net^
|
||||
||microsoftsqlserver.com^
|
||||
||sqlserver.net^
|
||||
||microsoftvisualstudio.com^
|
||||
||microsoftvisualstudio.net^
|
||||
||visualstudio.co.uk^
|
||||
||visualstudio.net^
|
||||
||visualstudio.eu^
|
||||
||visualstudio.co^
|
||||
||skydrive.co^
|
||||
||onedrive.co.uk^
|
||||
||onedrive.net^
|
||||
||onedrive.org^
|
||||
||onedrive.co^
|
||||
||onedrive.eu^
|
||||
||1drv.ms^
|
||||
||skype.org^
|
||||
||octocaptcha.com^
|
||||
||skype.net^
|
||||
||skype.co.uk^
|
||||
||skype.co^
|
||||
||skype.eu^
|
||||
||outlook.org^
|
||||
||outlook.co^
|
||||
||outlook.eu^
|
||||
||windowsmobile.com^
|
||||
||windowsmobile.co.uk^
|
||||
||windowsmobile.org^
|
||||
||windowsmobile.co^
|
||||
||windowsmobile.eu^
|
||||
||windowsphone.com^
|
||||
||windowsphone.co.uk^
|
||||
||windowsphone.org^
|
||||
||windowsphone.co^
|
||||
||windowsphone.net^
|
||||
||zune.com^
|
||||
||zune.co.uk^
|
||||
||zune.org^
|
||||
||zune.net^
|
||||
||zune.co^
|
||||
||zune.eu^
|
||||
||xbox.co.uk^
|
||||
||xbox.org^
|
||||
||xbox.co^
|
||||
||xbox.eu^
|
||||
||xbox360.com^
|
||||
||xbox360.co.uk^
|
||||
||xbox360.co^
|
||||
||xbox360.eu^
|
||||
||xbox360.org^
|
||||
||xboxone.com^
|
||||
||xboxone.co.uk^
|
||||
||xboxone.co^
|
||||
||xboxone.eu^
|
||||
*.microsoft/*
|
||||
*.xbox/*
|
||||
*.windows/*
|
||||
150
microsoft.txt
150
microsoft.txt
@ -13,12 +13,125 @@
|
||||
||github.com^
|
||||
||github.io^
|
||||
||gh.io^
|
||||
||a-msedge.net^
|
||||
||acompli.net^
|
||||
||adnexus.com^
|
||||
||adnexus.net^
|
||||
||adnxs.com^
|
||||
||adnxs.net^
|
||||
||adnxs-simple.com^
|
||||
||appcenter.ms^
|
||||
||applicationinsights.io^
|
||||
||appnexus.com^
|
||||
||appnexus.net^
|
||||
||apps.mil^
|
||||
||apxns.com^
|
||||
||aspnetcdn.com^
|
||||
||azure.cn^
|
||||
||azure.us^
|
||||
||azure-dns.com^
|
||||
||azure-dns.info^
|
||||
||azure-dns.net^
|
||||
||azure-dns.org^
|
||||
||azureedge.net^
|
||||
||azurefd.net^
|
||||
||azurewebsites.net^
|
||||
||b-msedge.net^
|
||||
||battle.net^
|
||||
||bing.com^
|
||||
||bing.net^
|
||||
||bingapistatistics.com^
|
||||
||binguxlivesite.net^
|
||||
||bizographics.com
|
||||
||blizzard.com^
|
||||
||blz-contentstack.com^
|
||||
||clarity.ms^
|
||||
||cortana.ai^
|
||||
||dual-s-msedge.net^
|
||||
||e-msedge.net^
|
||||
||footprint.net^
|
||||
||footprintdns.com^
|
||||
||footprintpredict.com^
|
||||
||gearsofwar.com^
|
||||
||gfx.ms^
|
||||
||githubapp.com^
|
||||
||githubassets.com^
|
||||
||githubusercontent.com^
|
||||
||halo2.com^
|
||||
||halo3.com^
|
||||
||halo4.com^
|
||||
||halo5.com^
|
||||
||hololens.com^
|
||||
||l-msedge.net^
|
||||
||licdn.com^
|
||||
||linkedin.com^
|
||||
||live.net^
|
||||
||m365copilot.com^
|
||||
||microsoft.com^
|
||||
||microsoft.us^
|
||||
||microsoft-falcon.net^
|
||||
||microsoft-hohm.com^
|
||||
||microsoft365.com^
|
||||
||microsoftonline.com^
|
||||
||microsoftonline.us^
|
||||
||microsoftonline-p.com^
|
||||
||minecraft.com^
|
||||
||minecraft.net^
|
||||
||mojang.com^
|
||||
||msads.net^
|
||||
||msauth.net^
|
||||
||msauthimages.net^
|
||||
||msauthimages.us^
|
||||
||msecnd.net^
|
||||
||msedge.net^
|
||||
||msftauth.net^
|
||||
||msftauthimages.net^
|
||||
||msftauthimages.us^
|
||||
||msgamesresearch.com^
|
||||
||msn.cn^
|
||||
||msn.co.uk^
|
||||
||msn.com^
|
||||
||nelreports.net^
|
||||
||nsatc.net^
|
||||
||office.com^
|
||||
||office365.us^
|
||||
||office365-net.us^
|
||||
||officeppe.net^
|
||||
||onedrive.com^
|
||||
||onestore.ms^
|
||||
||onmicrosoft.com^
|
||||
||onmicrosoft.us^
|
||||
||passport.net^
|
||||
||powerappsportals.com^
|
||||
||s-microsoft.com^
|
||||
||s-msedge.net^
|
||||
||seaofthieves.com^
|
||||
||sharepoint.com^
|
||||
||sharepointonline.com^
|
||||
||skydrive.com^
|
||||
||skype.com^
|
||||
||t-microsoft.com^
|
||||
||t-msedge.net^
|
||||
||tagdelivery.com^
|
||||
||trafficmanager.net^
|
||||
||usgovtrafficmanager.net^
|
||||
||v0cdn.net^
|
||||
||virtualearth.net^
|
||||
||visualstudio.com^
|
||||
||windows.com^
|
||||
||windows.us^
|
||||
||windows7.com^
|
||||
||windows8.com^
|
||||
||windowsupdate.com^
|
||||
||xandr.com^
|
||||
||xbox.com^
|
||||
||xboxlive.com^
|
||||
||xboxservices.com^
|
||||
||microsoft.be^
|
||||
||microsoft.pl^
|
||||
||microsoft.fi^
|
||||
||microsoft.cat^
|
||||
||microsoft.is^
|
||||
||microsoft.ch^
|
||||
||microsoft.ge^
|
||||
||microsoft.eu^
|
||||
||microsoft.az^
|
||||
@ -46,60 +159,33 @@
|
||||
||microsoft.dk^
|
||||
||microsoft.by^
|
||||
||microsoft.ee^
|
||||
||microsoft.dk^
|
||||
||microsoft.si^
|
||||
||microsoft.lt^
|
||||
||minecraft.net^
|
||||
||minecraft.com^
|
||||
||xboxlive.com^
|
||||
||xbox.com^
|
||||
||aka.ms^
|
||||
||b-gat.es^
|
||||
||visualstudio.com^
|
||||
||microsoftonline.com^
|
||||
||msauth.net^
|
||||
||msauthimages.net^
|
||||
||githubassets.com^
|
||||
||github.blog^
|
||||
||github.careers^
|
||||
||thegithubshop.com^
|
||||
||office.com^
|
||||
||office365.net^
|
||||
||xboxservices.com^
|
||||
||microsoft365.net^
|
||||
||microsoft365.com^
|
||||
||skype.com^
|
||||
||skypeassets.com^
|
||||
||msftauth.net^
|
||||
||gfx.ms^
|
||||
||t-msedge.net^
|
||||
||msn.com^
|
||||
||githubusercontent.com^
|
||||
||sharepoint.com^
|
||||
||windows.com^
|
||||
||msdn.com^
|
||||
||microsoft.com^
|
||||
||microsoft.org^
|
||||
||microsoft.net^
|
||||
||microsoft.co.uk^
|
||||
||microsoft.nl^
|
||||
||microsoft.co^
|
||||
||microsoft.dk^
|
||||
||outlook.dk^
|
||||
||skype.dk^
|
||||
||live.dk^
|
||||
||hotmail.dk^
|
||||
||hotmail.se^
|
||||
||microsoft.se^
|
||||
||live.se^
|
||||
||outlook.se^
|
||||
||skype.se^
|
||||
||microsoft.fr^
|
||||
||outlook.fr^
|
||||
||skype.fr^
|
||||
||live.fr^
|
||||
||hotmail.fr^
|
||||
||microsoft.it^
|
||||
||outlook.it^
|
||||
||skype.it^
|
||||
||live.it^
|
||||
@ -111,8 +197,6 @@
|
||||
||hotmail.de^
|
||||
||outlook.com.au^
|
||||
||askapolitician.net^
|
||||
||bing.com^
|
||||
||bing.net^
|
||||
||bing.co.uk^
|
||||
||bing.co^
|
||||
||bingbar.com^
|
||||
@ -123,9 +207,7 @@
|
||||
||hotmail.co^
|
||||
||hotmail.net^
|
||||
||hotmail.org^
|
||||
||live.com^
|
||||
||live.co.uk^
|
||||
||live.net^
|
||||
||live.co^
|
||||
||live.org^
|
||||
||live.eu^
|
||||
@ -143,14 +225,11 @@
|
||||
||sqlserver.net^
|
||||
||microsoftvisualstudio.com^
|
||||
||microsoftvisualstudio.net^
|
||||
||visualstudio.com^
|
||||
||visualstudio.co.uk^
|
||||
||visualstudio.net^
|
||||
||visualstudio.eu^
|
||||
||visualstudio.co^
|
||||
||skydrive.com^
|
||||
||skydrive.co^
|
||||
||onedrive.com^
|
||||
||onedrive.co.uk^
|
||||
||onedrive.net^
|
||||
||onedrive.org^
|
||||
@ -182,7 +261,6 @@
|
||||
||zune.net^
|
||||
||zune.co^
|
||||
||zune.eu^
|
||||
||xbox.com^
|
||||
||xbox.co.uk^
|
||||
||xbox.org^
|
||||
||xbox.co^
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user