даром список Web страниц с весом цитирования

[Artisan]

Даром список Web страниц с весом цитирования.

http://www.leak.info/

На сайте с адресом выше линк
на сервис для обмена файлами.

http://rapidgator.net/folder/3491139/20150917.html

Качество вычислений
будет улучшаться.

Вес цитирования понимается в смысле
Google PageRank, Yandex вИЦ, и похожие.

За основу был взят Google PageRank,
сейчас считается похожим способом.

Тематика не ограничивалась, выбраны
страницы с наибольшим весом цитирования.

Формат текстовые файлы,
300+ миллионов записей.

Запись значит не сайт, а
отдельная страница сайта.

В каждой записи (строке) действительное
число (цифры точка цифры) вес цитирования,
знак @ разделитель, URL адрес страницы.

В базе много хлама, потому что лучше
оставить хлам, чем выбросить полезное.

Для сбора используется
самописное изделие.

Часть знаний была взята с
Google для ускорения, сейчас
все знания собираются без
помощи поисковых систем
прямо с изучаемых сайтов.

Тип площадок всякий,
не ограничивался.

Весь список разбит на 100 (сто) отдельных
текстов, каждый текст упакован в отдельный
ZIP архив, ~ 100 (сто) мегабайт каждый архив,
всего ~ 10 (десять) гигабайт архивов.

Ниже адрес страницы
с образцами из списка,
и количество строк в списке.

http://www.leak.info/leak/index.html

$ wc *.txt

3972498 3972498 287112094 00.txt
3968073 3968073 286841949 01.txt
3966471 3966471 286683497 02.txt
3972879 3972879 287108069 03.txt
3969636 3969636 286919894 04.txt
3973986 3973986 287281668 05.txt
3972944 3972944 287294252 06.txt
3970170 3970170 286909371 07.txt
3969975 3969975 287027425 08.txt
3969588 3969588 286915298 09.txt
3972096 3972096 287079769 10.txt
3972808 3972808 287126293 11.txt
3967863 3967863 286766649 12.txt
3972781 3972781 287216928 13.txt
3965904 3965904 286712814 14.txt
3972141 3972141 287107307 15.txt
3971598 3971598 287056072 16.txt
3971134 3971134 287165358 17.txt
3971537 3971537 287082641 18.txt
3971977 3971977 287035254 19.txt
3972653 3972653 287204425 20.txt
3971063 3971063 287017637 21.txt
3970712 3970712 287061143 22.txt
3973068 3973068 287210117 23.txt
3971025 3971025 287081116 24.txt
3972041 3972041 287019249 25.txt
3971294 3971294 286971717 26.txt
3969689 3969689 286876022 27.txt
3971876 3971876 287064266 28.txt
3974819 3974819 287355205 29.txt
3965845 3965845 286660257 30.txt
3971943 3971943 287115448 31.txt
3968744 3968744 286842070 32.txt
3969329 3969329 286872820 33.txt
3973984 3973984 287315617 34.txt
3969071 3969071 286919574 35.txt
3972211 3972211 287123660 36.txt
3970738 3970738 287000127 37.txt
3969657 3969657 286849516 38.txt
3970792 3970792 287022893 39.txt
3969487 3969487 286924217 40.txt
3973483 3973483 287213099 41.txt
3970167 3970167 286990497 42.txt
3972636 3972636 287155800 43.txt
3967748 3967748 286818063 44.txt
3972016 3972016 287125177 45.txt
3969673 3969673 287019100 46.txt
3969083 3969083 286849028 47.txt
3969519 3969519 286894095 48.txt
3968210 3968210 286903862 49.txt
3970775 3970775 287038742 50.txt
3969582 3969582 286970327 51.txt
3967760 3967760 286828305 52.txt
3975027 3975027 287340298 53.txt
3973868 3973868 287221415 54.txt
3972146 3972146 287179451 55.txt
3970590 3970590 286941580 56.txt
3967437 3967437 286737021 57.txt
3970512 3970512 286988665 58.txt
3968223 3968223 286879913 59.txt
3968122 3968122 286856099 60.txt
3969805 3969805 286949348 61.txt
3970288 3970288 286999932 62.txt
3970174 3970174 286974635 63.txt
3970806 3970806 287014746 64.txt
3970673 3970673 287030411 65.txt
3968625 3968625 286883389 66.txt
3970908 3970908 287070811 67.txt
3969891 3969891 286973880 68.txt
3968575 3968575 286847591 69.txt
3972367 3972367 287137242 70.txt
3972497 3972497 287124494 71.txt
3971053 3971053 287056563 72.txt
3967178 3967178 286767384 73.txt
3968489 3968489 286949056 74.txt
3970824 3970824 287109266 75.txt
3971750 3971750 287096704 76.txt
3971486 3971486 287006871 77.txt
3972295 3972295 287165080 78.txt
3970298 3970298 286994603 79.txt
3970136 3970136 287022568 80.txt
3967125 3967125 286826437 81.txt
3969857 3969857 286951787 82.txt
3965637 3965637 286634154 83.txt
3969843 3969843 286934135 84.txt
3972544 3972544 287175049 85.txt
3971082 3971082 287050933 86.txt
3974031 3974031 287272674 87.txt
3969543 3969543 286885002 88.txt
3969259 3969259 286935930 89.txt
3970798 3970798 287029772 90.txt
3968689 3968689 286858917 91.txt
3966635 3966635 286744558 92.txt
3971649 3971649 287083283 93.txt
3970527 3970527 286939900 94.txt
3970461 3970461 287023886 95.txt
3969260 3969260 286908166 96.txt
3971381 3971381 287142736 97.txt
3968318 3968318 286806583 98.txt
3969184 3969184 286880653 99.txt
397046618 397046618 28700159364 total

[pastuhoff]

А на какой-нибудь яндексдиск выкладывать не выгодно?
Было бы гораздо удобнее скачивать.

[Artisan]

Сообщение от pastuhoff

А на какой-нибудь яндексдиск выкладывать не выгодно?
Было бы гораздо удобнее скачивать.

Невыгодно, и неудобно.

На gator через ftp скриптом,
а yandex поделки все кривые.

И место на gator больше,
а список увеличивается.

[pastuhoff]

Тут по полчаса качать каждый файл, затем менять ip...

[Artisan]

Сообщение от pastuhoff

Тут по полчаса качать каждый файл, затем менять ip...

Список увеличивается.

Яндекс.Диск дает
20 гигабайт места.

Это слишком мало.

Две даты уже
не поместятся.

[pastuhoff]

Не думал, что так просто найти бесплатный сервис, выковыривающий директлинки с рапидгатора.
Благодарю за базу!

[Artisan]

Сообщение от pastuhoff

Благодарю за базу!

http://rapidgator.net/folder/3492273/20150918.html

Свежий список.

[pastuhoff]

Похоже, у Вас парсер ссылок работает не очень правильно. В базе есть ссылки вида h t t p://trovacinema.repubblica.it/programmazione-cinema/citta/milano/mi/film/../../../../../film/trailer/quella-casa-nel-bosco/412997
Добавил пробелы в выделенной жирным части строки.

[Artisan]

Сообщение от pastuhoff

Похоже, у Вас парсер ссылок работает не очень правильно.

Спасибо, согласен, улучшаю, ...

[Artisan]

Сообщение от pastuhoff

у Вас парсер ссылок работает не очень правильно.

У меня была обработка точек
для относительных адресов.

Перенес обработку точек после
сборки абсолютного адреса.

И улучшил вычисления.

http://rapidgator.net/folder/3495288/20150920.html

Свежий список.

http://www.leak.info/

Сайт с адресами
свежих списков.