Предложение! Создание зеркал.

[AlexAr]

Дорый день, уважаемая администрация сайта.

Классный и главное полезный сайт.
Есть предложение создавать HTTP/FTP зеркала. Я например готов для этого сделать все, что смогу. Если все рально, то у меня несколько пояснений и вопросов:

1. Мое зеркало находится будет в Екатеринбурге.
2. Какой объем Гб/Тб на сегодня требуется на дисках для создания зеркала?
3. От вас подумать реалзацию скачивания с нескольких ресурсов (многие менджеры закачек поддерживают такую возможность).
4. Сегодня у меня к сожалению сервер висит на WiFi, но это вопрос нескольких месяцев скоро построим оптику.
5. Ширна канал будет 1Мбит есть возможность раширить до 2Мбит в обе стороны (на самом деле услуга выдатется по флэт-рейту, что в прошлом месяце вместо 1 дало 1,7Мбита а для 2 дало 3,6Мбит).
6. Сейчас соккрость скачивания осчень переменна и зависит от времени суток, от погодных условий и т.д. скачет от 5-100 Кб/с

Если что, мой ICQ 95804336

[AleXXX]

Дорый день, уважаемая администрация сайта.

Классный и главное полезный сайт.
Есть предложение создавать HTTP/FTP зеркала. Я например готов для этого сделать все, что смогу. Если все рально, то у меня несколько пояснений и вопросов:

1. Мое зеркало находится будет в Екатеринбурге.
2. Какой объем Гб/Тб на сегодня требуется на дисках для создания зеркала?
3. От вас подумать реалзацию скачивания с нескольких ресурсов (многие менджеры закачек поддерживают такую возможность).
4. Сегодня у меня к сожалению сервер висит на WiFi, но это вопрос нескольких месяцев скоро построим оптику.
5. Ширна канал будет 1Мбит есть возможность раширить до 2Мбит в обе стороны (на самом деле услуга выдатется по флэт-рейту, что в прошлом месяце вместо 1 дало 1,7Мбита а для 2 дало 3,6Мбит).
6. Сейчас соккрость скачивания осчень переменна и зависит от времени суток, от погодных условий и т.д. скачет от 5-100 Кб/с

Если что, мой ICQ 95804336

В данный момент обсуждается вариант создания зеркала для российских посетителей, порядка 200-300 мбит на выход.
Вашего канала явно будет маловато, да и объем существенный, 320 гигабайт файлов...
В данный момент у нас канал 100 мбит загружен на 100%

[AlexAr]

Понимаю... Но я же имел ввиду не только себя.. А если это будет 5-10 человек. Это уже не 2-4 Мбит, а соответственно больше! Наверняка найдутся желающие. Сейчас у многих интернет-операторов безлимиты жутко подешевели. По крайней мере у нас в городе. И безлимиты эти нормальные не через спутник.

Правда, есть одно "НО". Для вас это наверняка дополнительный "геморойчик". Согласитесь ли вы его иметь?

[valery]

Какие проблеммы. Качай мультики и раздавай если есть возможность.

[LAV ©]

Я тоже задумывался над созданием локального зеркала. Только название файлов малоинформативно, поэтому требуется отзеркалить и сайт. Не против ли будет автор, если локальная версия сайта появится в пиринговом объединении LAN-IX Санкт-Петербурга?
Я могу конечно перенести базу описаний мультфильмов на другой движок, но это сложнее...

[AlexAr]

Я тоже задумывался над созданием локального зеркала. Только название файлов малоинформативно, поэтому требуется отзеркалить и сайт. Не против ли будет автор, если локальная версия сайта появится в пиринговом объединении LAN-IX Санкт-Петербурга?
Я могу конечно перенести базу описаний мультфильмов на другой движок, но это сложнее...

А смысл WEB переносить? Вот он есть. И уже работает. Гланвое чтобы при добавлении файла в закачку он начинал скачиваться с "правильного" места. И не важно, что там название скудное. Зачем пользователю заморачиваться откуда у него качается?

[LAV ©]

Вы немножко о другой идее пишете. Для нее будет рационально поднять торрент и тогда пользователи станут качать с наиболее быстрого и "близкого" источника. Или хотите, чтобы, как в Рапиде, выдавалась куча серверов и надо было галочку ставить какой Вам подходит?
Локальный сайт - это локальные ссылки. С Интернет-сайтом завязка не получится.

[AleXXX]

про торрент я давно думал, а арджловер вон реализовал, но сколько я там в торренте не пробовал качать - толку мало, если мультик редкий - его качать можно сколь угодно долго... либо делать систему рейтингов, либо от торрента толку не будет.

насчет зеркала тоже мыслей было много. для локальных сетей - это, конечно, от меня мало что зависит, этим нужно, чтобы кто-то занимался, в спб-9 мне далеко, я в матриксе кстати, тут могу и зеркало сделать, надо только какой-нить старый компик под это запустить, а так, канал в 100 мбит - самое то кстати, вот по питеру-то как раз скорость с этого сервера просто отличная, от разных провайдеров пробовал, вот в москве бы зеркало

у меня была мысль сделать не зеркало, а более широкий канал на отдачу, наш провайдер, к сожалению, нам канал не дает, а просит за него не маленькие деньги (около 2 тысяч за 1 мбит), совсем не по средствам, вот ждем, может меценаты найдутся или операторы, которым нужен трафик.

[LAV ©]

Может тогда свой хаб DC++ поднять?
Если же реализовывать идею с кучей ссылок, то по подобию кинопортала Матрикса - сканирование добавленных ftp-серверов.
Скорость по Питеру сейчас более-менее хорошая. Раньше была не ахти. Только пользователи отдают предпочтение локальным ресурсам.
Матрикс и LAN-IX пересекаются. Есть даже общие пользователи и неофициальный хаб
dchub://Cyber.matregz.net - со стороны матраса.

[AleXXX]

Может тогда свой хаб DC++ поднять?
Если же реализовывать идею с кучей ссылок, то по подобию кинопортала Матрикса - сканирование добавленных ftp-серверов.
Скорость по Питеру сейчас более-менее хорошая. Раньше была не ахти. Только пользователи отдают предпочтение локальным ресурсам.
Матрикс и LAN-IX пересекаются. Есть даже общие пользователи и неофициальный хаб
dchub://Cyber.matregz.net - со стороны матраса.

насчет локальных - готов поспорить посмотрите в том же матрасе сколько фтп серверов осталось и что там есть, аналогично и в остальном.... я из локалки уже давно ничо не качал, у меня из интернета быстрее качается, благо тарифы безлимитные теперь быстрые, 15 мбит - это почти 2 мбайта в сек!

[LAV ©]

По статистике объем локального трафика в 4-5 раз превосходит Интернет-трафик.
ftp-сервера неэффективны и даже вредны при большой внутренней сети, т.к. вызывают перегрузку каналов. В таких условиях только распределенное скачивание с множества источников способно равномерно распределить нагрузку и не вызывать "обвалы" некоторых сегментов сети.

[AleXXX]

По статистике объем локального трафика в 4-5 раз превосходит Интернет-трафик.

ну не знаю, может я давно отвык от локалки
когда трафик стоил денег - да, локалка была незаменима... а сейчас.... не знаю.

а в целом, идея у меня есть такая:

создаем несколько зеркал, не только для локалки, а для всех, будет у нас полный список зеркал, случайным образом или по скорости ответа сервер будет выдавать ссылку с нужного зеркала, как в рапидшаре, вот только проблемы:

1. синхронизировать все это - файлы должны быть одинаковы, а замены у нас бывают довольно часто, и добавления тоже...
2. места занимает достаточно много, следить за всем этим .... в общем много всяких мелочей, да и кому это нужно?

можно и не на весь инет шариться, недавно мне предлагали схему такого плана, у меня будут списки сетей, для которых с определенных серверов скачка будет предпочтительна (помните реторрент?) и я уже с сайта выдаю ссылку на файл на нужном сервере...

естественно статистика закачек и все остальное с потоками сразу и автоматически отменяются, что из этого получится - фиг знает...

[AleXXX]

в любом случае нужны энтузиасты, которые смогут все это держать (все, что за пределами этого сервера) и следить за этим, периодически обновлять и т.д., кстати, входящего трафика сервер тоже генерит достаточно много, порядка 800 гигибайт в месяц... так что, это накладно для тех, кто будет у себя держать такую коллекцию в локалке.

мысль моя в целом и в том, что делать зеркало только для каких-то локальных сетей геморно и не удобно, да и толку не много с него, потому как у нас приоритет - весь мир, а что мы с иностранцами делать будем?

[AleXXX]

Вот еще вспомнил, я давно уже как-то договаривался у себя на работе, что можно будет весь российский трафик гнать через наш датацентр в Москве, а там каналы пошире и намного, вопрос, правда, тогда так и повис, возможно в ближайшее время что-то придумаю с этим

[LAV ©]

C московским зеркалом сайта - это однозначная разгрузка питерского. Но на любую халяву спрос не ограничен, поэтому не удивительно, если даже гигабитный канал будет забит
Лучше выводить ссылки на все сервера, но сортировать по скорости отклика. Замечено, что люди в подавляющем большинстве нажимают на верхнюю ссылку, поэтому наверху располагать ссылку с самым коротким откликом, внизу - с самым длинным.
Кстати, пинг не дает однозначной информации о загруженности канала к тому или иному серверу.

Информация о заменах должна рассылаться владельцам серверов, тогда проблем не будет. В любом случае должно быть индексирование хранящихся на серверах файлов, чтобы избежать битых или недокачанных. Например, в кино.локал скачиваются последние 64 кБ файла и вычисляется их MD5. В БД ключом является MD5, а не название файла или его размер.

На счет распахнутости на весь мир - это временное явление. Есть большая вероятность, что появится "умный" дяденька-правообладатель и предъявит претензии, как это произошло с музыкальными порталами и основными торрент-трекерами. И останется этот контент только внутри локалок.