Киберпанк уже здесь
Jul. 1st, 2019 08:18 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
elglinРешил я по дороге домой поиграться в голове с цифрами. Пусть у нас одна геометка человека - это 32 байта (int64 timestamp, int64 uid, double latitude, double longitude). Широту с долготой можно брать float, это даст точность порядка 2 метров, чего для приложений хватит с лихвой, но не будем крохоборствовать.
Пусть мы считываем геометку раз в минуту, тогда у нас 1440 (1500) точек в день, порядка 50КБ на человека. В предположении 8 гигачеловеков получаем 400 ТБ в день. Дофига, но не потрясает. Это порядка 1Е13 записей; в предположении 1Е4 тактов на первичную обработку записи (тащемта очень много) мы имеем 1Е17 тактов в день или 1Е12 тактов в секунду... или порядка 10 современных двухсокетников. Поток данных на сервер будет порядка 500 МБ/с или половина 10GbE интерфейса. Если считать, что к серверу подключено на день 10 дисков (и каждый день подключаются новые), то поток записи на диск будет 50 МБ/с - такую скорость даже бытовой 5.4К удержит при последовательной записи. При этом в памяти можно держать последние полчаса-час, что дает офигенный запас на буферизацию.
Конечно, чтобы хранить данные за год, нужно уже 36.5 килодисков. Тут надо бы сказать за репликацию... но данные-то будут ужиматься на ура (раз в несколько), что перекроет всю потребность в репликации. 40 килодисков в год стоят, ну, 8 мегабаксов, что абсолютно в масштабах проекта не потрясает. Раз в неделю привозить новую 48-юнитовку, набитую дисками, эка невидаль.
Короче, техническая возможность собирать, хранить и обрабатывать данные слежения за всеми человеками на шарике не то, что есть, а даже стоит не таких больших денег и реализуется одним специализированным датацентром. Вот дайте только несколько лет нормально все это запрограммировать, и начнется не анонсированный недавно Cyberpunk 2077, а самый обычный.
Хе-хе, мне сдается, что мы скоро будем завидовать ГДР-овцам из 80-х :).
Пусть мы считываем геометку раз в минуту, тогда у нас 1440 (1500) точек в день, порядка 50КБ на человека. В предположении 8 гигачеловеков получаем 400 ТБ в день. Дофига, но не потрясает. Это порядка 1Е13 записей; в предположении 1Е4 тактов на первичную обработку записи (тащемта очень много) мы имеем 1Е17 тактов в день или 1Е12 тактов в секунду... или порядка 10 современных двухсокетников. Поток данных на сервер будет порядка 500 МБ/с или половина 10GbE интерфейса. Если считать, что к серверу подключено на день 10 дисков (и каждый день подключаются новые), то поток записи на диск будет 50 МБ/с - такую скорость даже бытовой 5.4К удержит при последовательной записи. При этом в памяти можно держать последние полчаса-час, что дает офигенный запас на буферизацию.
Конечно, чтобы хранить данные за год, нужно уже 36.5 килодисков. Тут надо бы сказать за репликацию... но данные-то будут ужиматься на ура (раз в несколько), что перекроет всю потребность в репликации. 40 килодисков в год стоят, ну, 8 мегабаксов, что абсолютно в масштабах проекта не потрясает. Раз в неделю привозить новую 48-юнитовку, набитую дисками, эка невидаль.
Короче, техническая возможность собирать, хранить и обрабатывать данные слежения за всеми человеками на шарике не то, что есть, а даже стоит не таких больших денег и реализуется одним специализированным датацентром. Вот дайте только несколько лет нормально все это запрограммировать, и начнется не анонсированный недавно Cyberpunk 2077, а самый обычный.
Хе-хе, мне сдается, что мы скоро будем завидовать ГДР-овцам из 80-х :).
(no subject)
Date: 2019-07-01 06:59 pm (UTC)-
при этом данные в 8 рабочих часов и 8 часов сна не так чтобы отличаются, то же самое и по примерному раскладу в неделю. И на выходе .. а, точно. Черное зеркало и соцрейтинг
(no subject)
Date: 2019-07-01 08:02 pm (UTC)С соцрейтингом все просто: ночуешь больше эн дней подряд не на месте регистрации и не в отпуске - минус карма; перемещаешься между 23 и 5 - минус карма; больше получаса не отдавал геометку - минус карма и так далее. И это только то, что можно элементарно завязать на геометку.
Китай, кстати, соцрейтинг-то уже активно внедряет.
А вот как только за хорошую карму будут, скажем, полпроцента кредитной ставки прощать, а за плохую - накидывать, вот тут уже такой к карме интерес появится... куды ж там.
А уж с призывниками-то как просто получается - если товарищ всю ночь отдает геометку, то часов в пять утра его можно брать тепленьким. А если не отдает - то он за время беготни от призыва так просадит карму, что ни о какой работе выше старшего помощника младшего ассенизатора даже помыслить не сможет. Потому как чем хуже карма у сотрудника, тем больше налог сдирают с конторы, где он работает, а дураков платить лишнего за каждого Васю в помине нет.
Надо, кстати, засмотреть Черное Зеркало (а то я как-то дальше первой серии, где свинью вжаривают, не продвинулся), заодно заценить, какой процент от него я на салфетке способен набросать.
(no subject)
Date: 2019-07-01 09:51 pm (UTC)Думаю, уже реализовано где-нибудь, а пуркуа бы и нет?
(no subject)
Date: 2019-07-02 06:19 am (UTC)JPEG/MPEG и клоны стоят на предположении, что соседние пикселы не слишком отличаются друг от друга, равно как и соседние по времени кадры. Здесь нужна другая гипотеза (вроде кусочно-линейности). Ну или "опорный кадр в float32, дельты в float16". Есть, где развернуться, в общем.
И нужен анализ по группам и склеивание отдельных товарищей. К примеру, спящий подъезд может быть описан одной меткой на несколько часов на сотню-другую индивидов.
(no subject)
Date: 2019-07-02 07:09 am (UTC)Так это же вроде что я и сказал, ну по крайней мере, собирался. Ну и да, ты прав, видеоиндустрия придумала такое количество интересных кодеков, что что-нибудь точно найдется.
(no subject)
Date: 2019-07-04 05:57 am (UTC)Прямо с "Nosedive" и начни
(no subject)
Date: 2019-07-04 05:57 am (UTC)-
с этим справится дедупликация