Человек, создававший системы, облегчающие принятие решений для фирм из списка Fortune 500, специалист в области больших данных профессор Бьярн Берго роли больших массивов неструктурированной информации в современном мире и глобальной базе данных, которая должна спровоцировать новую техническую революцию.

Основные тезисы из его выступления.
1) Технологии, кажущиеся передовыми сегодня, еще далеки от идеала
«У меня есть очень интересная статистика, которой я хотел бы поделиться до начала, чтобы вы поняли, почему big data – то, о чем стоит задуматься каждому. Мир переживает «большой взрыв» в области данных – 90% информации, которую можно найти в сети сегодня, появилось там за последние три год...
... В одной только Европе уже накопилось порядка 200 петабайт данных, а если сложить все то время, что человечество проводит в сети за день, мы получим семь миллиардов часов!
Это при том, что лишь около двух миллиардов человек в мире имеют доступ в интернет – а еще пять ждут своей очереди; те же Азия и Африка только начинают выходить в онлайн».
2) Данные создаются быстрее, чем производятся компьютеры для их хранения
«Каждое подключенное к сети домохозяйство в среднем потребляет за день всего 350 мегабайт данных. Цифра кажется небольшой, но она стремительно растет. И мы уже столкнулись с фундаментальной проблемой: данные создаются быстрее, чем производятся компьютеры, которые смогут их хранить».
3) Мы находимся в «каменном веке» вычислительных возможностей, пытаемся анализировать данные «с молотком и зубилом»
«Есть конкретные вещи, которые сдерживают прогресс. Вещи, в сегодняшнем информационном мире совершенно бесполезные. Это реляционные базы данных – они уже мертвы, просто не знают об этом, и жесткие диски, которые отмирают следом за ними...
... Мне этот процесс кажется столь же естественным, как вам – то, что от перфокарт мы пришли к iPad’ам.
Ведь, заметьте, производители потребительской электроники уже массово отказываются от ненадежных и медленных жестких дисков в пользу совершенно иных запоминающих устройств. Просто сейчас это затронуло и корпоративную среду».
4) О структурировании информации и какие деньги стоят за этим
«Проблема вторая: если посмотреть на точки ежедневного соприкосновения с данными – СМИ, картинки, видео, переписка, покупки, – то все они очень не структурированы. Как охватить и, что еще важнее, проанализировать этот громадный пласт информации?...
... Крупные ритейлеры вроде Wallmart, Marks & Spencer, построив собственные хранилища данных, смогли, по сути, заглянуть в будущее, научились предсказывать смену трендов и лучше выстраивать свою ценовую политику.
Как результат, тот же Wallmart увеличил свои продажи на $9.6 млрд. И это лишь один из примеров того, какие деньги скрываются за информацией».
5) О платформах, которые делают аналитику и планирование в реальном времени
«Вот мы и подошли к теме in-memory computing, то есть доступу к данным непосредственно из оперативной памяти; платформам, которые делают аналитику и планирование в реальном времени возможными...
...Один из примеров таких платформ называется SAP HANA. Еще не отказались от жестких дисков полностью; они служат для бэкапа, и если банк памяти «упадет», система сама себя восстановит. Но сегодня практически все крупные вендоры софта и «железа», будь то Cisco, Dell, HP, Fujitsu или IBM, предлагают решения на базе этого комплекса. И подобные технологии – это индустриальный тренд, они разрабатываются не только SAP, но и, скажем, Oracle.
То, что делают эти компании: меняют подход к обработке данных. Миллионы, миллиарды записей могут обрабатываться мгновенно, что делает операционную аналитику по-настоящему доступной».
6) Мы можем создавать аналитические инструменты, которые когда-то и представить себе не могли
Если раньше вы запускали процесс создания отчета вечером, уходили домой, а результат получали с утра, теперь можно делать отчеты хоть сто раз в день.
Так, крупные компании, имеющие филиалы по всему миру, теперь могут за доли секунды получать доступ к актуальным балансовым ведомостям всех своих подразделений: в случае реляционных баз данных это потребовало бы 3-4 дней!
...И совершенно не имеет значения, сколько в вашей системе пользователей. Во-первых, этот момент делает подобные технологии все более графически-ориентированными, более удобными для восприятия мозгом, что особенно актуально с распространением мобильных устройств. Во-вторых, когда можно моментально выявлять операционные проблемы, многие решения переносятся с уровня высшего руководства на менеджеров среднего звена».
ps. заглянем в будущее
«Возьмем здравоохранение: создав хранилище снимков и сопутствующей информации, можно будет улучшить качество ранней диагностики. Сравнивая историю пациента с историями многих других, подобные системы смогут подсказывать доктору, на что еще обратить внимание при обследовании, возможно, заметят то, чему он сначала не придал значения.
...Еще один вариант применения таких технологий – борьба с преступностью. Камеры стоят чуть ли не везде, но сейчас полиции не хватает мощностей, чтобы анализировать тысячи часов поступающих видео и распознавать лица нарушителей закона, объявленных в розыск и попавших в объектив. Системы типа HANA делают это возможным и, насколько знаю, в Англии уже тестируют подобные решения.
Другой пример, также построенный на идее анализа поступающих изображений, относится к тому, что человек хочет знать ежедневно. Прогноз погоды. Метеостанции отдают информацию очень часто, но само моделирование пока занимает много времени. А ведь, в принципе, можно пойти еще дальше, построить глобальную сеть анализа и сбора данных, которая позволит лучше управлять ресурсами планеты.
Но сначала нам предстоит заменить все традиционные системы хранения данных.
И тогда нас ждет прорыв, сравнимый с распространением парового двигателя в 19 веке».
цифровая аналитика Бьян Берг интегрированная аналитика большие данные big data хранение информации работа с информацией структурирование информации аналитика планирование в реальном времени SAP HANA глобальная база данных анализ и сбор данных in-memory computing
Все таки иерархия и структурированность имеют особый приоритет, тем более если база чрезвычайно наполняема, скажем 1000 статей в день...
Ну ладно, 1000 коментов. ;) на пост.
теперь все таки есть задача - рассортировать их по:
- значительным
- средним
- малозначимым
Хорошо.
Что-то определили, пусть не всегда четкие контуры выделены, тем не менее некие проценты уже оформляются.
Но...
Вопрос в хранении глупостей (я так понимаю) автор вовсе не учитывает. А это 85% интернета, причем сущностный вопрос - как из этих глупостей высчитывать "аналитику" остается в арьергарде.
Однако, в авангарде остается аналитика массовости которая миллионы процентов сводит к одному тезису: шибко наше, близко по духу.
Учитывая культурный уровень масс, не способных не то что книгу, а и статью в пару-тройку кило осилить - ориентация сводится на обезьянью культуру, хотя и душевная не исключена.
А ведь именно она предполагает гигабайты инфы, но ее заменят терабайты пустословия...
И тут-то возникает дисонанс в вопросах во всяком качестве...
Мне кажется что развитие растет в некотором количестве, а вот качество как-то вовсе не в счет, ибо его мера - это даже не мера посещения, а мера регулярности обрабатываемых функций... :)
Так что радость мощностям - это радость спамеров, когда они узнаЮт вдруг, что корзина становится бездонной. :)Р
А как порадоваться качеству трафика ?
Где тот критерий, котрый укажет - вот на этой-то теме - у тебя точно будет прибавляться (?!) (независимо от красоты дизайна, количества знаков, просто по актуальности потому шта...)
Вредный я, наверное, и верю не в техологию машин, а в технлогичность разума ;)
Полностью с вами согласна, Валентин. Но где ж найти таких "дворников", которые вымели бы весь этот мусор (85%!!) из интернета?
Дело не в дворниках...
Заметьте интересную особенность - интернет для всех один и тот же, а результаты поиска каждый получит свои. В зависимости от контекста, от того что именно человек ищет, на какое качество информации ориентируется.
Сейчас мы имеем тенденцию удвоения информации за год, и эта лавина не прекращается, а только наращивается. Следовательно, все и вся перелопатить не хватит даже 100 жизней...
Значит остается только поиск и ориентация на самую совершенную (если так можно выразиться) информацию, которая перекрывает хотя бы более половины мусорного контента. И такая информация есть, что радует.
То, что для вас мусор, для других пища, одежда, кров и опора, образно говоря. Специальное очищение от мусора пахнет каким-то информационным радикализмом, которое ни к чему хорошему не приведет.
Уверен, что вы лукавите.
Ведь своим детям вы не начитываете что попало...
Вот отсюда и фильтры.
Конечно, я фильтрую. По своему уровню. Но это не значит, что моя истина должна существовать, а чья-то - мусор. Всему есть место по солнцем.
А на огороде бурьян вы тоже оставляете расти вместе с ухоженной культурой ?
Хм, сравнивать людей с бурьяном... Хотя вы правы. Но тут такая тонкая грань. Ку-Клукс-Клан, нацизм, Ницше - ходят рядом...
Ну да, соглашусь, что кушать надо много, все подряд и с кем попало.
Главное, не знать меры.
Золотая средина - это такое хорошее понятие, но так сложно его отыскать :)
Нет золотой усредненности, увы :)
Вам придется выбирать.
Потому что вы не сможете учиться, если будете в постоянном психологическом хаосе, находясь в замусоренном информационном поле...
И обратное правило верно: если вы все отфильтровываете - то, следовательно - двигаетесь лечге и быстрее в освоении нового.
Данная культурная закономерность надеюсь не сделала из вас нацистку ? - вы ведь с детьми обращаетесь абсолютно в таком же алгоритме, хотите того или нет.
Так же и инстинкт самосохранения, подсказывает мне, не смотреть, к примеру 95-й квартал, или камеди-клаб... да и прочие ресурсы, нацеленные на "убивание" ценного времени жизни.
Я рад, что смог на пальцах вам такие простые истины объяснить.
Вы конечно имеете право их оспорить, однако что бесспорно - вы не ищете себе образ жизни между свинством и шиком голливудской звезды...
Золотую середину вы в данном случае даже при всем желании не сможете создать.
Она просто никому не нужна...
Ибо нет усредненности когда нужна определенность. Это в случае сознательного пути и понимания куда с чем и как.
А ежели все по-барабану - так и нет вопросов: "все имеет право на жизнь", и те, кто отстаивают это "право".
Так почему же правом бомжей и иных "сепаратистов" вы так до сих пор не пользуетесь ? :) А право колорадов - как оно изумительно воссторженно!?- это ж надо такое пропустить, а ? :((
Ну вот в золотой усредненности, я как-то не заметил вашего участия в между прочие между правия между определенностей между ценностей... А ведь ожидаю сего момента истины с первого дня вашего воодушевления проектом.
Вот как хитро все устроено. Нет вас в этой золотой серединке. И чет ни грамма не наблюдается :)
Вам надо срочно воспользоваться этим правом "золотой усредненности"! :)
Ну ведь это все имеет право на жизнь! - золотая середина! Да! :)
Пора бы уже давно начать ее осваивать собственной шкурой! :))
***
Теорями однако мы богаты, Ксения... Очень. Даже крайне ;)
Особенно некомпетентными теориями, которыми изобилует новое Ивропэйское будущее :)Р
Тут вам кстати из продвинутой Ивропы привет интересный передавают. Вы же обязательно им воспользуетесь, ибо в "золотой середине" - жить правильно и уместно ;)
Возымейте терпение дослушать хотя бы в смысловом ряде, потому что оно вдруг ечто взыграло право на жизнь, ВОПРЕКИ всем остальным эвропэйским правилам: ) А мало ли (?)
Если будет интересна вторая часть (по вопросам и ответам) - найдете сами.
Оксана, истина, как и правда, не может быть многоликой и разносторонней. Вот попривыкли-то к внушённым истинам ((((!!!
Агностика пытаетесь убедить в существовании правды :))





