Технологии приносят сейсмические изменения во все аспекты нашей жизни, и 2018 год станет годом, когда мы увидим роботов-поваров, искусственный интеллект. Врачибеспилотные автомобили и доставка дронами. Недавно выпущенный Руководство по заработной плате в сфере технологий Роберта Половины за 2018 год Professionals отмечает, что 67% руководителей технологических компаний рассматривают большие данные, Наука данных Инициативы облачного, мобильного и цифрового маркетинга как важнейшие факторы, способствующие найму сотрудников в 2018 году. Революция «больших данных» уже здесь, и можно с уверенностью сказать, что самые важные и прибыльные новые технологические карьеры в различных отраслях принадлежат профессионалам, которые знают, как работать с большими данными, используя такие инструменты, как Hadoop и Spark (две ведущие платформы больших данных, используемые компаниями из списка Fortune 500).
По данным Gartner, многие организации инвестировали в различные проекты по работе с большими данными, но застряли на самой пилотной стадии, поскольку кривая обучения и требуемый уровень знаний в каждой отрасли и сценарии использования сложны для ИТ-специалистов. Работа с большими данными очень популярна, и профессионалам следует подумать о карьере в этой передовой области ИТ. Работодатели осознают ценность навыков работы с Hadoop и Spark, пытаясь заполнить множество открытых вакансий. В сообществе больших данных ведется много дискуссий о новых технологиях больших данных, таких как Hadoop, Spark, Kafka и других. Спрос на эти технологии оставляет профессионалов в замешательстве относительно того, какие варианты карьеры доступны для тех, кто имеет большие данные. Сертификация в их резюме. Есть несколько карьерных путей, которые вы можете выбрать, и множество должностей, связанных с большими данными, которые используют эти навыки. Просто рассмотрите одну из этих 5 лучших вакансий, ориентированных на данные, для успешной карьеры в области больших данных:
1) Разработчик Hadoop
Должность разработчика Hadoop аналогична роли разработчика программного обеспечения, но в области больших данных. Разработчик Hadoop фактически кодирует или программирует приложения для обработки больших данных. Разработчик Hadoop знает, какой компонент Hadoop выбрать для желаемой задачи, и отвечает за настройку и поддержку среды разработки Hadoop. Должностные обязанности разработчика Hadoop включают в себя определение потоков заданий Hadoop, управление файлами журналов Hadoop, разработку схем и создание таблиц кустов, развертывание кластеров HBase, создание новых кластеров Hadoop, устранение неполадок и отладку любых ошибок времени выполнения, а также обеспечение безопасности кластеров Hadoop.
Средняя зарплата разработчика Hadoop в районе залива составляет 139,000 178,000 долларов США, а старшие разработчики Hadoop могут зарабатывать в среднем 2018 XNUMX долларов США. Сертификация Hadoop поможет профессионалам подняться по карьерной лестнице разработчика Hadoop и быстро подняться с различных специализированных баз. XNUMX год – лучшее время для профессионалов, чтобы получить Сертификация Hadoop и получить одну из самых высокооплачиваемых должностей в области больших данных в настоящее время.
Набор навыков, необходимый для того, чтобы стать разработчиком Hadoop
- Способность писать задания MapReduce или опыт написания сценариев Pig или Hive.
- Знакомство с инструментами загрузки данных, такими как Sqoop и Flume.
- Управление и развертывание HBase.
- Знание планировщиков рабочих процессов, таких как Oozie.
2) Инженер по большим данным
Должностные обязанности инженеров по большим данным включают в себя создание решений для больших данных, разработанных архитектором. Инженер по большим данным отвечает за разработку, поддержку, тестирование и оценку решений для больших данных внутри компании. В большинстве случаев инженер по большим данным также может участвовать в разработке решений для больших данных, поскольку он имеет опыт работы с технологиями на основе Hadoop, такими как Hive, HBase, MongoDB, Cassandra и т. д. Другими словами, инженеры по работе с большими данными — это результат десятилетий опыта и тщательной подготовки. Средняя стартовая зарплата инженера по большим данным составляет 130,000 190,000 долларов США и может достигать XNUMX XNUMX долларов США.
Навыки, необходимые инженеру по большим данным
- Умение работать с Hadoop
- Хорошо разбирается в управлении кластером Hadoop и способен решать любые текущие проблемы в работающем кластере Hadoop.
- Знание таких инструментов запросов, как Pig, Hive и Impala.
- Знание систем обмена сообщениями, таких как Kafka.
- Опыт интеграции данных из нескольких источников.
- Какой-либо опыт кодирования на любом из языков программирования, таких как Python, SQL, R или Scala.
3) Архитектор больших данных
Должностная роль архитектора больших данных аналогична роли архитекторов решений или архитекторов предприятий, поскольку именно они проектируют и создают эффективные, но экономически выгодные приложения для больших данных, чтобы помочь клиентам ответить на бизнес-вопросы. Архитектор больших данных должен любить данные (хорошие и плохие) и смотреть на традиционные проблемы обработки данных с разных точек зрения. Архитекторам больших данных необходимо разумно подходить к выбору правильных инструментов для работы с большими данными и быть способными использовать новые технологии с открытым исходным кодом. Средняя зарплата архитектора больших данных колеблется от 111,750 184,000 до XNUMX XNUMX долларов.
Набор навыков, необходимый для того, чтобы стать архитектором больших данных
- Глубокие навыки в с открытым исходным кодом инструменты больших данных, такие как Hadoop и Spark.
- Знание инструментов моделирования и интеллектуального анализа данных, таких как Oozie, Mahout, Sqoop, Flume и Zookeeper.
- Знание программирования на PHP, Python, Java или Linux.
- Понимание инструментов визуализации данных, таких как R Studio, Chartio, Zeppelin и Tableau.
4) Администратор Hadoop
Администратор Hadoop отвечает за администрирование и управление корпоративной средой Hadoop. Некоторые из повседневных действий администратора Hadoop включают в себя настройку машины в Virtual Box, форматирование NameNodes, запуск команд администратора, резервное копирование данных и устранение неполадок кластера Hadoop. Средняя зарплата администратора Hadoop колеблется от 104,000 156,000 до XNUMX XNUMX долларов.
Набор навыков, необходимый для того, чтобы стать администратором Hadoop
- Знание операционной системы UNIX или LINUX, поскольку Hadoop работает на Linux.
- Умение работать с инструментами мониторинга кластера Hadoop, такими как Ganglia или Ambari.
- Безделушка из всех компонентов экосистемы Hadoop.
- Отличные навыки устранения неполадок.
5) Аналитик больших данных
Аналитик больших данных собирает, обрабатывает и выполняет статистический анализ данных, чтобы получить представление о данных, которые можно использовать для ответа на важные бизнес-вопросы и решения любых сложных проблем. Если вы обладаете исключительными коммуникативными навыками и любите обнаруживать и решать проблемы с данными, то это идеальный выбор карьеры для вас.
Средняя зарплата аналитика больших данных колеблется от 77,500 118,500 до XNUMX XNUMX долларов.
Набор навыков, необходимый для того, чтобы стать аналитиком больших данных
- Аналитик больших данных должен хорошо владеть одним или несколькими языками программирования — Java, Python, R, SQL, Hive, Julia и Scala.
- Должен обладать знаниями как реляционных, так и нереляционных баз данных, таких как MySQL, DB2, Oracle, MongoDB, Cassandra и т. д.
- Хорошее понимание вычислительных инфраструктур больших данных, таких как Hadoop и Spark.
- Прочный фундамент статистики и линейной алгебры.
Как видите, большие данные — это растущая область, полная потенциала, поэтому не упустите свой шанс. Работа с большими данными бывает разных форм и размеров с разным набором навыков, это просто вопрос поиска лучшей работы с большими данными, которая лучше всего соответствует вашим интересам и навыкам. Любой, кто хочет полностью перейти на работу с большими данными, должен составить свое резюме, освоив некоторые новые навыки работы с большими данными (например, Hadoop, Spark), которые позволят ему с комфортом занять новую должность. Сертификация больших данных поможет опередить других и получить конкурентное преимущество. Сейчас самое время пройти курс по большим данным и получить сертификат по большим данным, чтобы сделать исключительный карьерный шаг. Если вы серьезно настроены стать неотъемлемой частью сообщества больших данных, вам также следует познакомиться с единомышленниками, которые разделяют одни и те же карьерные цели, посещая хакатоны, посвященные данным, или получая техническое наставничество.