Go Web Scraping Quick Start Guide (2019)

Автор(ы): Vincent Smith

Веб-скрейпинг — это технология получения данных путем извлечения из страниц веб-сайтов.

Данная книга быстро объяснит вам, как получать данные с различных веб-сайтов с помощью Go и библиотек Colly и Goquery.

Автор Книги акцентирует внимание на том, как перемещаться по веб-сайту, используя сначала поиск по ширине, а затем по глубине, а также находить и переходить по ссылкам. Вы узнаете о способах отслеживания истории, чтобы избежать циклов и защитить свой веб-скрейпер с помощью прокси-серверов.

Наконец, в книге будет рассказано о модели параллелизма Go и о том, как запускать веб-скрейпер параллельно, а также о крупномасштабном распределенном веб-скрейпер.

Книга предназначена для специалистов по обработке данных и веб-разработчиков, обладающих базовыми знаниями Golang, которые хотят собирать и анализировать данные для эффективной отчетности и визуализации.

Backend мастер-класс

Серия доступных в понимании статей из категории Design + Develop + Deploy:

– Design DB schema and generate SQL code with dbdiagram.io
– Install & use Docker + Postgres + TablePlus to create DB schema
– How to write & run database migration in Golang
– Generate CRUD Golang code from SQL | Compare db/sql, gorm, sqlx, sqlc
– Write Go unit tests for db CRUD with random data
– A clean way to implement database transaction in Golang
– DB transaction lock & How to handle deadlock
– How to avoid deadlock in DB transaction? Queries order matter!
– Deeply understand Isolation levels and Read phenomena in MySQL & PostgreSQL
– How to setup Github Actions for Go + Postgres to run automated tests

«Есть только два типа языков: те, на которые люди жалуются, и те, которыми никто не пользуется». — Бьёрн Страуструп

Невозможно не согласиться с приведенной выше цитатой. Именно так и думает автор статьи, у которого есть определенные претензии к языку Go, но он не перестает им пользоваться.

https://proglib.io/w/32f63529

Разбираемся с минимизацией числа побегов памяти в кучу: https://proglib.io/w/355494d3

Репозиторий, в котором собраны эксперименты с пакетами Go для кодирования / декодирования данных в различных форматах.

https://proglib.io/w/0369c9ba

GeekBrains проводит набор на курсы руководителей команды разработки

Программа обучения онлайн-университета GeekBrains рассчитана на middle- и senior-разработчиков. В течение 6 месяцев слушатели освоят технологии автоматизации разработки, а также методы управления командами, проектами и высоконагруженными системами. Курс разбит на четверти, каждая из которых посвящена одной из ключевых для будущего руководителя компетенций. Практикующие тимлиды с опытом в крупных проектах будут проводить занятия в формате видеолекций с выполнением заданий и разбором персональных кейсов.

Получить дополнительную информацию и записаться можно на сайте: https://proglib.io/w/ea5c6e44

Подборка особенностей работы с JSON в Go: https://proglib.io/w/bd50c357

📌 Первое занятие нашего курса по математике для Data Science доступно на YouTube

На вебинаре вы узнаете, как решать задачи по комбинаторике. Вы изучите основные формулы комбинаторики, правило суммы и правило произведения. Мы разберем, что такое выбор без возвращения, с возвращением, с учетом порядка, без учета порядка. Параллельно порешаем несколько задач на понимание теории.

https://www.youtube.com/watch?v=GxQGbhjVWWM

Присоединяйтесь к полному курсу по ссылке (набор до 10 октября): https://proglib.io/w/34b0dff5

Python может быть встроен как общая библиотека в программы, написанные на других языках. В статье представлен тривиальный пример выполнения кода Python в программе на Go и обмена данными между двумя средами выполнения.

https://proglib.io/w/873e3ae2

​Иллюстрация жизненного цикла горутин от Joshua T Corbin. Подробнее можно почитать здесь.

Прояви себя в цифре! Участвуй в региональных Онлайн-Хакатонах Цифрового Прорыва!

Тебя ждет насыщенная серия конкурсов с актуальным кейсами от бизнеса и государства, а призовой фонд каждого хакатона до 3 млн. руб.!

Выбирай удобные даты, понравившийся кейс, собирай команду и покажи, на что ты способен:

16.10 - 18.10 - Центральный Хаб: https://leadersofdigital.ru/event/63007

24.10 - 26.10 - Северо-Кавказский Хаб: https://leadersofdigital.ru/event/63006

31.10 - 02.11 - Уральский Хаб: https://leadersofdigital.ru/event/63009

14.11 - 16.11 - Северо-Западный Хаб: https://leadersofdigital.ru/event/63011

Стань частью цифрового будущего России!

Go-string — пакет, в котором представлены полезные строковые функции для проектов на Go. В репозитории вы можете ознакомиться с результатами тестов скоростных характеристик, проводимых автором пакета.

https://proglib.io/w/aa9161af

Go-разработчик с нуля всего за год!

Нравится программирование, но не можешь разобраться во всем самостоятельно? Мы поможем освоить новую профессию и расскажем, как найти высокооплачиваемую работу после обучения!
Переходи по ссылке и регистрируйся ▶️ https://clc.am/dMlKkQ

На курсе «Профессия Go-разработчик» ты получишь базовые знания программирования, а также подробное обучение по работе с Golang. Пройдя обучающий курс, ты создашь крутое портфолио и сможешь претендовать на должность junior-программиста. А еще, дарим 2 месяца бесплатного английского в онлайн школе «EnglishDom»

Регистрируйся пока есть скидка 40% на обучение!

Учимся отлаживать приложения на Go в production с помощью eBPF: https://proglib.io/w/a5318400