Big data – Mетод анализ на големи масиви данни

През първото полугодие на 2021 г. продължиха дейностите по разработване на методика за анализ на големи масиви от данни от интернет, свалянето и анализа на такива. Те преминаха през няколко етапа: Първият етап включваше: изготвяне на база данни от линкове (url) към съдържание включващо ключови думи „имуниз“ и/или„ ваксин“ и „хомеопат“; обобщаване на данните по източник (сайтове) и брои свалени url от тях по двете направления – ваксини и хомоепатия; типология на сайтовете, които излизат при гугъл търсене по ключови думи „ваксин“, „имуниз“, „хомеопат“; подбор на релевантните на целите на изследването сайтове със съдържание, посветено на (анти)ваксинирането и хомеопатично съдържание; сваляне на 766 поста/публикации/текста  от сайтове, даващи такава възможност; изчитане на сваленото съдържание с цел търсене на интересен контент, който да бъде  обработен, лематизиран и използван за трениране (обучаване) на алгоритъма за търсене. Резултат от дейността: Ключови думи, лематизация, но сайтовете нямат нормални възможности, не са функционални – няма обсъждане, а само новости. Вторият етап включваше работа с данни от социални медии чрез платформата Kribrum. Селектирани са 2321 текста по ключови думи „ваксинации“ и „хомеопатия“ публикувани в периода 1.03.2020 – 16.07.2020 основно в facebook (1897 броя) и twitter (262 броя). Обработени са 1766 уникални текста. Подбрани думи и словосъчетания от думи в текстовете, които да се използват за маркери при следващи търсения. Резултат от дейността: Маркери (ключови думи) – отделни думи или словосъчетания от дума към 17.09.2020. През третия етап се извърши оценка на работата на ключовите думи, чрез извличане на данни от социални медии чрез платформата Kribrum. Всички ключови думи бяха разделени в две категории (два обекта за търсене) – „проваксъри“ и „антиваксъри“. Първата категория включва положителни дискурси за ваксинацията (ваксините като средство за защита, подпомагане на имунитета), втората – отрицателни (ваксините са опасни, ненадеждни, вредни за здравето, предизвикват странични ефекти). Реализирани са няколко тура на сваляне на текстове. Към това сследва да се добави и втори тур за извеждане на нови маркери – думи, които ги няма на руски и които представляват най-общи формулировки, разширяващи обекта на търсене на български език, и добавяне на стоп думи, с цел за да изключим съдържание, свързано с ваксинацията на животни. Реализирани са няколко тура на сваляне на текстове. В четвъртия етап се работи с данни от социалните мрежи за 2021 селектирани по утвърдените маркери в дейност 3 чрез платформата Kribrum, която на този етап не ни предоставя данни за минали година. Дейността включваше: сваляне на данни от Kribrum  – на 4 пъти са свалени 112296 записа за периода 01.01 – 24.05.2021; обобщаване на данните по източници и автори публикували в тях. Основните източници са facebook – 41898 записа (37%) и twitter – 20096 записа (18%). Важно е да се отбележи, че голяма част от публикациите са с автори медии и институции. В петия етап се работи с данни от популярната платформа bg-mamma. Чрез скрипт са свалени 58223 поста (мнения) от теми, които съдържат ключова дума “вакси“ в периода 24.01.2004 -15.04.2021 г. Текстът е обработен  и анализиран, в резултат на което са изведени най-значимите термини (думи) по години. На основата на връзки между думите са формирани по 7 клъстери за година, всеки описван с по топ 30 специфични думи.