Data science, Big data, Штучний Інтелект, Машинне Навчання, Нейронні Мережі — певне Ви вже чули отакі модні та гучні слова, й не один раз. Наскільки зрозумілий їх зміст? Оскільки часто деякі з вищеперелічених термінів використовуються безсистемно як взаємозамінні, а насправді між ними є суттєві відмінності — поговоримо про це далі.

Що таке штучний інтелект Artificial Intelligence (AI)?

Як щойно зазначали, Штучний Інтелект — широке поняття. У 1955 році на конференції по штучному інтелекту в Дартмуті дана технологія була окреслена як: «Кожен аспект навчання або будь-яка інша особливість інтелекту можуть бути в принципі так точно описані, що машина зможе їх зімітувати.» З того часу цей підхід застарів — коли людина створює для машини зрозумілі алгоритми роботи, які приводять до очікуваного результату. Сьогодні під Штучним Інтелектом мають на увазі програму здатну до самостійного аналізу, синтезу, обробки інформації і отримання унікального результату на введені людиною початкові дані.

Як бачите Штучний Інтелект — не є щось принципово нове. Проте, лише у останні роки відбулося поєднання ключових чинників, що дозволили зробити якісний стрибок вперед: обчислювальні потужності комп’ютерів, доступні набори великих даних (Big Data) і добре опрацьованих фреймворків.

Через це вже зараз штучний інтелект виступає невід’ємною частиною багатьох, саме інноваційних підприємств. Штучний інтелект може стосуватися будь-чого. Роботизовані системи, безпілотні транспортні засоби, автоматизоване обслуговування клієнтів за допомогою голосового помічника, який розпізнає мову і адекватно відповідає на питання — кілька прикладів масового застосування Штучного Інтелекту.

Отже, Штучний Інтелект — це технологія майбутнього, здатна зробити революцію у людській свідомості. Співмірно як свого часу винахід парового двигуна або персонального комп’ютера.

Очікуйте — багато чого ще попереду!

В цілому системи штучного інтелекту можна розділити на три групи:

  • обмежений штучний інтелект (Narrow AI)
  • загальний штучний інтелект General (AGI)
  • надрозумний штучний інтелект (SAI)

Програма Deep Blue компанії IBM, яка в 1996 році обіграла в шахи Гаррі Каспарова, або програма AlphaGo компанії Google DeepMind, яка в 2016 році обіграла в шахи чемпіона світу Го Лі Седоля — зразки обмеженого штучного інтелекту, здатного вирішувати одну конкретну задачу. Це головна відмінність від загального штучного інтелекту (AGI), який може порівнюватися у багатозадачності із людським інтелектом і може виконувати багато різних завдань.

Надрозумний Штучний Інтелект — це штучний інтелект який теоретично здатен піднятися на щабель вище людського. Штучний інтелект, який буде набагато розумніший, і кращий за людський мозок, практично у всіх галузях людської життєдіяльності, в тому числі в науковій творчості, мудрості і соціальних навичках. Іншими словами, це коли машини стануть набагато розумніші за людей.

— Згадаймо наболіле, а чи можуть роботи любити? Або коли якись Штучний Інтелект нас вб’є? Відповідь: Трапиться не скоро, бо такий Інтелект ще не створений, а коли створять? — Невідомо!

Що таке Машинне навчання Machine Learning (ML)

Машинне навчання — однин з напрямків штучного інтелекту. Ключовий принцип Машинного Навчання якраз полягає в тому, що на відміну від програм з закодованими вручну інструкціями для виконання конкретних завдань, Машинне Навчання, як згадувалося вище, дозволяє системі самостійно розпізнавати шаблони і робити прогнози, отримані під час навчання на великих наборах даних (Big Data).

Слід зазначити, Машинне Навчання навчання вкрай корисне для бізнесу. Можна взяти величезну кількість даних — мільйони зображень, і з їх допомогою виявити певні характеристики. Текстовий пошук, виявлення шахрайства, виявлення спаму, розпізнавання рукописного введення, переклади, розпізнавання мови, пошук зображень, як розпізнавання облич, розпізнавання об’єктів — всі ці завдання можуть бути виконані спецпрограмами.

Глибинне навчання Deep machine Learning

Глибинне навчання — підмножина машинного навчання. Здебільшого використовує деякі методи нейронних мереж, які можуть імітувати людське прийняття рішень. Глибинне навчання вартісне і вимагає величезних масивів даних для навчання. Це пояснюється тим, що існує величезна кількість параметрів, які необхідно налаштувати для алгоритмів навчання, щоб уникнути помилкової поведінки. Наприклад, алгоритму глибокого навчання може бути дано вказівку «дізнатися», як виглядає кішка. Щоб зробити навчання відповідно потрібно величезну кількість зображень кішок для того, щоб навчитися розрізняти дрібні деталі, які дозволяють відрізнити кішку від, скажімо, гепарда або пантери, чи лисиці.

Не секрет, що Google замінили багато систем, заснованих на правилах, які вимагають ручної роботи на мережі глибинного навчання. І був описаний випадок упередженості Машинного Навчання: коли на початках була розгорнута система розпізнавання осіб Google, вона позначала багато чорношкірих осіб афроамериканців горилами. Це якскравий приклад того, якщо немає афроамериканських осіб у Вашому наборі навчання, якщо немає афроамериканців, які працюють над системою, якщо немає афроамериканців, що тестують систему. І коли Ваша система стикається нарешті з афроамериканськими особами, вона не знає, як себе поводити???

Як згадувалася вище перемога Штучного інтелекту AlphaGo DeepMind у шахи, коли було обіграно чемпіона світу з Го Лі Седоля у 4 -х з 5 ігор. Успіху було досягнуто з використанням, саме завдяки глибинному навчанню. Як пояснюють в Google, система глибинного навчання працювала шляхом комбінування методу Монте-Карло для пошуку в дереві з нейронними мережами, які пройшли навчання з учителем у іграх у шахи, з вчителями професіоналами, і навчанні іграми ШІ самим з собою для закріпленням результату.

Проте, Машинне навчання — це не тільки штучний інтелект. До цієї сфери належать генетичні та еволюційні алгоритми, і більш прості завдання, пов’язані з кластерним аналізом, наприклад.

Наступним давайте розглянемо визначення:

Нейронні Мережі Neural Networks (NN)

Нейронні Мережі — це теж підмножина Machine Learning, мережі із здатністю самостійного навчання.

Нейронні Мережі Neural Networks (NN) — УВАГА, Важливо! Даний термін описує не яку-небудь технологію, не інструмент, не засіб, а описує саму здатність вчитися і використовувати вивчене.

Нейромережі — влаштовані за образом і подобою людського мозку. Тобто намагаються відтворити окремі аспекти влаштування нейромереж у мозку людини. Але повністю його повторити поки не можуть — потужності ще не ті у машин все ж таки. Нейромережі використовують Big Data, Data Science як матеріал, на якому вони навчаються.

У свою чергу нейромережі теж можуть бути загального типу і спеціалізованого:

Спеціалізовані форми нейронних мереж здатні не тільки вирішувати певне завдання, але і робити це часто набагато краще людини. Ось вони-то зараз і набирають популярність і тільки з них принципі і є толк при існуючому рівні розвитку технологій заліза.

Прості нейромережі дають більш прості результати. Складні багатошарові нейромережі та на додачу рекурентні дають набагато більш вражаючі результати. Знову ж таки це схожий механізм як у випадку Штучного інтелекту AlphaGo DeepMind, коли виходи Нейронної Мережі повторно перенаправляються на входи, дозволяючи мережі як би спершу зробити перший висновок, а потім обдумати цей висновок, а потім обдумати рішення, які з’явилися під час обмірковування, і так далі, і так далі, поступово рухаючись від деталей до загальної картини, кожен раз абстрагуючись все більше і більше.

Приклади практичного застосування Нейромереж:

Нейромережі можна застосовувати практично скрізь. Скажімо у галузі права — для пошуку прецедентів (особливо популярно в американській судовій системі). У Фінансовій сфері — для аналізу угод надійності клієнта. У логістиці — для прогнозування потреб у тих чи інших продуктах і зберігання запасів на складах. У медицині — нейромережі, обробляючи величезні масиви даних, можуть знаходити несподівані фактори, що впливають на здоров’я пацієнта, і точно діагностувати навіть найскладніші захворювання. Нейромережі можуть успішно проявляти себе у творчих завданнях, були експерименти по відтворенню художніх творів відомих майстрів, проте самостійно згенерувати свою власну техніку живопису — не змогли.

Cognitive Science

Cognitive Science — це міждисциплінарна наука, що вивчає, механізми пізнання і мислення. Результати таких досліджень в першу чергу лягають в основу розробки різних підходів до створення Штучного Інтелекту.

Ось, Штучний Інтелект може бути створений на основі нейронних мереж, а може бути, і без них, хоча швидше за все, це, дійсно будуть нейронні мережі.

Інші варіанти автоматизовані взаємодії з клієнтами з використанням комбінації машинного навчання і graph алгоритмів без використання глибокого навчання.Тобто для чого йти ускладненим шляхом, якщо якусь задачу можна зробити простішим способом?

І нарешті, по тексту ми вже ці терміни зустрічали, давайте розбиратися:

Що таке Big Data поняття? Та що таке Data Science?

Спочатку розберемося що таке Data? Data — це дані, принципі будь-які дані. Наприклад дані по наших дзвінках і переміщеннях, поведінці в інтернеті, перевагах в покупках в магазинах, антропогенні зміни в ландшафті, кліматичних процесах і багатьох інших речах. З цих даних при правильній автоматизованій машинній обробці можна отримати велику користь! Як дані збирати, зберігати і обробляти, як виділяти із загального масиву даних корисну інформацію, як відшаровувати сміття — 80% свого робочого часу присвячують Data Science фахівці.

Отже, Data Science — це набір методів обробки та аналізу даних і застосування їх до практичних завдань.

В основі data science лежать досить прості ідеї, однак на практиці часто виявляється багато неочевидних тонкощів. Як data science оточує нас у повсякденному житті, які існують методи аналізу даних

Big Data — дослівний переклад Великі дані. Це дані для яких не підходять стандартні способи зберігання і обробки через їх величезного обсягу і / або різноманітності.

Термін «великі дані» ввів редактор журналу Nature Кліффорд Лінч ще в 2008 році в спецвипуску, присвяченому вибуховому зростанню генерації світових обсягів інформації. Такої кількості даних, якої реальна фізична людина не здатна обробити і візуалізувати.

Сьогодні під терміном Big data ховаються — різні інструменти, підходи і методи обробки як структурованих, так і неструктурованих даних для того, щоб їх використовувати для конкретних завдань і цілей.

Для простоти розуміння уявіть супермаркет, у якому усі товари лежать не в звичному Вам порядку. Хліб поруч з фруктами, томатна паста близько замороженої піци, рідина для розпалювання навпаки напроти стелажа з тампонами, поряд авокадо, тофу або гриби. Big data розставляють все по своїх місцях і допоможе Вам одразу знайти горіхове молоко, дізнатися вартість і термін придатності, а ще дізнатися хто, окрім Вас, купує таке молоко і чим воно краще молока коров’ячого.

До технологій Big Data, до яких відносять Hadoop, MapReduce, Spark.

До речі, не дайте себе ошукати: Big Data і Data Science — синоніми: швидше, перше підрозділ другого. При цьому не завжди фахівцям з аналізу даних на практиці доводиться працювати саме з великими даними — корисними можуть бути і маленькі дані.

З точки зору Тестування, яким чином тестувати усе це діло?

Кілька слів у чому полягає специфіка тестування? Цікаво, що з однієї сторони тестувальники QA тестують Штучний Інтелект, а з іншої тестувальники можуть використовувати системи із Штучним Інтелектом для полегшення і оптимізації своєї рутинної роботи

З першого погляду видається, що ручне тестування для тестування систем із Штучним Інтелектом цілком не прокатить. Потрібно застосовувати тільки методи і підходи Автоматизованого Тестування.

Одначе таке перше враження трішки хибне. Перш за все потрібна тестова стратегія. Щоб спроектувати якісні тести потрібно розбити систему на по рівнях абстракції, а для цього потрібно використовувати з розумінням теорію тест дизайну.

При цьому треба розуміти, що у кожного фахівця свій погляд і підходи до цієї сфери тестування і думки можуть суттєво відрізнятися.

Тим часом, ці новомодні технології вже можна використовувати в проектах, підключаючи відповідні функції через API — цю можливість надають гіганти технологічної індустрії Microsoft, Google, Amazon.

Related posts

Leave a Comment

Цей сайт використовує Akismet для зменшення спаму. Дізнайтеся, як обробляються ваші дані коментарів.