label: url

en: Hands-on Data Preprocessing in AI and Machine Learning --- Data Science with Python

ja: AI・機械学習のためのデータ前処理 [実践編] --- Pythonでデータサイエンス

en: Kagakujyoho Shuppan Co., Ltd.

ja: 科学情報出版

en: Research on artificial intelligence (AI) itself has been going on since the dawn of computing, with the "first AI boom" in the late 1950s and 1960s, the "second AI boom" in the 1980s and 1990s, and now we are in the midst of the "third AI boom". The major difference between this third boom and the previous first and second booms is the emergence of intelligent information processing systems that approach human capabilities in many fields. This can be attributed to a variety of factors, but the most significant are the accumulation of various kinds of big data, the accelerated progress of IT technologies that make such big data available, and the emergence of new machine learning paradigms such as deep learning. One of the keys to the success of AI and machine learning systems is the pre-processing of data. The essence of machine learning is to correctly make predictions and inferences about unknown data by learning the structure, regularities, and universality that lie behind large amounts of data. However, if the quality of the data used for learning is poor, the system will not be able to learn correctly, and the resulting system will not be accurate. In order to build a highly accurate system, it is important to eliminate poor data and process the data to convert it into a form that is easy to learn. This is exactly what preprocessing is responsible for. In extreme cases, it can be said that the success or failure of preprocessing guarantees the quality of the entire machine learning system. According to one theory, in the field of AI and machine learning system development, 60 to 80% of the time spent by engineers is spent on data collection and preprocessing. For efficient system development, it is essential to master preprocessing techniques. This book specifically focuses on preprocessing techniques, which have not been sufficiently covered in conventional books on machine learning and data science, and aims to be a practical book that allows readers to understand the techniques not only by explaining them, but also by actually running programs. The sister volume of this book, "Fundamentals," introduces basic preprocessing techniques. This book, "Applications," explains more advanced preprocessing techniques and preprocessing techniques for media data such as text, images, sound, and music.

ja: 人工知能(AI)の研究自体は，計算機の黎明期のころから行われてきた．1950年代後半から60年代にかけての「第1次人工知能ブーム」，1980年代から90年代にかけての「第2次人工知能ブーム」とよばれる時期を経て，現在は「第3次人工知能ブーム」の真っただ中である．今回の第3次ブームが，従来の第1次および第2次のブームと大きく違うところは，多くの分野で，人間の能力に迫る知的情報処理システムが出現しているところにある．この背景には，さまざまなことが考えられるが，最も大きな要因は，各種のビッグデータの蓄積とそのビッグデータを利用可能とするIT技術の加速度的な進展，深層学習を始めとする新しい機械学習パラダイムの出現であろう．さて，AIシステムや機械学習システムを成功に導く鍵の1つがデータの前処理である．機械学習の本質は，大量のデータの背後に潜む構造や規則性あるいは普遍性を学習することにより，未知のデータに対する予測や推論を正しく行うところにある．しかし，学習の元となるデータの品質が悪いと，正しく学習することができず，その結果として得られるシステムの精度も芳しくなくなる．高精度なシステムを構築するためには，粗悪なデータを排除するとともに，データを加工し学習しやすい形に変換するという工程が重要となる．これこそがまさしく前処理が担っている部分である．極論すると，前処理の成否が機械学習システム全体の品質を担保しているとさえいえる．一説によると，AIや機械学習システム構築の現場では，エンジニアが作業に携わる時間の6割∼8割はデータの収集と前処理に費やされているといわれている．効率的なシステム開発のためには，前処理技術の習得が必須である．本書は，従来の機械学習やデータサイエンスの書籍では十分に扱われていなかった前処理技術に特に焦点をあて，技術の単なる解説だけではなく，実際に動くプログラムを通して，読者が理解できるような実践的な書を目指した．本書の姉妹編である『基礎編』では，基本的な前処理技術について紹介しているが，本書『応用編』では，さらに高度な前処理技術と，テキスト・画像・音響・音楽等のメディアデータに対する前処理技術について解説した．