label: url

en: Hands-on Data Preprocessing in AI and Machine Learning --- Data Science with Python

ja: AI・機械学習のためのデータ前処理 [実践編] --- Pythonでデータサイエンス

en: Kagakujyoho Shuppan Co., Ltd.

ja: 科学情報出版

en: Research on artificial intelligence (AI) itself has been going on since the dawn of computing, with the "first AI boom" in the late 1950s and 1960s, the "second AI boom" in the 1980s and 1990s, and now we are in the midst of the "third AI boom". The major difference between this third boom and the previous first and second booms is the emergence of intelligent information processing systems that approach human capabilities in many fields. This can be attributed to a variety of factors, but the most significant are the accumulation of various kinds of big data, the accelerated progress of IT technologies that make such big data available, and the emergence of new machine learning paradigms such as deep learning. One of the keys to the success of AI and machine learning systems is the pre-processing of data. The essence of machine learning is to correctly make predictions and inferences about unknown data by learning the structure, regularities, and universality that lie behind large amounts of data. However, if the quality of the data used for learning is poor, the system will not be able to learn correctly, and the resulting system will not be accurate. In order to build a highly accurate system, it is important to eliminate poor data and process the data to convert it into a form that is easy to learn. This is exactly what preprocessing is responsible for. In extreme cases, it can be said that the success or failure of preprocessing guarantees the quality of the entire machine learning system. According to one theory, in the field of AI and machine learning system development, 60 to 80% of the time spent by engineers is spent on data collection and preprocessing. For efficient system development, it is essential to master preprocessing techniques. This book specifically focuses on preprocessing techniques, which have not been sufficiently covered in conventional books on machine learning and data science, and aims to be a practical book that allows readers to understand the techniques not only by explaining them, but also by actually running programs. The sister volume of this book, "Fundamentals," introduces basic preprocessing techniques. This book, "Applications," explains more advanced preprocessing techniques and preprocessing techniques for media data such as text, images, sound, and music.

ja: 人工知能(AI)の研究自体は，計算機の黎明期のころから行われてきた．1950年代後半から60年代にかけての「第1次人工知能ブーム」，1980年代から90年代にかけての「第2次人工知能ブーム」とよばれる時期を経て，現在は「第3次人工知能ブーム」の真っただ中である．今回の第3次ブームが，従来の第1次および第2次のブームと大きく違うところは，多くの分野で，人間の能力に迫る知的情報処理システムが出現しているところにある．この背景には，さまざまなことが考えられるが，最も大きな要因は，各種のビッグデータの蓄積とそのビッグデータを利用可能とするIT技術の加速度的な進展，深層学習を始めとする新しい機械学習パラダイムの出現であろう．さて，AIシステムや機械学習システムを成功に導く鍵の1つがデータの前処理である．機械学習の本質は，大量のデータの背後に潜む構造や規則性あるいは普遍性を学習することにより，未知のデータに対する予測や推論を正しく行うところにある．しかし，学習の元となるデータの品質が悪いと，正しく学習することができず，その結果として得られるシステムの精度も芳しくなくなる．高精度なシステムを構築するためには，粗悪なデータを排除するとともに，データを加工し学習しやすい形に変換するという工程が重要となる．これこそがまさしく前処理が担っている部分である．極論すると，前処理の成否が機械学習システム全体の品質を担保しているとさえいえる．一説によると，AIや機械学習システム構築の現場では，エンジニアが作業に携わる時間の6割∼8割はデータの収集と前処理に費やされているといわれている．効率的なシステム開発のためには，前処理技術の習得が必須である．本書は，従来の機械学習やデータサイエンスの書籍では十分に扱われていなかった前処理技術に特に焦点をあて，技術の単なる解説だけではなく，実際に動くプログラムを通して，読者が理解できるような実践的な書を目指した．本書の姉妹編である『基礎編』では，基本的な前処理技術について紹介しているが，本書『応用編』では，さらに高度な前処理技術と，テキスト・画像・音響・音楽等のメディアデータに対する前処理技術について解説した．


en: Mining Numbers in Text: A Survey

ja: Mining Numbers in Text: A Survey

en: IntechOpen

ja: IntechOpen


en: Introduction to Data Preprocessing in AI and Machine Learning --- Getting Started with Python

ja: AI・機械学習のためのデータ前処理 [入門編] --- Pythonでゼロからはじめる

en: Around 2010, the term "Big Data" began to rapidly permeate the world around us. At the same time, the construction of intelligent AI systems based on machine learning from big data has even become a boom these days. This book focuses on the pre-processing of data, which is an inevitable part of building such machine learning systems, and although the primary focus is on machine learning systems such as AI, the various techniques described in this book can also be used effectively in data mining and data analysis to acquire useful knowledge from big data. However, the various techniques described in this book can also be used effectively in data mining and data analysis to obtain useful knowledge from big data.The term "big data" is pleasant to the ears and may sound like a treasure trove, but in fact big data is a mixture of cobbles and stones, a mixture of treasure and garbage. In fact, big data is a mixture of treasure and trash, and the larger the scale of the data, the more trash there is, and the more difficult it becomes to extract the treasure from it. In the field of computer science, there is a saying, "Garbage In, Garbage Out" (or GIGO for short). To build a good machine learning system, it is important to eliminate garbage from data and process the data into a form that is easy to learn, which is the essence of preprocessing.Recently, many frameworks and libraries for machine learning such as TensorFlow and Keras are available free of charge, and using these frameworks and libraries may seem to lower the threshold for programming. Using publicly available datasets for machine learning, anyone can easily create an AI system. However, there is a big problem when building your own system using your own data set. As is often said, real-world data is dirty. If you use the data as it is, that is exactly what you will get.If we use the data as it is, we will end up in a "Garbage In, Garbage Out" situation. Whether or not a useful AI system can be built from real data depends on the success of pre-processing. According to one theory, in the actual construction of AI and machine learning systems, 60-80% of the time spent by engineers is spent on data collection and preprocessing.This book focuses on preprocessing techniques, which have not been sufficiently covered in conventional books on machine learning, and aims to be a practical book where readers can understand the techniques not only by explaining them but also by actually running programs. This book has a sister volume, "Practical Edition", which is planned to be published in the near future. In "Practical Edition", more advanced preprocessing techniques and preprocessing techniques for media data such as text, images, sound, and music are explained.

ja: 2010年ごろを境に，ビッグデータという言葉が，わたしたちの身の回りに急速に浸透し始めた．同時に，ビッグデータから機械学習に基づき知的なAI システムを構築することが昨今のブームとさえなってきている．本書は，これらの機械学習システムを構築するうえで避けては通れない，データの前処理の部分を中心に解説している．AI などの機械学習システムを第一に想定しているが，本書で説明する各種の技術は，ビッグデータから有用な知識を獲得するデータマイニングやデータ分析などにも有効に用いることができる． さて，ビッグデータという言葉は耳に心地よく，なんとなく宝の山のように感じるかもしれないが，実はビッグデータは玉石混交であり，宝とゴミが入り混じっている．さらには，データの規模が大きくなればなるほどゴミも増え，その中から宝を取り出すのがますます困難になってくる．コンピュータサイエンスの分野では，``Garbage In, Garbage Out" (略してGIGO) という警句がある．文字通り，「ゴミからはゴミしか得られない」 「ゴミを入れればゴミが出てくる」 ことを意味しているが，この警句はまさに機械学習の一面を言い当てている．よい機械学習システムを構築するためには，データからゴミを排除し，データを学習しやすい形に加工するという作業が重要となってくるが，これこそがまさしく前処理の真髄である． 最近は，TensorFlow やKeras をはじめとする数多くの機械学習用のフレームワークやライブラリが無償で利用可能であり，これらのフレームワークやライブラリを利用することで，一見，プログラミングの敷居は低くなってきているようにみえる．公開されている機械学習用のデータセットを利用して，誰もが簡単にAI システムを作ることができる．しかし，独自のデータセットを用いて，独自のシステムを構築する場合には，大きな問題が立ちはだかっている．よくいわれていることであるが，現実のデータは汚い．データをそのまま使えば，それこそ ``Garbage In, Garbage Out" の事態に陥る．現実のデータから，有用なAI システムを構築できるかどうかは前処理の成否にかかっているとさえいえる．また，一説によると，実際のAI や機械学習システム構築の現場では，エンジニアが作業に携わる時間の6 割~ 8 割はデータの収集と前処理に費やされているともいわれている． 本書では，従来の機械学習の書籍では十分に扱われていなかった前処理技術に焦点をあて，技術の単なる解説だけではなく，実際に動くプログラムを通して，読者が理解できるような実践的な書を目指した．本書には姉妹編として 『実践編』 も出版が計画されているが，『実践編』ではより高度な前処理技術と，テキスト・画像・音響・音楽等のメディアデータに対する前処理技術について解説した．本書『 入門編』 とあわせてご活用いただきたい．


en: Analysis of Information Spreading by Social Media based on Emotion and Empathy

en: InTechOpen

ja: InTechOpen

en: The number of social media users has increased exponentially in recent times,and various types of social media platforms are being introduced. While socialmedia has become a convenient communication tool, its use has caused varioussocial problems. Some users who cannot imagine the emotions their posts mayinduce in readers cause what is termed as the flaming phenomenon. In somecases, users intentionally repeat strong remarks for self-advertisement. To identifythe cause of this phenomenon, it is necessary to analyze the posted contents or thepersonalities of the users who cause the flaming. However, it is difficult to reach ageneralized conclusion because each case varies depending on the circumstancesand individual. In this chapter, we study the phenomenon of information spreadingvia communication on social media by conducting a detailed analysis of replies andnumber of retweets in Japanese, and we reveal the relation between the feedback onsuch posts and the emotions or empathy they result in.


en: Time-Series Analysis of Video Comments on Social Media

en: Worlds largest Science, Technology & Medicine Open Access book publisher

en: In this study, we propose a method to detect unfair rating cheat caused by multiple comment postings focusing on time-series analysis of the number of comments. We defined the videos that obtained a lot of comments by unfair cheat as unfair video and defined the videos which obtained without unfair cheat as popular video. Specifically, our proposed method focused on the difference of chronological distributions of the comments between the popular videos and the unfair videos. As the evaluation result, our proposed method could obtain higher accuracy than that of the baseline method.


en: Refinement by Filtering Translation Candidates and Similarity Based Approach to Expand Emotion Tagged Corpus

en: We attempted to expand corpus without translating target linguistic resource. The result of the evaluation experiment using the machine learning algorithm showed the effectiveness of the expanded emotion corpus based on the original languages unannotated sentences and their similar sentences.


en: 信息检索技术导论(情報検索技術入門)

ja: 信息检索技术导论(情報検索技術入門)

en: 科学出版社

ja: 科学出版社

en: 本书系统地介绍了信息检索的原理与技术．具体内容包括:基于向量空间模型的检索，全文信息检索的各种方法及实现算法，图像检索技术基于Web信息检索等．本书注重概念与实用性的统一，书中配有实例，每章后配有习题，以方便读者理解，复习，巩固所学知识． (本書は，情報検索の原理と技術を紹介している．ベクトル空間モデルや全文検索アルゴリズム，画像検索技術，Web情報検索などについて説明している．)


en: レポート作成指導ハンドブック --- 徳島大学FD推進ハンドブック．第3号，第9巻

en: Center for University Extension

ja: 大学開放実践センター

en: 入学初年次生のレポート作成指導をするための具体的な事例を示した指導書(p.1-p.30)．本書の必要部分をコピーして学生に配布できるように，学生を読者にした記述スタイルを取っている．レポート作成手順を示し，学生が従来戸惑うことの多かった部分に具体的事例を示すとともに，最近問題となっている著作権などに関連する注釈や引用の具体例を明記した．またレポート作成の手助けとなるよう徳島大学付属図書館ホームページ利用法も示した．


en: Corpus Linguistics: Readings in a Widening Discipline --- Automatically Extracting Collocations from Corpora for Language Learning

en: Continuum International Publishing

ja: Continuum International Publishing

en: One kind of information about usage which is valuable for many purposes is information about collocations - pairs or sequences of words that tend to co-occur frequently. This book chapter, we have taken up the problem of how to acquire collocational knowledge and discussed its importance for language learning.


en: 応用言語学事典 --- 一部項目執筆

ja: 応用言語学事典 --- 一部項目執筆

en: Kenkyusha

ja: 研究社

en: 応用言語学事典の1項目である「隠れマルコフモデル(Hidden Markov Model)」について説明した．


en: 情報検索アルゴリズム

ja: 情報検索アルゴリズム

en: KYORITSU SHUPPAN.CO.,LTD

ja: 共立出版株式会社

en: 前半部分では，情報検索の概要，情報検索の適用分野や関連分野，情報検索システムの性能評価など，情報検索全般に関わる基礎事項について説明した．また，後半部分では，情報検索の具体的な例として，ベクトル空間モデルに基づく類似文書検索手法，文字列照合に基づく全文検索手法，索引を用いた全文検索手法などについて説明した．


en: 確率的言語モデル

ja: 確率的言語モデル

en: University of Tokyo Press

ja: 東京大学出版会

en: 言語データ(コーパス)に基づいた自然言語処理の中核的技術である確率的言語モデルのうち，代表的なモデルであるNグラムモデル，隠れマルコフモデル，確率文法，最大エントロピーモデルについて詳細に説明した．また，確率的言語モデルの応用例として，形態素解析および品詞付け，単語のクラスタリング，構文的愛昧性の解消，言語の識別と分類などについて説明した．


en: Terminology and Knowledge Engineering --- JCKE Multilingual Corpus of Major Asian Languages

en: TermNet

ja: TermNet

en: In this book chapter, we discuss the development of a multilingual corpus of major Asian languages, including Japanese, Chinese, Korean, as well as English. The multilingual corpus here not only contains the same texts in more than one language, but also has sentence-level language-to-language correspondence, as well as allowing easy computer processing.


en: 音声言語処理

ja: 音声言語処理

en: 森北出版

ja: 森北出版

en: コーパスに基づいた音声言語処理の中核をなす音声言語の確率モデルとして，N-gramモデル，隠れマルコフモデル，確率文脈自由文法について述べるとともに，これらのモデルの音声認識や自然言語処理への応用について述べた．


en: 自動翻訳電話

ja: 自動翻訳電話

en: Ohmsha, Ltd.

ja: 株式会社 オーム社

en: 自動翻訳電話及びそれに関連する音声言語処理技術(音声認識技術，言語翻訳技術，音声合成技術，データベース技術)についての書であり，担当セクションでは，隠れマルコフモデル(HMM)と文脈自由文法を用いた連続音声認識の手法と評価実験結果について述べた．


en: Generalized LR Parsing --- GLR Parsing in Hidden Markov Model

en: Kluwer Academic Publishers

ja: Kluwer Academic Publishers

en: We describe the application of GLR (Generalized LR) parsing to speech recognition. In particular, we will focus on a method called HMM-LR, which is an integration of Hidden Markov Models and GLR parsing. In HMM-LR, GLR parsing is used as a language source model for word/phoneme prediction/generation. We also introduce a speech recognizer based on the HMM-LR method.


en: Readings in Speech Recognition --- ATR HMM-LR Continuous Speech Recognition System

en: Morgan Kaufmann Publishers

ja: Morgan Kaufmann Publishers

en: Speech recognition based on acoustic information alone does not attain good performance. Linguistic information can be used to improve recognition accuracy. This paper describes a continuous speech recognition system using HMMs and predictive LR parsing, and an improvement of the HMM-LR continuous speech recognizer using multiple codebooks, HMM state duration control and fuzzy vector quantization.