異常検知外れ値検知 & 時系列予測

クラスキャット人工知能研究開発支援サービス

◆ クラスキャットは人工知能・テレワークに関する各種サービスを提供しています。お気軽にご相談ください :

人工知能研究開発支援
1. テクニカルコンサルティングサービス
2. 実証実験(プロトタイプ構築)
3. アプリケーションへの実装
4. 人工知能研修サービス(経営者層向けオンサイト研修)
人工知能研修サービス
PoC(概念実証)を失敗させないための支援

◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

クラスキャット セールス・マーケティング本部セールス・インフォメーション
sales-info@classcat.com ; Web: www.classcat.com ; ClassCatJP

BaaS 実装の仮想ブレイン指向知識ベースのチャットボットを2023年11月から提供開始

Press Release (10/17/2023)

BaaS 実装の仮想ブレイン指向知識ベースのチャットボット
「ClassCat® Chatbot Second Brain」を2023年11月から提供開始
– GPT 3.5 & 4 連携対応、低コストな知識ベース管理ソリューション –

クラスキャット AI リサーチ (クラスキャット、代表: 佐々木規行、茨城県取手市) は、「ClassCat® ChatBot」シリーズの新製品「ClassCat® Chatbot Second Brain」を2023年11月から提供開始することを発表致しました。「ClassCat® ChatBot」シリーズは GPT 3.5 & 4 との連携に対応した知識ベース管理ソリューションを装備したチャットボットです。多様なドキュメントやリソースを LLM (大規模言語モデル) がリアルタイムで高速に参照可能なコンテキストに変換できますので、管理下にあるドキュメントの内容についてユーザは自在に質問することができます。本ソリューションはオープンソースベースで GPU 不要であるために低コストで運用することができます。

今回発表致しました「ClassCat® Chatbot Second Brain」は BaaS (Banking as a Service) 上に実装されているため堅牢で、また知識ベースを仮想ブレイン (頭脳) 指向で構成しているために知識群の管理が容易であるという大きな特徴を持っています。

[Read More …] (10/17/2023)

GPT 3.5 & 4 連携対応、低コストな知識ベース管理ソリューション、ベータ版を配布開始

Press Release (10/03/2023)

GPT 3.5 & 4 連携対応、低コストな知識ベース管理ソリューション
「ClassCat® Knowledge Manager」ベータ版を配布開始
– Chat with your documents –

クラスキャット AI リサーチ (クラスキャット、代表: 佐々木規行、茨城県取手市) は、GPT 3.5 & 4 との連携に対応した知識ベース管理ソリューション「ClassCat® Knowledge Manager」ベータ版を配布開始したことを発表致しました。

ClassCat® Knowledge Manager は多様なドキュメントやリソースを、OpenAI GPT 3.5 & 4 (ChatGPT) を始めとする大規模言語モデル (LLM) がチャット中にリアルタイムで参照できるコンテキストに変換できるソリューションです。端的に言えば、”Chat with your documents” つまりユーザがアップロードして管理しているドキュメントの内容についてユーザはチャット、質問応答することができます。
本ソリューションはオープンソースベースで GPU 不要であるために低コストで運用可能です。

[Read More …] (10/03/2023)

⚡ ClassCat® Chatbot Knowledge Manager : ベータ版配布開始

⏩ Chat with your documents

GPT 3.5 & 4 連携、知識ベース管理ソリューション ClassCat® Chatbot Knowledge Manager は、あらゆるドキュメントやリソース・コンテンツを OpenAI GPT 3.5 & 4 (ChatGPT) がチャット中にリアルタイムで参照できるコンテキストに変換できるソリューションです。本ソリューションは利用したい LLM (大規模言語モデル) やベクトルデータベースを選択可能です。

💥 02-oct-23 : Beta 版を github で公開しました。

🦜️🔗 LangChain : ユースケース : チャットボット

ユースケースから「チャットボット」です。チャットボットは LLM の中心的なユースケースの一つです。チャットボットの中核の機能は、長く続く会話を持てることと、ユーザが知りたい情報へのアクセスを持てることです。

大規模言語モデル (LLM) の独立した使用は真に強力なアプリケーションを作成するには不十分である場合が多く、それらを他の計算や知識のソースと組み合わせることが望ましいです。LangChain はこのような種類のアプリケーションの開発を支援することを目標とするフレームワークです。

[詳細] (09/06/2023)

🦜️🔗 LangChain : ユースケース : 質問応答

ユースケースから「質問応答」です。このウォークスルーでは LLM を使用した、ドキュメントに対する質問応答アプリケーションを構築する方法を調べます。

[詳細] (09/04/2023)

OpenAI platform : ガイド : GPT-3.5 Turbo 対応微調整 (ファインチューニング)

8月22日に ChatGPT でも使用されている GPT-3.5 Turbo モデルの微調整が可能になったことが OpenAI から GPT-3.5 Turbo fine-tuning and API updates にて発表されました。

OpenAI platform の微調整に関するガイドもこれに合わせて GPT-3.5 Turbo 対応になりましたので、再翻訳しました。

[詳細] (08/29/2023)

Prophet 1.1 : 季節性、休日効果とリグレッサー

今回は「季節性、休日効果とリグレッサー」です。休日と特殊イベントのモデル化, 組込みの国の休日, 季節性のフーリエ次数, カスタム季節性の指定, 他の要因に依存する季節性, 休日と季節性のための Prior (事前) スケール, そして追加のリグレッサーについて説明されます。

Prophet はメジャーアップデートは発生していませんが、1.0 の翻訳から時間が経過したので再翻訳しています。

[詳細] (08/31/2023)

Prophet 1.1 : クイックスタート

Prophet はメジャーアップデートは発生していませんが、1.0 の翻訳から時間が経過したので再翻訳します。最初はクイックスタートです。Prophet は sklearn モデル API に従いますので、Prophet クラスのインスタンスを作成してから fit と predict メソッドを呼び出します。

[詳細] (08/29/2023)

時系列予測

NeuralProphet

NeuralProphet 0.2 : 概要 (07/19/2021)

NeuralProphet は Facebook Prophet と AR-Net にインスパイアされて PyTorch 上に構築された、時系列モデル・ベースのニューラルネットワークです。AR-Net を通した自己相関モデリング、自動変化点検知を持つ区分的線形トレンド、年次/月次/週次のような期間のフーリエ項季節性などの特徴を持ちます。

幾つかドキュメントを翻訳します。最初は README です。
NeuralProphet 0.2 : モデルの概要 (07/18/2021)

今回は「モデルの概要」です。NeuralProphet は完全にモジュール化アーキテクチャで開発されています、これは将来的に任意のコンポーネントを追加することをスケーラブルにします。
NeuralProphet 0.2 : クイックスタート (07/17/2021)

NeuralProphet は Facebook Prophet と AR-Net にインスパイアされて PyTorch 上に構築された、時系列モデル・ベースのニューラルネットワークです。AR-Net を通した自己相関モデリング、自動変化点検知を持つ区分的線形トレンド、年次/月次/週次のような期間のフーリエ項季節性などの特徴を持ちます。

幾つかドキュメントを翻訳しています。今回は「クイックスタート」です。このページは最小限の機能で NeuralProphet を使用して単純なモデルを構築する方法の詳細を説明しています。NeuralProphet は完全にモジュール化アーキテクチャで開発されていて、将来的に任意のコンポーネントを追加することをスケーラブルにします。
NeuralProphet 0.2 : ノートブック : 自己回帰 (07/19/2021)

NeuralProphet には Jupyter ノートブックによるサンプルが幾つか用意されています。今回は「自己回帰」です。ここでは NeuralProphet を 5 分解像度のデータ – Yosemite の毎日の気温データに適合させます。
NeuralProphet 0.2 : ノートブック : PV 予測データセットの例 (07/21/2021)

NeuralProphet は Facebook Prophet と AR-Net にインスパイアされて PyTorch 上に構築された、時系列モデル・ベースのニューラルネットワークです。AR-Net を通した自己相関モデリング、自動変化点検知を持つ区分的線形トレンド、年次/月次/週次のような期間のフーリエ項季節性などの特徴を持ちます。幾つかドキュメントを翻訳しています。

NeuralProphet には Jupyter ノートブックによるサンプルが幾つか用意されています。今回は「PV 予測データセットの例」です。太陽放射度データの 1 ステップ先の予測器を訓練します。前の 24 ステップを考慮して neuralprophet に他のパラメータを自動的に選択させて、この予測器を訓練できます。
NeuralProphet 0.2 : ノートブック : 休日と特殊イベントのモデリング (07/21/2021)

NeuralProphet には Jupyter ノートブックによるサンプルが幾つか用意されています。今回は「休日と特殊イベントのモデリング」です。モデル化したい休日や他のイベントを持つ場合、データフレームを作成しなければなりません。イベントは加法的か乗法的コンポーネントのいずれかとして追加できて、更にイベントの前後の日を含めるためにウィンドウを定義できます。例として Peyton Manning の Wikipedia のログ daily ページビューの時系列を使用します。
NeuralProphet 0.2 : ノートブック : 乗法的季節性 (07/22/2021)

NeuralProphet は Facebook Prophet と AR-Net にインスパイアされて PyTorch 上に構築された、時系列モデル・ベースのニューラルネットワークです。AR-Net を通した自己相関モデリング、自動変化点検知を持つ区分的線形トレンド、年次/月次/週次のような期間のフーリエ項季節性などの特徴を持ちます。幾つかドキュメントを翻訳しています。

NeuralProphet には Jupyter ノートブックによるサンプルが幾つか用意されています。今回は「乗法的季節性」です。デフォルトでは NeuralProphet は加法的季節性に適合します、これは予測を得るために季節効果がトレンドに追加されることを意味します。航空旅客数の時系列は加法的季節性が機能しない場合の例です。
NeuralProphet 0.2 : ノートブック : スパースな自己回帰 (07/23/2021)

NeuralProphet には Jupyter ノートブックによるサンプルが幾つか用意されています。今回は「スパースな自己回帰」です。ここでは NeuralProphet を 5 分解像度のデータに適合させます (Yosemite の毎日の気温)。これはスパース性にフォーカスした、example ノートブック「自己回帰」の続編になっています。
NeuralProphet 0.2 : ノートブック : Sub-daily データ (07/24/2021)

NeuralProphet は Facebook Prophet と AR-Net にインスパイアされて PyTorch 上に構築された、時系列モデル・ベースのニューラルネットワークです。AR-Net を通した自己相関モデリング、自動変化点検知を持つ区分的線形トレンド、年次/月次/週次のような期間のフーリエ項季節性などの特徴を持ちます。幾つかドキュメントを翻訳しています。

NeuralProphet には Jupyter ノートブックによるサンプルが幾つか用意されています。今回は「Sub-daily データ」です。NeuralProphet は sub-daily 観測を持つ時系列のための予測を行なうことができます。sub-daily データが使用されるとき daily 季節性は自動的に適合しています。ここでは NeuralProphet を 5 分解像度のデータに適合させます (Yosemite の毎日の気温)。
NeuralProphet 0.2 : ノートブック : 変化するトレンドへの適合 / トレンドの調整 (07/25/2021)

NeuralProphet には Jupyter ノートブックによるサンプルが幾つか用意されています。今回は「変化するトレンドへの適合 / トレンドの調整」です。変化するトレンドにどのように適合させるかを示すための例として Peyton Manning の Wikipedia ページのログ daily ページビューの時系列を使用します。デフォルト値はこの例ではかなり上手く機能しますが、5 変更点のデフォルトはトレンドの実際の変化がポイント間の領域にたまたま収まる場合には十分ではないかもしれません。

Prophet

Prophet 1.0 : 概要 (06/29/2021)

Prophet は加法モデルに基づき時系列データを予測するためのライブラリで、Facebook の Core データサイエンス・チームにより公開されたオープンソース・ソフトウェアです。Python と R で利用可能です。

Prophet は季節性 (yearly, weekly, daily) 及び休日の影響による非線形トレンドが適合されます。強い季節的影響と幾つかの季節の履歴データを持つ時系列で最善に動作します。Prophet は欠測データとトレンドの変化に対して堅牢で、典型的には外れ値を上手く処理します。
Prophet 1.0 : 時系列データ予測 : クイックスタート (07/06/2021)

今回はクイックスタートです。Prophet は sklearn モデル API に従いますので、Prophet クラスのインスタンスを作成してから fit と predict メソッドを呼び出します。v1.0 ベースでドキュメントを翻訳します。

Prophet は季節性 (yearly, weekly, daily) 及び休日の影響による非線形トレンドが適合されます。強い季節的影響と幾つかの季節の履歴データを持つ時系列で最善に動作します。Prophet は欠測データとトレンドの変化に対して堅牢で、典型的には外れ値を上手く処理します。
Prophet 1.0 : 時系列データ予測 : 予測の飽和 (07/08/2021)

今回は「予測の飽和」です。デフォルトでは Prophet はその予測のために線形モデルを使用します。成長を予測するとき通常はある達成可能な最大ポイントがあります : 全体的な市場規模、人口規模 etc. です。これは環境収容力と呼ばれ予測はこのポイントで飽和するはずです。
Prophet 1.0 : 時系列データ予測 : トレンドの変化点 (07/09/2021)

今回は「トレンドの変化点」です。リアルタイムな時系列はその軌跡で急激な変化を頻繁に持ちます。Prophet はこれらの変化点を自動的に検出してトレンドが適切に適応することを可能にしますが、より細かく制御したい場合に利用できる幾つかの入力引数があります。
Prophet 1.0 : 時系列データ予測 : 季節性、休日効果とリグレッサー (07/10/2021)

今回は「季節性、休日効果とリグレッサー」です。モデル化したい休日や他の繰り返し発生するイベントを持つ場合、それらからデータフレームを作成しなければなりません。
Prophet 1.0 : 時系列データ予測 : 不確定区間 (07/13/2021)

今回は「不確定区間」です。デフォルトでは Prophet は予測のための不確定区間を返しますが、これらの不確定区間の背後には幾つかの重要な仮定があります。予測の不確実さには 3 つの源があります : トレンドの不確実性、季節性推定の不確実性、そして追加の観測ノイズです。
Prophet 1.0 : 外れ値 (07/13/2021)

Prophet は加法モデルに基づき時系列データを予測するためのライブラリで、Facebook の Core データサイエンス・チームにより公開されたオープンソース・ソフトウェアです。Python と R で利用可能です。

v1.0 ベースでドキュメントを翻訳しています。今回は「外れ値」で、外れ値が Prophet の予測に影響を与える 2 つの主要な方法について説明されます。
Prophet 1.0 : 非日次データ (07/14/2021)

今回は「非日次データ」で、Prophet は ds カラムでタイムスタンプを持つデータフレームを渡すことにより sub-daily 観測や月次データをもつ時系列のために予測を行なうことができます。
Prophet 1.0 : 診断 (Diagnostics) (07/15/2021)

今回は「診断 (Diagnostics)」です。Prophet は履歴データを使用して予測誤差を測定するための時系列交差検証の機能を含みます。これは履歴のカットオフポイントを選択し、そのカットオフポイントまでのデータのみを使用してモデルを適合させることによって成されます。そして予測された値を実際の値と比較できます。

時系列異常検知

ADTK (異常検知ツールキット)

ADTK 0.6 : 概要 (README) (06/21/2021)

異常検知ツールキット (ADTK, Anomaly Detection Toolkit) は 教師なし / ルールベースの時系列異常検知 のための Python パッケージです。

異常の性質が異なるケースに渡り多様であるため、モデルは総ての異常検知問題のために普遍的に動作はしないかもしれません。検知アルゴリズム (detectors)、特徴エンジニアリング・メソッド (transformers) そしてアンサンブル・メソッド (aggregators) を選択して組み合わせることが効果的な異常検知モデルを構築するためのキーとなります。

このパッケージは統一された API で一般的な検知器、変換器と aggregators のセット、そしてそれらを一緒にモデルに接続する pipe クラスを提供します。それはまた時系列と異常イベントを処理して可視化するための幾つかの関数も提供します。
ADTK 0.6 : クイックスタート (06/21/2021)

このサンプルでは、周期的な (weekly と daily) 交通量パターンの違反を検知するモデルを構築します。ここで使用されるデータは Numenta Anomaly ベンチマークからの NYC タクシー交通データセットです。
ADTK 0.6 : ユーザガイド (06/21/2021)

これは ADTK で時系列のための異常検知モデルをどのように構築するかの簡潔なガイドです。ADTK を利用し始める前にこのガイドを読み通すことを総てのユーザに勧めます。

ADTK は時系列異常検知の教師なし/ルールベースのモデルのためのパッケージです。ユーザがタスクを教師あり学習問題として定式化する場合には、代わりのツールが必要とされます。
ADTK 0.6 : Examples : Detector (06/22/2021)

異常検知ツールキット (ADTK, Anomaly Detection Toolkit) は教師なし / ルールベースの時系列異常検知のための Python パッケージです。

detectors は検知アルゴリズム集で、このドキュメントは個々の detector の特徴と使い方を説明しています。検知アルゴリズム (detectors)、特徴エンジニアリング・メソッド (transformers) そしてアンサンブル・メソッド (aggregators) を選択して組み合わせることが効果的な異常検知モデルを構築するためのキーとなります。
ADTK 0.6 : Examples : Transformer (06/22/2022)

異常検知ツールキット (ADTK, Anomaly Detection Toolkit) は教師なし / ルールベースの時系列異常検知のための Python パッケージです。

transformers は特徴エンジニアリング・メソッド集で、このドキュメントは個々の transformer の特徴と使い方を説明しています。検知アルゴリズム (detectors)、特徴エンジニアリング・メソッド (transformers) そしてアンサンブル・メソッド (aggregators) を選択して組み合わせることが効果的な異常検知モデルを構築するためのキーとなります。