データ形式変換 & トークン分析

JSON, YAML, TOML, TOON 形式の相互変換を行い、LLMトークン使用量と節約効果をリアルタイムで計算します。

入力:0 Tokens
出力:0 Tokens
変化なし
圧縮モード

データ形式変換ツールについて

これはLLMプロンプトエンジニアリングとデータ交換のために設計されたツールです。一般的なJSON/YAML/TOMLの相互変換に加え、可読性を犠牲にすることなくトークン使用量を大幅に削減する TOON 形式を導入しました。

トークン計算の仕組み

このツールは tiktoken ライブラリを使用し、cl100k_base エンコードモデルを採用して計算しています。これは OpenAI GPT-4, GPT-3.5-turbo, text-embedding-ada-002 などのモデルで使用される標準トークナイザーであり、実際のAPI使用量と高度に一致する計算結果を保証します。

TOONによる節約効果

構造化データの繰り返し(オブジェクト配列など)において、JSONはキー名の重複により大量のトークンを浪費します。TOON形式はヘッダーの抽出と記号の簡素化により、通常 30% ~ 60% のトークンコストを節約し、コンテキストウィンドウにより多くのデータを含めることを可能にします。

圧縮モード

「圧縮モード」をオンにすると、出力から不要な空白や改行を自動的に削除します(JSONとTOONに特に効果的)。人間にとっての可読性は下がりますが、AIモデルにとっては究極のトークン節約ソリューションであり、コンテキストウィンドウが非常に厳しいシナリオに適しています。

対応フォーマット紹介

JSON (JavaScript Object Notation)

Web APIConfig 最も一般的なデータ交換形式。互換性は最高ですが、構文が冗長(大量の引用符や括弧)であり、通常トークン使用量が最も多くなります。

YAML (YAML Ain't Markup Language)

CI/CDKubernetes インデントで構造を表現し、可読性が非常に優れています。JSONより簡潔で設定ファイルに適しています。しかし、LLMではインデントの解析ミスによりハルシネーションが発生することがあります。

TOML (Tom's Obvious, Minimal Language)

RustPython INIファイルに似た形式で、構造が明確です。フラットな設定ファイルには非常に簡潔ですが、深いネスト構造のデータを扱うと非常に長くなる可能性があります。

TOON (Token-Oriented Object Notation)

LLM OptimizationSince 2025本ツール独自の形式 (2025年作成)。「オブジェクト配列」に最適化されており、CSVに似ていますが型安全性を保持しています。keys[...] でヘッダーを定義し、重複するキーを大幅に削除することで、AIに読ませるための最もコストパフォーマンスの高い選択肢となります。

プライバシーとセキュリティ声明

あなたのデータセキュリティは私たちにとって最も重要です。このツールは Client-side Computing 技術を採用しており、すべての処理はあなたのデバイス(スマホまたはPC)上で即座に実行されます。

これはつまり:あなたが入力した内容は、インターネットや私たちのサーバーには一切アップロードされません。機密ファイル、プライベートな日記、コードなど、安心して貼り付けて処理することができます。