Technology
イメージできないものは実現できない。
01 / Scraping Architecture
盾と矛のあいだにある、静と動の技術
スクレイピング・BIGDATA・データベース・機械学習・AIという軌跡
スクレイピングという技術には、ネガティブな印象がつきまとう。しかしその源流をたどれば、検索エンジンのクローラーBotに行き着く、インターネット上のデータ収集技術に他ならない。情報の多くは公開されたものでありながら、その扱いは法的なガイドラインの狭間にあり、一様に語ることは難しい。だからこそ私たちは、インターネットの黎明期から、リーガルリスクのないデータ収集の方法を積み重ねてきた。この技術は本質的に、収集を望む者と、望まない者との、盾と矛のせめぎ合いとして存在し続けている。Botクロール困難な建て付けを理由に他社が断念した案件も、これまで私たちのもとへと持ち込まれてきた。
少量では意味を持たない情報も、指数関数的に集積すれば、その価値は一変する。ただし、その価値を実際に引き出すには、相応の知見を要する。
02 / SEO / AEO
SEO（Search Engine Optimization）対策という矛盾
プログラマティックSEOの先にあるAIとAEOという到達点
SEO対策という言葉は、いつの間にか都合の良い言葉として一人歩きしていた。中身の伴わない、便利な魔法のような商材として扱われていた時期もあった。
しかしSEOの本質は、ユーザーが本当に欲しい情報を、サーチエンジンに優先的に表示するためのアルゴリズムであるということが欠落していたのだ。それはサーチエンジンを使う人の利便性のためにほかならない。
ビジネスの目論見、自己都合で優位に表示させる、そんなチートで安易なアルゴリズムは存在しない。
だからこそ、人が手間をかけて書いた少数のページを意味のあるページと評価し、機械的に生成された大量のページより高く評価するのも、そのアルゴリズムルール故である。人の手で注いだ労力に意味があると評価するのが、SEOの大前提である。
そもそもサーチエンジンは、言語学や多くの判断パラメータ、機械学習エンジニアリングにより、高度な検索エンジン最適化として構築されている。
にもかかわらず、H1タグ、タイトルタグなど、いくつかのタグや内容を単純に書き換えた程度の施策を「SEO対策」と称して生業とするビジネスも、黎明期から過渡期にかけて横行した。
私たちが行き着いたのは、その限界を偽りで埋める方法ではなく、構造そのものに労力と同じ重みを宿す設計だった。
特にSEOとは相性の悪い、データベースで大量生産されたURLの最適化は、機械的な意味のないページの塊として徹底的に排除される。
一時は、サーチエンジンの設計思想に反した、都合の良いSEO対策など存在しないと諦めかけたが、原点に立ち返り、利用者に必要とされるサイトという原点に立ち返り、プログラマティックSEO（Programmatic SEO）をベースに、新たなSEO対策理論の構築を始めた。
具体的な内容は明かせないが、この思想の先に、指数関数的な規模のインデックス登録の実現がある。
SEO対策とは、単純なロジック構築の話ではない。サーチエンジンの思想に寄り添い、ユーザーが本当に望む結果は何かを、汗をかいて考え抜く。その泥臭さこそが、本質である。
03 / AI
AIに至る必然のプロセスがあった
自律型AGIからASIによるシンギュラリティという未来
スクレイピングから得られるBIGデータは機械学習データとなり、生成AIが登場する。
生成AIの時代が訪れたことで、スクレイピングによって集められたデータそのものが、これまでとは違う価値を持ち始めた。
コンテンツホルダーが容易には手放さない情報である以上、その価値は、時間が経つほど増していく。
AIの学習データ生成のニーズと相まって、機械学習のデータベース構築、さらにはMCPサーバーなどのデータベースサーバー構築もAI技術対応を迫られる。
SEOもまた進化し、AEOを意識する以上、AI技術を知らずして先には進めない。
それが偶然の流れか、必然かは分からない。だがAIによる進歩発達は、スクレイピング技術にも及ぶ。
対策する側がAIを応用した対策を実施すれば、こちらもAIを利用したアーキテクチャーが要求される。嫌でも、AI技術への対応は必然となった。
実際の開発現場においても、AIアーキテクチャー開発は既にAIに委ねている。
今獲得したAI技術を駆使したそれぞれの技術は、あっという間に陳腐化する。昨日できなかったことが、気がつけば出来る様になる。
ここまで何十年もかけて得た技術も、通用しなくなる。だがポジティブに考えれば、その問題もAIが解決する。
この先にある自律型AGI、ASIによるシンギュラリティ、その未来を見れば果てしない。
この大きなうねりに残るには、どんな未来をイメージするかというところに帰結する。
故に、それをイメージできないものは、実現できない。