1
@prefix ex: <http://example.com/> .
2

3
# エンティティの定義
4
ex:リソース a rdfs:Class .  # 情報の主体（例: データ構造、データクラス、引数、戻り値）
5
ex:操作 a rdfs:Class .     # 主に登録、照会、更新、削除、検索などのリソースに対する操作 （例: API、関数、メソッド）
6
ex:カテゴリ a rdfs:Class .  # リソースの分類 （例: フォルダ要素、ファイル、クラス、モジュール）
7

8
# プロパティの定義
9
ex:操作を持つ a rdf:Property;
10
  rdfs:domain ex:リソース;
11
  rdfs:range ex:操作 .
12

13
ex:操作タイプ a rdf:Property;
14
  rdfs:domain ex:操作;
15
  rdfs:range rdfs:Literal .
16

17
ex:カテゴリを持つ a rdf:Property;
18
  rdfs:domain ex:リソース;
19
  rdfs:range ex:カテゴリ .
20

21
ex:親カテゴリ a rdf:Property;
22
  rdfs:domain ex:カテゴリ;
23
  rdfs:range ex:カテゴリ .
24

25
# 同義語の定義。エンティティそれぞれについて日本語名⇔名英語の関連づけ。
26
ex:同義語 a rdf:Property;
27
  rdfs:domain rdfs:Class;
28
  rdfs:range rdfs:Class .

1
entity_types: [カテゴリ, リソース, 操作]
2
text:
3
Filepath: src/calc/utils.js
4
/** @module calc-utils */
5
/**
6
 * 座標データ
7
 * @typedef {Object} Point
8
 * @property {number} x - X座標
9
 * @property {number} y - Y座標
10
 */
11

12
const Point = {
13
  x: 0,
14
  y: 0
15
};
16

17
/**
18
 * 2つの座標を加算する
19
 * @function addPoints
20
 * @param {Point} point1 最初の座標
21
 * @param {Point} point2 2番目の座標
22
 * @returns {Point} 加算結果の座標
23
 */
24
function addPoints(point1, point2) {
25
  return {
26
    x: point1.x + point2.x,
27
    y: point1.y + point2.y
28
  };
29
}
30

31
// 計算を行うクラス
32
class Calculator {
33
  // 2つの数値を乗算する
34
  multiply(a, b) {
35
    return a * b;
36
  }
37
}
38

39

40
------------------------
41
output:
42
("entity"|"src"|"カテゴリ"|"ソースコードのルートディレクトリを示すフォルダ")##
43
("entity"|"calc"|"カテゴリ"|"計算関連の処理をまとめたフォルダ")##
44
("entity"|"utils.js"|"カテゴリ"|"補助的なユーティリティ操作を収めたファイル")##
45
("entity"|"Calculator"|"カテゴリ"|"計算を実行するためのクラス")##
46
("entity"|"addPoints"|"操作"|"2つの座標を加算するための関数")##
47
("entity"|"multiply"|"操作"|"2つの数値を乗算するためのメソッド")##
48
("entity"|"Point"|"リソース"|"座標データ")##
49
("entity"|"座標"|"リソース"|"座標データを表す")##
50
("entity"|"加算"|"操作"|"加算の目的を説明するためのコメント")##
51
("entity"|"乗算"|"操作"|"乗算の目的を説明するためのコメント")##
52
("entity"|"計算"|"カテゴリ"|"計算処理全体を表す概念")##
53
("relationship"|"addPoints"|"ポイントの加算"|"同義語としての関係"|10)##
54
("relationship"|"multiply"|"乗算"|"同義語としての関係"|10)##
55
("relationship"|"Calculator"|"計算"|"同義語としての関係"|10)##
56
("relationship"|"Point"|"座標"|"同義語としての関係"|10)##
57
("relationship"|"Point"|"addPoints"|"PointリソースをaddPointsにより操作"|10)##
58
("relationship"|"addPoints"|"utils"|"utils.jsで定義されているaddPoints関数"|7)##
59
("relationship"|"multiply"|"Calculator"|"Calculatorクラスで提供される乗算メソッド"|7)##
60
("relationship"|"Calculator"|"utils"|"utils内に存在するCalculatorクラス"|7)##
61
("relationship"|"utils.js"|"calc"|"calcフォルダ内に配置されたutils.js"|7)##
62
("relationship"|"calc"|"src"|"srcフォルダ内にあるcalcディレクトリ"|7)##
63
("relationship"|"Point"|"utils"|"utils.js内に定義されているPointリソース"|7)##
64
<|COMPLETE|>

1
entity_types: [カテゴリ, リソース, 操作]
2
text:
3
Filepath: src/utils/stringOperations.js
4
/** @module utils-stringOperations */
5

6
/**
7
 * 文字列データを表すリソース
8
 * @typedef {Object} StringData
9
 * @property {string} value - 文字列の値
10
 */
11

12
const StringData = {
13
  value: ""
14
};
15

16
// 文字列を逆さにします
17
function reverseString(str) {
18
  return str.split('').reverse().join('');
19
}
20

21
/**
22
 * 文字列操作を行うクラス
23
 */
24
class StringManipulator {
25
  /**
26
   * 大文字に変換するメソッド
27
   * @param {string} str - 小文字の文字列
28
   * @returns {string} - 大文字に変換された文字列
29
   */
30
  toUpperCase(str) {
31
    return str.toUpperCase();
32
  }
33
}
34

35
------------------------
36
("entity"|"src"|"カテゴリ"|"ソースコードのルートディレクトリを示すフォルダ")##
37
("entity"|"utils"|"カテゴリ"|"ユーティリティ操作を収めたフォルダ")##
38
("entity"|"stringOperations"|"カテゴリ"|"文字列操作を行うファイル")##
39
("entity"|"StringManipulator"|"カテゴリ"|"文字列操作を行うためのクラス")##
40
("entity"|"reverseString"|"操作"|"文字列を逆さにする関数")##
41
("entity"|"toUpperCase"|"操作"|"文字列を大文字に変換するメソッド")##
42
("entity"|"StringData"|"リソース"|"文字列データを表すリソース")##
43
("entity"|"文字列データ"|"リソース"|"文字列データを表す")##
44
("entity"|"文字列を逆さに"|"操作"|"文字列を逆さにする目的を示すコメント")##
45
("entity"|"文字列操作"|"カテゴリ"|"文字列操作全般を表す概念")##
46
("entity"|"大文字に変換"|"操作"|"大文字に変換する目的を示すコメント")##
47
("relationship"|"StringData"|"文字列データ"|"同義語としての関係"|10)##
48
("relationship"|"toUpperCase"|"大文字に変換"|"同義語としての関係"|10)##
49
("relationship"|"StringManipulator"|"文字列操作"|"同義語としての関係明"|10)##
50
("relationship"|"reverseString"|"文字列を逆さに"|"同義語としての関係"|10)##
51
("relationship"|"reverseString"|"stringOperations"|"stringOperations.jsで定義された関数"|7)##
52
("relationship"|"toUpperCase"|"StringManipulator"|"StringManipulatorクラスで提供されるメソッド"|7)##
53
("relationship"|"StringManipulator"|"stringOperations"|"stringOperations.js内に存在するクラス"|7)##
54
("relationship"|"stringOperations"|"utils"|"utilsフォルダ内に配置されたstringOperations.js"|7)##
55
("relationship"|"StringData"|"stringOperations"|"stringOperations.js内に定義されているリソース"|7)##
56
<|COMPLETE|>

1
######################
2
entity_types: [カテゴリ, リソース, 操作]
3
text: {input_text}
4
######################
5
output:

1
from yfiles_jupyter_graphs import GraphWidget
2

3
# read community reports
4
community_report_df = pd.read_parquet(f"{INPUT_DIR}/{COMMUNITY_REPORT_TABLE}.parquet")
5

6
# converts the entities dataframe to a list of dicts for yfiles-jupyter-graphs
7
def convert_entities_to_dicts(df):
8
    """Convert the entities dataframe to a list of dicts for yfiles-jupyter-graphs."""
9
    nodes_dict = {}
10
    communities_dict = {}
11
    for _, row in df.iterrows():
12
        # Create a dictionary for each row and collect unique nodes
13
        node_id = row["title"]
14
        community_id = row["community"]
15
        level = row["level"]
16
        if level == COMMUNITY_LEVEL and node_id not in nodes_dict:
17
            nodes_dict[node_id] = {
18
                "id": node_id,
19
                "properties": row.to_dict(),
20
            }
21
        if community_id is not None and community_id not in communities_dict:
22
            for _, c_row in community_report_df.iterrows():
23
                if c_row["community"] == community_id and c_row["level"] == COMMUNITY_LEVEL:
24
                    communities_dict[community_id] = {
25
                        "id": community_id,
26
                        "properties": {
27
                            "title": c_row["title"],
28
                            "label": community_id,
29
                            "summary": c_row["summary"],
30
                            "full_content": c_row["full_content"],
31
                            "level": c_row["level"],
32
                            "community": int(community_id),
33
                            "size": 3
34
                        }
35
                    }
36
    return list(nodes_dict.values()) + list(communities_dict.values())
37

38
# converts the relationships dataframe to a list of dicts for yfiles-jupyter-graphs
39
def convert_relationships_to_dicts(df):
40
    """Convert the relationships dataframe to a list of dicts for yfiles-jupyter-graphs."""
41
    relationships = []
42
    for _, row in df.iterrows():
43
        # Create a dictionary for each row
44
        relationships.append({
45
            "start": row["source"],
46
            "end": row["target"],
47
            "properties": row.to_dict(),
48
        })
49
    return relationships
50

51

52
w = GraphWidget()
53
w.directed = True
54

55
## test for grouping
56
w.node_parent_mapping = "community"
57
##
58

59
w.nodes = convert_entities_to_dicts(entity_df)
60
w.edges = convert_relationships_to_dicts(relationship_df)

1
import datetime
2
from pathlib import Path
3
from yfiles_jupyter_graphs import GraphWidget
4

5
base_dir = "../../../ragtest/output"
6
folders = [f for f in os.listdir(base_dir) if Path.is_dir(Path(base_dir) / f)]
7
latest_folder = max(folders, key=lambda f: datetime.datetime.strptime(f, "%Y%m%d-%H%M%S").astimezone(datetime.timezone.utc))
8
INPUT_DIR = Path(base_dir) / latest_folder / "artifacts"
9
print(INPUT_DIR)
10
LANCEDB_URI = f"{INPUT_DIR}/lancedb"
11

12
COMMUNITY_REPORT_TABLE = "create_final_community_reports"
13
ENTITY_TABLE = "create_final_nodes"
14
ENTITY_EMBEDDING_TABLE = "create_final_entities"
15
RELATIONSHIP_TABLE = "create_final_relationships"
16
COVARIATE_TABLE = "create_final_covariates"
17
TEXT_UNIT_TABLE = "create_final_text_units"
18
COMMUNITY_LEVEL = 0
19

20
# read nodes table to get community and degree data
21
entity_df = pd.read_parquet(f"{INPUT_DIR}/{ENTITY_TABLE}.parquet")
22
entity_embedding_df = pd.read_parquet(f"{INPUT_DIR}/{ENTITY_EMBEDDING_TABLE}.parquet")
23

24
relationship_df = pd.read_parquet(f"{INPUT_DIR}/{RELATIONSHIP_TABLE}.parquet")
25
relationships = read_indexer_relationships(relationship_df)
26

27
documents_df = pd.read_parquet(f"{INPUT_DIR}/create_final_documents.parquet")
28
text_units_df = pd.read_parquet(f"{INPUT_DIR}/create_final_text_units.parquet")
29

30
# Map Text Units to Documents
31
text_unit_to_doc = {}
32
for _, row in text_units_df.iterrows():
33
    for doc_id in row['document_ids']:
34
        text_unit_to_doc[row['id']] = doc_id
35

36
# Find document connections via entities
37
doc_connections = {}
38
for _, row in entity_embedding_df.iterrows():
39
    for tu_id in row["text_unit_ids"]:
40
        if tu_id in text_unit_to_doc:
41
            source_doc = text_unit_to_doc[tu_id]
42
            for target_id in row["text_unit_ids"]:
43
                if target_id in text_unit_to_doc:
44
                    target_doc = text_unit_to_doc[target_id]
45
                    if source_doc != target_doc:
46
                        if (source_doc, target_doc) not in doc_connections and (target_doc, source_doc) not in doc_connections:
47
                            doc_connections[(source_doc, target_doc)] = {"entities": [], "weight": 0}
48
                        for e_, e_row in entity_df.iterrows():
49
                            if row["name"] == e_row["title"]:
50
                                if (source_doc, target_doc) not in doc_connections:
51
                                    if e_row["title"] not in doc_connections[(target_doc, source_doc)]["entities"]:
52
                                        doc_connections[(target_doc, source_doc)]["entities"].append(e_row["title"])
53
                                    doc_connections[(target_doc, source_doc)]["weight"] += e_row["degree"]
54
                                else:
55
                                    if e_row["title"] not in doc_connections[(source_doc, target_doc)]["entities"]:
56
                                        doc_connections[(source_doc, target_doc)]["entities"].append(e_row["title"])
57
                                    doc_connections[(source_doc, target_doc)]["weight"] += e_row["degree"]
58

59
# converts the entities dataframe to a list of dicts for yfiles-jupyter-graphs
60
def convert_entities_to_dicts(df):
61
    """Convert the entities dataframe to a list of dicts for yfiles-jupyter-graphs."""
62
    nodes_dict = {}
63
    for _, row in df.iterrows():
64
        # Create a dictionary for each row and collect unique nodes
65
        node_id = row["id"]
66
        if node_id not in nodes_dict:
67
            nodes_dict[node_id] = {
68
                "id": node_id,
69
                "properties": row.to_dict(),
70
            }
71
    return list(nodes_dict.values())
72

73
# converts the relationships dataframe to a list of dicts for yfiles-jupyter-graphs
74
def convert_doc_conn_to_dicts(doc_conn):
75
    """Convert the relationships dataframe to a list of dicts for yfiles-jupyter-graphs."""
76
    relationships = []
77
    for key in doc_conn.keys():
78
        # Create a dictionary for each row
79
        relationships.append({
80
            "start": key[0],
81
            "end": key[1],
82
            "properties": {
83
                "entities": doc_conn[key]["entities"],
84
                "weight": doc_conn[key]["weight"],
85
            }
86
        })
87
    return relationships
88

89

90
w = GraphWidget()
91
w.directed = True
92

93
w.nodes = convert_entities_to_dicts(documents_df)
94
w.edges = convert_doc_conn_to_dicts(doc_connections)
95

96
w.node_scale_factor_mapping = lambda node: 1
97
w.edge_thickness_factor_mapping = lambda edge: 0.5 + edge["properties"]["weight"] * 1.5 / 20
98

99
w.organic_layout()
100

101
display(w)