with_labels=True, node_color="lightblue", font_size=10, node_size=3000)
plt.show()
```
Этот граф помогает визуализировать взаимосвязи между концепциями и использовать их для навигации внутри базы знаний.
1.4.3 Формализация знаний с помощью онтологий
Пример: Создание онтологии в Protégé
В Protégé создайте онтологию, где классы представляют категории данных, такие как "Методологии" и "Примеры".
Создайте класс `Методологии` с подклассами, например, `Модель мышления команд`.
Определите свойства, связывающие классы, например, `применяется в` между `Методологиями` и `Кейсами`.
Эта структура помогает формализовать знания для их дальнейшего использования в RAG.
1.4.4 Сегментация данных
Пример: Разделение длинного текста на логические блоки*
Используйте Python для автоматической сегментации данных на основе заголовков и подзаголовков.
```python
def segment_text(text):
segments = []
lines = text.split("\n")
current_segment = {"title": None, "content": ""}
for line in lines:
if line.startswith("#"): # Заголовки
if current_segment["title"]:
segments.append(current_segment)
current_segment = {"title": line.strip("# "), "content": ""}
else:
current_segment["content"] += line + " "
if current_segment["title"]:
segments.append(current_segment)
return segments
text = """
# Основы когнитивного программирования
Когнитивное программирование – это подход…
# Модель мышления команд
Описание модели…
"""
segments = segment_text(text)
print(segments)
```
Результат: список сегментов, каждый из которых можно сохранить как отдельный элемент базы знаний.
1.4.5 Категоризация данных
Пример: Создание категорийного справочника
Организуйте данные по ключевым темам, чтобы упростить поиск и обработку.
```json
{
"categories": {
"Теория": ["Основы когнитивного программирования", "Принципы командного мышления"],
"Методологии": ["Модель мышления команд"],
"Кейсы": ["Внедрение когнитивных моделей"]
}
}
```
Этот справочник можно использовать для фильтрации данных в интерфейсе тренажера.
1.4.6 Верификация данных
Пример: Проверка на полноту и точность
После создания базы знаний проведите автоматизированную проверку данных, чтобы выявить ошибки и пропуски.
```python
def verify_data(data):
for item in data:
if not item.get("title") or not item.get("content"):
print(f"Ошибка: Не хватает данных в элементе {item}")
if "keywords" not in item or not item["keywords"]:
print(f"Предупреждение: Отсутствуют ключевые слова в {item['title']}")
# Пример проверки
data = [
{"title": "Основы когнитивного программирования", "content": "Описание…", "keywords": []},
{"title": "Модель мышления команд", "content": "Описание модели…"}
]
verify_data(data)
```
Этот скрипт позволяет находить неполные записи, чтобы устранить их до запуска системы.
Эти практические примеры помогут эффективно организовать, сегментировать и верифицировать данные для создания базы знаний,