背景
- 内网离线开发
- 开发的一般是大数据组件相关的内容
- 有部分源码
- 由于是华为全套大数据组件, 外网没有环境,无法在外网开发
期望
- 把源码或者其他相关代码扔到 ai 里,
- 写代码的时候给我提醒补全
- 用 idea 和 vscode
有没有相关的工具可以推荐一下。
有没有相关的工具可以推荐一下。
|
irrigate2554Jan 14, 2025
1
昨天刚看到一个站内人的项目: https://github.com/TabbyML/tabby 模型下载好后应该可以离线使用
|
|
securityCodingJan 14, 2025
2
ollama 跑一个?
|
|
3
ollama+continue+openwebui
|
|
chairuosenJan 14, 2025
4
本机最大也就跑个 32b 的模型,跟在线 api 效果差得多
|
|
miniliukeJan 14, 2025
5
idea2024 不是自带吗?就是能力一般就是了
|
|
clementeJan 14, 2025
6
@chairuosen 今年不好说 嘿嘿
|
|
lavvrenceJan 14, 2025
7
Ollama + continue.
话说 deepseek v3 已经支持 Ollama 了。 |
|
ganbuliaoJan 14, 2025
8
vscode server
配置 copilot 走本地网络 { "remote.extensionKind": { "GitHub.copilot": [ "ui" ], "GitHub.copilot-chat": ["ui"], "pub.name": [ "ui" ] } } |
|
tomyark123Jan 14, 2025
10
lsp 不是离线的吗
|
|
mioktiar56Jan 14, 2025
11
离线了还怎么赚你钱
|
|
spike0100Jan 14, 2025
12
@jaylee4869 话说 671b 模型跑起来需要什么配置的机器啊😧
|
|
13
@spike0100 6 个 64g mac mini 或 3 个 m1u 128g mac studio 或 2 个 m2u 192 mac studio 或 4*80g a800+显卡 或者 8 * 48g 4090
至少要 7 万+的预算 |
|
windgreenJan 14, 2025
16
ollama + codegeex + visual code
|
|
5SZkjJ0vSK463pToJan 14, 2025
17
本机跑不动的,能跑动的不是智能是智障
|
|
5SZkjJ0vSK463pToJan 14, 2025
18
如果有实力,可以自建机房
|
|
yuedashiJan 14, 2025 via Android
19
lmstudio
|
|
PolarisYJan 14, 2025
20
或许你可以研究研究内网穿透😂
|
|
Genshin2020Jan 14, 2025
21
ollama
|
|
oncethinkJan 14, 2025
22
推荐 tabby ,可以本地代码问答和,如果内存在 16GB 或以下,建议用 1.5b 的模型,再大速度就很慢了。
如果使用 macOS ,直接用 brew install tabbyml/tabby/tabby ,然后访问后台注册账户,在设置界面拿到 token ,然后在 vscode 中装上 tabby 扩展,填入本地 tabby 服务地址和 token 如果使用 ollama 做后端,可以参考下面配置: 下面是一个使用 qwen2.5-coder:7b 的参考配置,你需要先用 ollama pull qwen2.5-coder:7b-base 和 qwen2.5-coder:7b ,前者适合做补全,后者适合做问答。 ~/.tabby/config.toml ``` # Completion model [model.completion.http] kind = "ollama/completion" model_name = "qwen2.5-coder:7b-base" api_endpoint = "http://localhost:11434" # prompt_template 不同的模型配置可能不一样,需要自己注意一下 prompt_template = "<|fim_prefix|>{prefix}<|fim_suffix|>{suffix}<|fim_middle|>" # Embedding model [model.embedding.http] kind = "ollama/embedding" model_name = "bge-m3:latest" api_endpoint = "http://localhost:11434" # Chat model [model.chat.http] kind = "openai/chat" model_name = "qwen2.5-coder:7b" api_endpoint = "http://localhost:11434/v1" ``` |
|
HK560Jan 14, 2025
23
同问,为了代码安全公司想要本地部署 ai 模型服务来辅助开发,目前就在找这种类似的解决方案,
|
|
chenJianRong123Jan 14, 2025
24
Idea 最新版,不是可以补全吗
|
|
blackeeperJan 14, 2025
26
docker 运行 openWebUI + ollama ,然后 vscode + continue 插件,离线写代码
|
|
kibble5788Jan 15, 2025
29
https://code.fittentech.com/ 支持私有化部署,收费的,不差钱可以看看
|